第二天，即墨县有个姓蓝的人，到下清宫游览，看见那株白牡丹，很是喜欢，竟把它挖出来移走了。黄生这才明白香玉原来是花精，于是怅恨惋惜不止。
这样过了几天，黄生听说姓蓝的把白牡丹花移到家后，花一天天枯萎了。黄生感到非常痛心遗憾，于是作了五十首哭花诗，天天到白牡丹花坑那里痛哭。
一天，黄生悼念香玉刚回来，远远看见穿红衣服的绛雪也去花坑旁边哭。于是，黄生便慢慢地走近她，绛雪也不躲避。黄生握着她的衣袖，两人相对流泪。过了一会儿，黄生拉着绛雪，请她到屋里，绛雪也跟他去了。绛雪感叹地说：“从小的姐妹，就这么分离了！听说你很悲伤，更增加了我的悲痛。眼泪流入九泉，或许她能被诚意所感动而复活。但是死者神气已散，一时怎么能再和我们俩一起相聚谈笑呢。”黄生说：“只怨我命薄，妨害了情人，大概也是我没有福气消受两个美人吧。以前我多次托香玉传达心意，为什么你不来？”绛雪说：“我以为少年书生，十个有九个薄情，不知道你原来是最钟情之人。但是，我和你交往，主要是凭感情。若是整天亲热，那我是不能做到的。”说完，便告别要走。黄生说：“香玉已经长期离开了我，叫人睡不好觉，吃不下饭。全靠你稍微留一会儿，来宽慰我这思念的情怀，你为什么这样对我无情呢！”绛雪听后便留下来，过了一夜才离开，之后好几天没有再来。
在一个凄凉的雨夜，黄生对着幽暗的窗户，苦苦思念香玉，在床上辗转反侧，眼泪凝聚在枕席上。由于睡不着，便起来穿上衣服，点上灯，按照前韵又写了一首诗：
山院黄昏雨，垂帘坐小窗。
相思人不见，中夜泪双双。
诗写成后，便自己吟诵起来。忽然，窗外有人说：“作诗不能没有应和的。”听声音，好像是绛雪。黄生于是急忙开开门让她进来。绛雪看了诗，立刻在后面续了一首：
联袂人何处？孤灯照晚窗。
空山人一个，对影自成双。
黄生读了这首诗，又流下眼泪，同时埋怨和绛雪相见的次数太少了。绛雪说：“我不能像香玉那样与你亲热，只是可以稍微解除你的寂寞罢了。”黄生想和她再亲昵一番。绛雪说：“相见的欢乐何必非在这个呢？”从这以后，每当到了黄生寂寞无聊的时候，绛雪就到来。来到以后，就和黄生饮酒对诗，有时不睡觉就走了，黄生也听任她自便。黄生对她说：“香玉是我的爱妻，绛雪是我的好友啊。”
黄生常常问绛雪：“你是院中的第几株花？请早点告诉我，我将你抱着移栽到家中，免得像香玉那样被恶人夺去，遗恨百年。”绛雪说：“故土难离，告诉你也没有用处。妻子还不能始终跟着你，何况朋友呢？”黄生不听，拉着她的手臂走出去，每到一株牡丹下边，就问：“这是你吗？”绛雪不回答，只是捂着嘴笑他。
不久就到了腊月底，黄生要回家过年了。到了二月间，黄生忽然梦见绛雪到来，悲伤地说：“我有大难！你急速赶去还能相见，晚了就来不及了。”黄生醒来后，觉得很奇怪，便急忙叫仆人备马，星夜奔驰赶到山里。
黄生来到庙里一看，原来是道士要建房屋，有一棵耐冬树，由于妨碍施工，工匠于是决定把这棵树给砍了。黄生急忙阻止了他们。
到了晚上，绛雪前来道谢。黄生笑着说：“以前你不如实告诉我，难怪要遭到这样的灾难！现在我已经知道你了，如果你不来，我就用艾草点着烤你。”绛雪说：“我本来就知道你会这样，所以从前不敢告诉你。”坐了一会儿，黄生说：“现在面对好友，更加思念美妻。我很久没有祭奠香玉了，你能跟我一起去祭奠她吗？”两人便来到白牡丹花的坑穴前痛哭流泪。一更将尽，绛雪收住眼泪，劝黄生不要再哭了。
又过了几个晚上，黄生正在寂寞地坐着，绛雪笑着走进来，说：“报告你一个喜讯：花神被你的真情所感动，使香玉又降生在庙中了。”黄生急忙问道：“什么时候？”绛雪回答说：“不知道，大概不会太远了。”天亮以后，绛雪下床要走了，黄生嘱咐她说：“我是特地为你来的，请你不要长时间叫我孤独寂寞。”绛雪笑着答应了。
一连过了两个晚上，绛雪都没有来。黄生便去抱着耐冬树，摇动抚摸，不停地呼唤绛雪，但是没有回声。黄生只能回到屋里，对着灯搓艾草，要去烤树。这时，绛雪突然走进来，夺过艾草扔在一边，说：“你胡闹，真要把我烧伤呀？再这样我就和你绝交了！”黄生笑着拥抱她。但还没有坐稳，香玉就轻盈地走进来。黄生看见她，眼泪一下子就淌了下来，急忙起来握住她的手。香玉用另一只手握住绛雪，三个人相对悲泣。等坐下后，黄生握着香玉的那只手感觉很空虚，就像自己握着拳一样，便吃惊地问她这是怎么回事。香玉流着泪说：“从前我是花的神，所以形固；如今我是花的鬼，所以形虚。现在我们虽然相聚，不要以为是真的，只可以当作睡梦中相见罢了。”绛雪说：“妹妹来了太好了！我被你家的男人纠缠死了。”于是她告别走了。
香玉还像从前一样地欢喜谈笑，但是两人偎在一起的时候，黄生感到空荡荡的，好像只靠着一个影子。于是开始闷闷不乐，香玉也唉声叹气地怨恨自己。最后对黄生说：“你用白蔹草的药末，少加点硫黄兑水，每天给我洒上一杯，明年的今日，我就可以报答你的恩情了。”于是告别而去。
第二天，黄生到花坑去看，白牡丹又发出芽来了。于是便按照香玉所说的，每天加紧培灌，又做了栅栏来保护她。
香玉来了，非常感激黄生。黄生打算把她移植到自己家里。香玉却不同意，她说：“我体质很弱，受不了再次被戕害。况且任何东西生长都各有一定的地方，我这次来原就不打算生在你家，违背了天意反而会减寿。只要你怜爱我，将来我们自然有和好的一天。”黄生埋怨绛雪不常来。香玉说：“如果一定要让她来的话，我倒有办法。”香玉便和黄生挑着灯来到耐冬树下，然后摘了一根草，用手量量做成一把尺子，又用这把尺来量树干，从下往上，到四尺六寸的地方，便用手按住，然后叫黄生用两只手一齐去挠。一会儿，绛雪从背后出来，笑着骂道：“你这丫头来助纣为虐呀！”于是互相拉着手，一起进到屋里。香玉说：“姐姐不要见怪！暂时劳你陪侍黄郎，一年以后就不再打扰你了。”从此，绛雪经常来看黄生。
黄生再看那花芽，一天比一天长得肥壮茂盛，春天过去时，已经长到二尺多高。黄生回家后，便留下银子给道士，嘱咐他早晚好好培育那棵花。
到了第二年四月，黄生来到庙里，看见白牡丹长出一朵花，含苞未放。正当黄生在花前流连忘返的时候，那花蕾摇晃着似乎要开，果然不一会儿就开放了，像盘子那么大，好像有个小美人坐在花蕊中间，才三四指那么高；转眼间飘飘然下来，就是香玉。香玉笑着说：“我忍受着风雨等待你，你为什么来得这么晚？”于是双双走进屋里。这时，绛雪也来了，笑着说：“天天代替别人做妻子，现在总算有幸退为朋友了。”接着摆上酒宴谈笑。到了半夜，绛雪便走了。黄生、香玉二人睡下，和从前一样欢愉融洽。
后来，黄生的妻子死了，黄生于是就入山不再回家了。这时，牡丹已长得像手臂那么粗了。黄生常常指着牡丹说：“我死后一定把魂魄寄托在这里，长在你的身旁。”香玉、绛雪微笑着说：“你不要忘记自己的话。”
十多年以后，黄生忽然得了重病。他的儿子来了，对着他悲哀哭泣。他笑着说：“这是我生的日子，不是死的日子，为什么要悲哀呢！”他对道士说：“将来牡丹下面会有一株红色的花芽怒放，长出五片叶子，那就是我。”于是不再说话。儿子用车把他拉回家就死了。
第二年，果然在牡丹下面有个粗壮的芽长出来，叶子正如黄生所说的五片。道士觉得很奇怪，于是更加注意浇灌它。三年后，便长到几尺高，有两只手合围那么粗，但是一直不开花。老道士死后，他的徒弟不知道爱惜，竟把它砍掉了。之后，白牡丹也逐渐枯死。不久，耐冬树也枯死了。
异史氏说：“感情达到了极点，鬼神可以相通。香玉死后为‘花之鬼’，仍相从黄生，而黄生死后魂依香玉之侧，这不是结成了深厚感情吗？黄生死后变成不开花的牡丹，被小道士砍去，牡丹和耐冬相继殉情而死，即使不是坚贞，也是为情而死。人不能操守，也是其感情不深厚。孔子读了《唐棣》这首诗时，说道：‘如有至情，就能坚贞相爱。’现在我也相信了！”
