在劳山下清宫中有耐冬和牡丹。耐冬高二丈，大几十围；牡丹高一丈多，开花时节，光彩灿烂如同锦绣。胶州的黄生，借住在里面读书。一天，从窗户中看到有位姑娘穿着素色衣服掩映在花丛中。心想寺观中怎么会有姑娘，出来看，已不见了。此后又多次看到。于是就藏在树丛里，等着她到来。不一会，素衣姑娘和另一位穿红衣的姑娘来了，放眼望去，真是艳丽双绝。慢慢走近了，红衣姑娘往后退，说：“这儿有生人！”黄生就突然跳出来，吓得姑娘转身就跑，衣袖飘拂，香风四溢；追过矮墙，已是无影无踪了。黄生爱慕之心更切，就在树下题诗说：
无限相思苦，含情对短窗。
恐归沙吒利，何处觅无双？
回到房中，苦思冥想，姑娘突然来了，黄生惊喜不已地迎进来。姑娘笑说：“你气势汹汹像强盗，让人害怕；没想到你还是个风雅之士，无妨见一下。”黄生就问姑娘情况。说：“我小名香玉，原籍平康巷。被道士关闭在山里，实在不是所愿。”黄生问：“道士叫什么？我去为你一洗此辱。”姑娘说：“不必，他也不敢逼我怎样。借此机会与风流雅士长相幽会，也不错。”又问：“穿红衣服的是谁？”说：“她叫绛雪，是我的义姐。”于是，两人相拥嬉戏。等醒来时，曙光已映红了窗子。姑娘急忙起身，说：“只顾贪欢，连天亮都忘了。”穿衣收拾，并说：“我和你一首诗，别见笑。”
良夜更易尽，朝暾已上窗。
愿如梁上燕，栖处自成双。
黄生握住她的手说：“你秀外慧中，让人爱得要死。一日分别，就像远隔千里。你有机会就来，别等到夜里。”姑娘答应了。由此夜夜都来。黄生常要她邀绛雪来，总是不来，黄生感到很遗憾。姑娘说：“绛雪姐生性落落寡和，不像我痴情一片。我慢慢劝她，别性急。”
一天晚上，姑娘忧伤地进来，说：“你连陇地都守不住，还期望蜀地吗？现在要长别了。”忙问：“到哪去？”姑娘擦着泪说：“这是定数，很难对你说。昔日的佳作，现在成了谶语了。佳人已属沙吒利，女士今无古押衙。就是我的写照啊。”追问，不说，只是呜咽抽泣。一夜不睡，天亮就走了。黄生很奇怪。
第二天，有个姓蓝的即墨县人到这里游览，看到白牡丹，很喜欢，就挖了带走。黄生这才悟到香玉本是花妖，心中怅惘叹息不已。过了几天，听说蓝某人移花回去后，花就一天天枯萎憔悴了。黄生恨极了，作了五十首哭花诗，天天到挖走花的地方哭泣。
一天，凭吊完后往回走，远远看到绛雪在那里哭泣，就从容走过去，姑娘也不避。黄生就拉着她的衣服，两人相对垂泪。随后，挽着请她到自己房里去，姑娘也就去了。感慨说：“从小一起的姐妹，突然间就生离死别！听到你的悲伤，更增添我的哀痛。泪滴九泉，或者因为你的挚诚而感动再生；但死去的神气已散，一时间怎能再和我们两个谈笑呢！”黄生说：“我命薄，妨害情人，该是无福消受双美。以前频频托香玉传达我的心意，为什么不来呢？”姑娘说：“我以为青年书生，十有八九都薄情，没想到你竟是一个至情的人。但是我和你交往，以情不以淫。若昼夜亲热狎戏，那我做不到。”说完，告别要走。黄生说：“香玉已经长别了，让人寝食俱废。指望你多呆一会，也是一份安慰，怎么这样绝决！”姑娘这才留下，过了一夜离开了。
此后几天再也不来了。凄清的雨，幽冷的窗，使他更加苦苦思念香玉，辗转床头，泪湿枕席。夜不能寐，披衣起来，点上灯又用前首诗的韵写了首诗：
山院黄昏雨，垂帘坐小窗。
相思人不见，中夜泪双双。
忽然窗外有人说：“作诗不能没人和。”听声音是绛雪，就开门迎进来。绛雪看了诗，就在后面续道：
连袂人何处？孤灯照晚窗。
空山人一个，对影自成双。
黄生读了流下泪来，埋怨见面太少。绛雪说：“我不能像香玉那样热烈，只能略微安慰一下你的寂寞罢了。”黄生就要拥抱亲热。绛雪说：“相见的欢乐，何必就是这个。”于是在他无聊时，姑娘才来一次。来了或饮酒或吟诗，有时不睡就离开了，黄生都随她。说：“香玉是我的爱妻，绛雪是我的良友阿。”常问绛雪：“你是院子里的第几棵？求你早早告诉我，我要把你抢回去种在家里，免得像香玉一样被恶人夺走，遗恨百年。”绛雪说：“故土难移，告诉你也没用。妻子尚且不能始终相从，更何况朋友呢！”黄生不听，拉着她的胳膊出去，每到牡丹前，就问：“这是不是你？”绛雪不说话，捂着嘴笑。
不久，腊月将尽，黄生回家过年。到二月间的一天，突然梦见绛雪来，伤心道：“我有大难！你快点来，还能相见，迟了就来不及了。”醒来觉得很奇怪，急忙叫起仆人备好马，连夜急奔上山。原来道士要盖房子，有一株耐冬妨碍动工，工匠要砍了去。黄生赶忙制止了。夜里，绛雪来致谢。黄生笑说道：“以前不老实告诉我，该遭此难！现在已知道你了，如果你再不来，就用艾炷烫你。”绛雪说：“我本来就知道你会这样，所以以前不敢告诉你。”坐了一阵，黄生说：“现在面对良友，更思念艳妻。好久没有哭祭香玉了，你能陪我一起去吗？”二人就去了，对着花坑洒泪。约有一更多，绛雪收泪劝他，这才止住。又过了几天，晚上，黄生正寂寞地坐着，绛雪笑着进来，说：“给你报个喜信，花神为你的至情所感动，让香玉重新降临宫中。”黄生问：“什么时候？”回答：“不知道，大概不会太远吧。”天亮起床时，黄生嘱咐说：“我是为你来的，别长时间地让人孤寂。”降雪笑着答应了。过了两夜都没来，黄生就去抱着那耐冬，又摇又拍，连声呼唤，但一点声息也没有。就返回来，在灯下做艾团，准备去烧树。绛雪立刻进来，夺过艾团就扔了，说：“你真恶作剧，弄得人满身疤，就和你绝交。”黄生笑着把她拥进怀里。还没坐稳，香玉从外边盈盈走来，黄生一见，泪流满面，忙起来一把拉住。香玉一只手拉着绛雪，相对悲咽。等坐下时，黄生觉得握得很空，像自己的手握着自己的手似的，很惊讶，问她。香玉泪眼婆娑，说：“以前，我是花的神，所以凝在一起；现在，我是花的鬼，所以散成这样。今天虽然相聚了，但不要认为是真的，只当作是场梦吧。”降雪说：“妹妹你来了太好了！我被你家男人纠缠得要死了。”说完就走了。香玉依然像从前那样谈笑嘻戏，但依偎拥抱间，仿佛和影子一样。黄生闷闷不乐，香玉也自恨这样。就说：“你用白蔹末搀一点硫磺，每天给我浇一杯水，明年这时候，就能报答你的恩情了。”说完就走了。
第二天，黄生到那原来的地方，见牡丹已发了芽。黄生就加意培植，又用栏杆保护起来。香玉来，万分感激。黄生商量要移种到自己家里去。香玉不肯，说：“我体质弱，再经不起折腾了。何况生在哪里都有定数，我本来就没打算到你家，违背了反到会损了年寿。只要彼此怜爱，合好自会有日子啊。”黄生遗憾绛雪不来。香玉说：“一定要她来，我能做到。”就和黄生拿着灯到耐冬下，找了根草，用手做尺子，在它的枝干上从下往上，量了四尺六寸，按着那地方，让黄生用两只手一块抓挠。随之就见绛雪从背后出来，笑骂说：“婢子来，就是要助纣为虐啊！”两人就拉着拥着她一块到了房子。香玉说：“姐姐别见怪！暂且烦你陪伴一下郎君，一年后不再打搅了。”从此后，就习以为常了。
黄生看着花芽一天比一天长大，越来越茁壮，春天完时，已长到二尺多高。此时他要回家，就给道士许多钱，嘱咐他好好养育看护。第二年四月又来看视，牡丹上只有一朵花，含苞未放。正在流连间，那花摇摇欲开，不多久，就灿然怒放，大得像只盘子，俨然有个小美人坐在花蕊间，才三、四指的样子，转眼间飘然而下，就是香玉。笑着说：“我忍受着风风雨雨等着你，你怎么来得这么迟！”就到了房子。绛雪也来了，笑着说：“天天替人作妻子，今天有幸能退下来作朋友。”于是三人便一起谈笑说话。到了半夜，绛雪才走。两人同床而眠，欢爱相合一如从前。
后来，黄生妻子去世，黄生就进了山，不再回去。这时，牡丹已长得像胳膊粗了。黄生常指着说：“我以后寄托魂灵在此，就长在你的左边。”香玉绛雪笑说：“你不要忘了。”十多年后，黄生忽然病了。儿子来到，看着他很是悲哀。黄生笑着说：“这是我的生期，并不是死期，干吗悲伤！”对道士说：“以后牡丹下有赤色花芽长出，一出来就有五片叶子的，就是我。”随后就不再言语了。儿子用车把他带回家就死了。
第二年，果然在那牡丹下生出一个大花芽来，叶子有五片。道士认为很奇异，就用心培育。三年间，高达数尺，粗有满把，只是不开花。老道士死了，他的弟子们不知爱惜，把它砍了。砍后，白牡丹也憔悴死了；没多久，耐冬也死了。
异史氏说：“情到深处，鬼神可通。花已成鬼还要跟随，而人又以灵魂寄托，不是他们情到深处能这样吗？一个离去了，两个陪着去，即使不算坚贞，也是为情而死了。人不能做到坚贞，也是因其情不深罢了。孔子读唐棣时所说的未思”确实如此啊！”