徐州人郎玉柱，他的先辈曾官至知府，很清廉，得到俸钱不用来置办经营产业，只收藏书，满屋子都是。到郎玉柱自己，更是爱书如痴，家里极穷，什么都卖了，只有父亲的藏书，一本也不舍得出手。
父亲在世时，曾亲笔抄了《劝学篇》，贴在他的书桌座位右边，郎玉柱每天诵读，又用素纱保护着，只怕磨灭了。他读书不是为了求得一官半职，而是确实相信书中真有美人金钱。昼夜研读，不论寒暑，从不间断。二十多岁了，也不设法提亲成婚，期望书中的美人自己来到。见到客人亲戚，不知道问候，三五句话后，便大声自顾读起书来。客人进退两难，只好一走了之。每当学政大人抽查测试时，都将他列在前面，但遗憾的是难以中举。
一天，他正在读书，突然一阵大风把书卷走了。连忙去追，一脚踏在地上，却陷了进去，用手一探摸，洞里有腐烂的草，挖开一看，是古人的粮窖，存粮已朽败的像粪土一样。虽然已经无法再吃了，但更加使他坚信“书中自有千钟粟”的说法不假，更加起劲读书。
又一天，顺着梯子爬到书架高处，在乱书堆中发现有一辆长达一尺的金车，喜出望外，认为是“书中自有黄金屋”的应验。拿出去向人展示，发现是镀金而不是真金的。心里暗自怨恨古人骗自己。过后不久，和他父亲同年考中进士的人被派到此处做道台，这人本性好佛。有人就鼓动他把金车献出来做佛龛。道台很是高兴，就赠给他银子三百两，马两匹。玉柱很高兴，认为金屋、车马都应验了，因此读书更加刻苦。
然而这时他已经三十岁了。有人劝他成家，回答说：“书中自有颜如玉，我用得着担心没有漂亮老婆吗？”又苦读了二、三年，一点结果都没有，人家都拿这开玩笑。当时民间传说：天上织女私逃下凡。有人就逗郎玉柱：“天上仙女私奔，就是为了你啊。”郎玉柱知道是戏弄自己，也就不加理睬。
一天晚上，读《汉书》到第八卷，快到一半时，见有纱剪的美人夹在里面。吃惊说：“书中自有颜如玉，难道就应验在这上面吗？”心里怅然若失。但仔细看那美人，眉目如生，背上隐隐有两个小字：“织女”。很感奇怪。就天天放在书卷上，反复端详赏玩，以至连吃饭睡觉都忘了。
一天，正看着，美人突然弯腰起来，坐在书上微笑。郎玉柱吃惊得要死，忙趴在地上叩拜。等拜完抬起头，那美人已有一尺高了。更怕，又叩头。那美人已从桌子上下来，亭亭玉立，宛然一位绝代佳人。郎玉柱问：“您是什么神？”美人笑说：“我姓颜，字如玉，你早已知道我了。天天蒙您格外垂青，假如不来一下，恐怕千载而下再也没有相信古人的人了。”郎玉柱高兴极了，就和她睡在一起。枕席虽恩爱倍至，但郎玉柱却一点也不懂得男欢女爱的事情。
每当读书时，必定要如玉坐在身旁。如玉叫他不要再读了，他不听。如玉说：“你所以不能飞黄腾达，原因就在于只读书啊。试看那些中举的人，像你这样读书的有几个人呢？你如果不听我的，我就只好走了。”郎玉柱当时听了，但转眼间就忘了，读书声又朗朗响起。过了一会，找如玉，但不知到哪去了。丢魂落魄，祈求祷告，但一点踪影都没有。突然想到如玉藏身之处，把《汉书》拿出来仔细翻找，寻到原来发现的那一页，果然找到了。呼唤她，动也不动，就趴在地上哀求发誓，如玉才从书上走下来，说：“你再不听，就永远断绝！”叫他找来棋具、赌具等，每天同他纵情游戏。但郎玉柱心思根本不在这上面，只要瞧见如玉不在跟前，就暗自拿书来读。怕如玉发觉，就暗中把《汉书》第八卷混杂在其它地方，让她找不到老家。
一天，读书入迷，如玉来了，他竟一点没发觉。突然看见，忙把书合上，但如玉已不见了。很怕，拼命找，把所有的书翻遍了，一点踪影没有。最终，还是在《汉书》第八卷中发现，仍在以前的书码处，一点不差。于是又跪拜祈求，发誓再不读书，如玉才下来。和他下棋，说：“三天内棋艺不熟，我就再回去。”到第三天，他不知怎么竟在一局中赢了如玉两子。如玉很高兴，又教他乐器，规定他五天内练熟一支曲子。郎玉柱手上弹着，眼睛看着，已没有闲暇去顾及到其它事情了。时间长了，随手弹奏，都合节拍，自己也感到鼓舞。如玉又天天和他喝酒游戏，郎玉柱乐而忘读。如玉又让他走出家门，广交朋友。从此，郎玉柱风流潇洒的美名顷刻间名扬远近。如玉说：“你可以参加科举考试了。”
有天夜里，郎玉柱突然对如玉说：“男女住在一起就会生孩子，我和你一起住了这么长时间了，怎么不是这回事呢？”如玉笑了，说：“你整天读书，我一直认为没什么好处。就连夫妇间的事，你还尚未了解懂得：枕席这两个字大有功夫。”郎玉柱惊奇地问：“什么功夫？”如玉笑笑没说话。一会儿暗中凑到郎玉柱跟前，主动与郎玉柱交欢。郎玉柱快乐到极点，说：“我想不到夫妇间的快乐，还有用语言不能形容的。”于是，碰到人就说，没有人不被逗得捂着嘴笑他。如玉知道了，责怪他。他说：“打洞翻墙的事，才不可告人。夫妇间的天伦之乐，人人都有，有什么好忌讳的。”
此后过了八九个月，如玉生了个男孩，雇老妈子带着。突然有一天，如玉告诉郎玉柱说：“我跟你两年了，现在也生了孩子，可以就此分别了。时间长了，怕给你带来灾祸，到那时后悔也晚了。”郎玉柱听了，哭着趴在地下不起来，说：“你不想那正在呱呱啼叫的孩子吗？”如玉也很悲伤，满面凄惨。很长时间，如玉说：“你一定要留我不走，就把书架上所有的书都丢掉不要了。”郎玉柱说：“这些书是你的故乡，也是我的性命，怎么说出这种话？”如玉也不勉强，说：“我也知道是定数，但不能不预先告诉你罢了。”
原来，亲族中看到如玉的人，都惊奇得要死，由于没听说郎玉柱和哪家结了亲，就去盘问。郎玉柱不会说谎话，只好默不作声，人们更猜疑，传得纷纷扬扬远近都知。最后，传到县令史公耳朵里。史公是福建人，年纪轻轻就中了进士。听说后心中涌动，很想一睹丽容。就要将郎玉柱和如玉抓来。如玉得知消息，就避匿得无影无踪。史公大怒，把郎玉柱押入狱中，革去功名，带械上刑，一心要问出如玉的下落。郎玉柱被拷问得死去活来，但一句供词也没有。就拷问家中使女，含含糊糊知道一点，但又说不太清楚。史公认为是妖精，就亲自带人到郎家。进屋后，见到处是书，多得无法搜查，就放火烧了。烟气凝结在院子上空，浓重得像阴云密布。
后来，郎玉柱被放了出来。他到远方找到父亲的一位学生，求得一封说情书信，重新复议此事，恢复了他的秀才资格。当年考中举人，第二年考中进士。他对史某恨之入骨。供着颜如玉的牌位，早晚祈祷祝愿说：“你如果在天有灵，保佑我一定到福建当官。”
后来，果然到福建任巡按御史。到任三个月，查出史某的劣迹，抄没他的全家。当时郎的中表亲为司法官员，逼着史某把自己的爱妾送给郎，假说是买的婢女，暂且安顿在官署里。案子了结后，郎当日就自我弹劾，带着那妾弃官回家了。
异史氏说：“天下的东西，积聚太多就会招来忌妒，太爱好就会走火入魔：女子的妖异，就是爱好书之走火入魔。事情离奇荒诞，史县令查究一下未尝不可。但施展秦始皇用火烧的暴虐，也太惨了些！史县令存心不良，也活该得到这样刻毒深重的报复。咳！有什么奇怪的！”