雍正五年（1727年），曹家在政治风浪中勉强维持残局，然而一系列新的事件又发生了，曹氏一家终遭不测，曹雪芹终于成了犯官罪人的孽子孤童。
曹雪芹虽然只有5岁，却不得不面临人生的第一个重大的转折。
雍正五年（1727年）也是曹頫非常窘迫的一年。
这一年五月，因为进贡物品“奢泰”，遭斥责。
六月，因江宁所织御用褂面等落色，罚俸一年。
十二月初，因山东总督塞楞额参奏三处织造送龙衣途中勒索骚扰百姓，降旨严审。
十二月十五日，李秉忠接替杭州织造孙文成，隋赫德接管江宁织造曹頫。
十二月十五日，上述命令下达。曹頫罢职待罪。
在中国，“年”是全民最盛大、最欢乐、也最富有诗意的重要节日、但在曹家，这个年却过得无比凄惨，被抄家且成了罪犯，顿时曹家满门被置于一种绝境之中。
4岁的曹雪芹，自从出生以来，第一次领略了什么叫灾难，尤其是大祸临头时全家成员那种恐惧、窘迫、无助、绝望的神情和失常的举动，是童年的曹雪芹一生都无法忘掉的。说来奇怪，谁也无法预料，曹雪芹最终也死在了除夕的晚上。
江南总督范时绎接到命令后，大约忙了一个月，才把曹家的财产查清、造册、封存。约于二月初上报到北京。
查抄出来的家产清单，与当时的满汉高官及大户相比，简直太寒酸了。连硬心肠的皇帝，在听了奏折后，也生出些“不忍”之心。曹家当时已是何等的惨况，可想而知。
隋赫德的奏折透露了两点：一是雍正将曹家的房屋人口赏给了他；二是雍正命令他给曹家“少留房屋，以资养膳”。可见雍正在惩治曹家这件事上，做了错误的估计，也听信了别人的谗言——说曹頫转移、隐匿资产。而查抄的结果竟是如此可怜可叹，不免使他“天良发现”“扪心自愧”了。
后来雍正见曹家实在可怜，发了善心，特命留一点房子给曹家，使两世孤孀有一处立锥之地，不至流落街头为丐，于是把在京的一处住房拨给了曹頫一家。
令人感到意外的是，雍正还批准给曹家留了奴仆六人，即三对夫妇的私家世仆。
至于曹頫本人，“因罪曾被枷号，即用木枷钉锢，在露天里示众”。从此以后，曹頫的命运究竟是怎样的，到现在为止，还没有发现文献记载，因此不能妄断。无论如何，随着父亲获罪而还京的曹雪芹，确实住进了新拨给的恩赏住房。
曹雪芹的北京生活由此开始，直到他病逝于城外西郊。
曹家的这处北京新居，坐落在外城偏东，崇文门外直对的南面一处叫蒜市口的地方。在此，隋赫德给曹家安排了一个小院子，共有十七间半房屋。虽说这是北京最简单的“四合院”，但仍然是一个独门独户的封闭式宅院。曹家虽是犯官，但毕竟是内务府旗人，在当时的政治环境中，他们是应该与汉人有别的。
单单把他家安排在城外居住，已足以说明曹家此时的政治地位发生了极大的变化。