学部从干校刚一迁回北京，顾伯伯就急切盼望跟孩子们恢复联系。为此，他还特地到照相馆拍了照，加印之后附在给孩子的信中。信上说：“附去照片六张，是刚回北京时照的，哪一位要照片，可以给他。我现在还没有力量照顾你们，附去省下来的油票一张，表示一点心意。”下面粘贴的是一张从他自己嘴里省下来的油票。
那张照片就是现在人们看到的顾准晚年唯一一张在照相馆拍的正面照，当初却是专为孩子们拍的。那个年代的北京市居民，每人每月只能领到半斤油票。这点儿油一般人自己都不够吃，很难省下来送给别人。这点点滴滴的小事渗透着他对孩子们多么深的爱啊。
那些日子顾伯伯一直盼望几个子女来看他，为此还专门准备了一套新被褥，幻想哪天孩子来了可以用上。
有一次赵人伟叔叔来八号楼找他，看见他躺在床上，脸色特别难看，赶紧问是否病了？他说不是，是听说大女儿回北京了，想见一面却见不到，心里不好受……
1966年1月，顾伯伯被迫与妻子离婚。离开家时他没带走任何照片，而他自己从幼年时代起拍的照片，都在“文革”初期被孩子毁了。
1972年11月底，陈敏之从上海来北京看他。他向弟弟倾诉了对亡妻和孩子们痛彻心扉的思念之苦。六弟为了排解他的苦闷，拿出自己珍藏多年的顾准全家福照，还从年近九旬的老母亲那里、从三妹陈枫那里，收集到这样一些照片：顾准五个孩子在长沙发上坐成一排的合影、二儿子高梁在内蒙古插队的照片、大儿子小米（顾逸东）与奶奶（顾准母亲）的合影、大女儿稖头抱着她孩子的合影……顾伯伯看到这些照片百感交集，他亲自动手做了一本相册，还在乳白色半透明夹页上处注明这些照片拍摄的大致年份。这个相册对他来说简直是无价之宝，是他与活着或死去的亲人见面的唯一途径，他经常久久地凝视着这些照片……
顾伯伯去世后，遵照他的遗嘱“请六弟选一些纪念物品，代我送给张纯音同志和她的女儿咪咪”。
陈敏之伯伯将这本相册及其他一些遗物留给了我和母亲，一直珍藏至今。
顾伯伯那时每天除了读书、写笔记外，还翻译经济学著作。他在跟巫宝三先生探讨经济学源流时，了解到罗宾逊夫人在西方经济学流派中的地位，于是决定翻译她的《经济论文集》。此书内容相当艰深，译成中文绝非易事。我母亲感到不解，问道：“要想了解罗宾逊夫人的经济思想，读她的书就行了，何必费那么大力气翻译过来？”顾伯伯说：“我希望将来译著能出版，这样可以挣些稿费给孩子们贴补家用。”母亲认为通过搞翻译挣钱不是办法。一是当时还处于“文革”期间，读西方经济学著作都犯禁，根本看不到这类译著出版的希望；二是当时翻译稿酬极低，每千字只有3-10元。母亲开玩笑说：“要想指望搞翻译挣钱，只好喝西北风了。”可顾伯伯却相当执着，认为只要有朝一日译著能出版，对孩子们就“不无小补”。每当我们看到他埋头做翻译，书桌上堆放着厚厚的一叠译稿，都深受感动。这里面包含着多么深的舐犊之情啊……
顾伯伯非常爱他的孩子，每当提起孩子，总是很激动。一次，他如数家珍地谈到几个孩子的学习，哪个考取了科大，哪个进了清华，哪个连续多少年被评为三好生……最后，他用上海话自豪地对我们说：“请允许我不谦虚地说一句：我那几个孩子是‘叫花子吃老鸭——只只好’。”
顾伯伯有时看到我和母亲非常亲密，对我母亲说：“真羡慕你有这样一个好女儿。你们看上去不像是母女，倒像是姐妹。”母亲说：“我的教育比你成功，因为我从来不对孩子讲假话。自从咪咪懂事后，我把自己对各种事物的真实看法讲给她听。从镇压反革命到公私合营，从‘反右’到‘大跃进’、人民公社、直至‘文化大革命’。我不仅把她当作孩子，还当作好朋友；而你过去只跟夫人讲真心话。在子女面前，两个人却统一口径，一律‘正面教育’。让他们‘听党的话，坚定不移地跟党走’。他们看到你多年来为‘党’所不容，视为异己，怎能接受这个现实？又怎能不背离你而去？恕我直言，你跟几个孩子的关系发展到今天，自己也要负一部分责任。”伯伯听了这番话陷入沉思，竟无言以对……
现在看来，他当时那样做恐怕有难言之隐。作为多次挨整的人，对子女讲真心话是要冒很大风险的。为了安全起见，只能心里想一套，嘴里说一套。这样的教育，再加上社会上强大的宣传攻势，孩子们对他产生误解就在所难免了。笔者认为，顾准的家庭悲剧是那个时代造成的，他们全家每个人都深受其害，这不能具体怪谁。正如他所说：“是整个时代使然。”