茅以升5岁上私塾，后又进了新型小学——思益学堂。1906年，南京成立了江南中等商业学堂，茅以升小学还没有毕业，就考上了这所学校。他一边在学校上课，一边还在家中跟着父亲、祖父学习。
茅以升祖父的藏书楼上有一块横匾，上边刻着：“一家终日在书楼”。茅以升看见这七个字，心想：读书人就是要终日藏在楼里下功夫学习。
有一天，家里人在吃晚饭时找不到茅以升了，大家都很着急，东喊四找也没找到。夜晚，祖父见阁楼里有微弱的灯光，上去看，才发现茅以升藏在楼里，正聚精会神地读书呢。
祖父问他：“你怎么忘了吃饭？”
他说：“爷爷，你忘了神笔的事了？”
爷爷恍然大悟。
原来，他曾经给孙子讲过一个神笔的故事，说的是古时候在东海的一座山上，住着一位白发老爷爷，他有一支神奇的笔。
用它画鸟，鸟能飞；用它画鱼，鱼能在水中游；用它画楼，楼能平地而起；用它画桥呢，桥梁就飞架在江河上……因此，许多人都渴望得到这支神笔，但是谁也没有得到过它。
茅以升当时就问爷爷：“为什么得不到它呢？”
“因为不知道它的秘诀！”
“那神笔的秘诀是什么呢？”
爷爷在茅以升的手心里写下“勤奋”这两个字，并且告诉他：“这就是神笔的‘秘诀’，只要你掌握了它，什么样的高楼大厦、桥梁铁路，都会从你的笔下设计出来。”
这不，茅以升正在以实际行动去寻找神笔的秘诀呢！
爷爷听罢解释，没有责备他，反而夸他用功。并说：“抽时间我来教教你。”
于是，暑假中，祖父就给以升补习古文了。他在南屋放上一张长桌，自己坐在正中，让孙子坐在横头。他取出一篇王勃的《滕王阁序》，一字一句地给孙子讲解，讲完之后，还让孙子背诵、默写、回讲。他严肃地对孙子说：“读业务求其通，光会背不行，还要会讲，会写。
相传王勃小时候念书时间长了，嘴都生了口疮；写文章时间长了，手指磨出了茧子。
所以15岁那年他就写下了脍炙人口的名篇《滕王阁序》。其中‘落霞与孤鹜齐飞，秋水共长天一色’成为千古绝句。”
茅以升把祖父的话牢牢记在心中。从此，他每日清晨到河边背诵古诗文，并逐句理解其意。
小船扬起风帆从眼前驶过，阵阵渔歌飘荡在河面上；小朋友们在河岸上追逐嬉戏，喊叫声震耳欲聋。而勤奋的茅以升对这一切都视而不见，他一动不动地站在岸边，专心致志地读书。
有一回，他手捧书本，边走边读，不小心撞在一棵大树上，他还惊诧地问：“谁碰了我了？
”过路人看见后，捧腹大笑，说：“真是个书呆子！”
有一回，他在祖父的书房里翻阅一本有关数学史的参考书。书中说，有不少数学家为了求证圆周率的精确值，计算到小数点后面几十位。几百位、茅以升想，用背诵圆周率的办法锻炼记忆力该是多么有趣啊！于是，他便和这一连串的数字交上了朋友。最初，他只能背到小数点后面32位，以后进一步努力，竟能准确无误地把小数点后面100位数都 熟练地背下来。
有一年，学堂举办新年晚会，轮到茅以升出节目，他站起来说：“我既不会弹 琴，也不会跳舞，我给大家背个圆周率吧！”说罢，他就清晰地 、有节奏地 背起了圆周率，一直背到小数点后面100位。
这种锻炼记忆的方法，茅以升坚持了几十年。直到他已年近90，仍能像青年时那样，把圆周率小数点后面的100位数，准确无误地 背诵出来。