章太炎二十三岁那年，他的父亲去世了。失去了一向关心自己的慈父和学业上的导师，他心情十分悲痛。料理完丧事，他就离开余杭，来到杭州，准备进著名的诂经精舍学习。
诂经精舍是一所古老的书院，是大学者阮元主持修建的。嘉庆年间，阮元任浙江督学时，组织一批文人学者在西湖边上编纂《经籍纂诂》，刻印《十三经注疏》。书成以后，将他们使用的五十多间房子改为书院，定名“诂经精舍”，是传扬汉学的场所。阮元解释院名说：“精舍者，汉学生徒所居之名，诂经者，不忘旧业，且勖新知也。”舍内供奉着汉朝经学大师许慎和郑玄的塑像。该舍藏书极为丰富，在这里担任学政和教授的都必须是全国知名的学问家。当章太炎来求学时，主持学政的是名儒俞樾。俞樾（1821—1907），字荫甫，号曲园，浙江德清人，道光末年中进士，曾任翰林院编修，主持过河南学政，后专心教学著述，主讲过苏州紫阳书院、上海求志书院。他的学问上承顾亭林、戴震和高邮王氏父子，治学严谨，著作丰富，主要有《群经平议》《诸子平议》《古书疑义举例》等，在经学研究方面颇有见地。
章太炎想进诂经精舍读书，申请了好几次，俞樾都没同意。有大学问的名儒是不轻易收学生的，如果弟子没有成就或者品德不好，老师会脸上无光。但章太炎执意要进学，俞樾无法，出了两个题目让他回答，如答不上来，就不必来纠缠了。第一道题是《礼记》上周官人数究竟有多少，第二道是《孝经》上所说“先王”到底是谁。这两道题是相当偏僻的。不承想，俞樾话音刚落，章太炎对答如流，引述了多种书籍，足见他已经读过一些书。俞老先生非常高兴，立即答应收下这个相貌看起来普普通通，然而学识不凡的年轻人。
诂经精舍实在是一个读书的好地方。它坐落在西湖和里湖之间的孤山上，四周碧波环绕，山中苍松挺拔，梅花逸香。传说北宋的处士林逋就在这里隐居过。这样的环境正适合学生们专心致志钻研经典。诂经精舍与当时一般的书院不同，它不是为了让青年学生应科举考试，也不赶时髦，讲新学，而专注于一个“古”字。俞樾在《诂经精舍五集序》中说：“我浙素称人文渊薮，而书院之设，亦视他省为多。其以场屋应举诗文课士者，则有敷文、崇文、紫阳三书院在。至诂经精舍，则专课经义。即旁及词赋，亦多收古体，不涉时趋。”
诂经精舍的日课分为四类：句读、抄录、评校和著述。句读和抄录的内容由教师指定，评校和著述的内容，任学生自由选择。每月考试两次，月初考词章，月中考经史。成绩优异者得奖，奖金龙洋五元到十五元不等，优秀的课卷编入《诂经精舍课艺文》，刊刻印行。
进入诂经精舍，章太炎知道了自己学问的不足。他欠缺的主要是扎实的功夫。在初学阶段，他用功很猛，一边大量读书，一边记下自己的心得。两三年时间，读书笔记记了四册，他给这些笔记取名为《膏兰室札记》。凭着年轻气盛，发些议论，许多论断与前人不同，但因为学问还不扎实，这些论断并不一定全对。所以他后来对这些札记不满意，认为其内容“多穿凿失本意”，有可取之处的只占一半。
俞老先生对他的札记给予相当高的评价，在1895年和1897年刊刻的《诂经精舍课艺文》第七、八两集中，共收章太炎的文章38篇，就数量而言是全体入选者中最多的。
在诂经精舍，章太炎的另一个成绩是对《春秋左氏传》的研究。当时学界正进行今文经学和古文经学两个不同学派的争论。今文经是用秦统一以后的文字写成的经书，古文经是用先秦六国的文字写成的。《春秋》的公羊传是今文经，《左传》是古文经。信奉今文经的学者主张探求经书里的微言大义，有时以己意来解释经文；古文经学注重从文字训诂入手，考证历史文物，达到对经文的正确理解。这两个学派的争论从东汉就开始了。清朝中叶以后，有些学者重新研究公羊，复兴今文经学，因为他们大多是江苏常州人，所以这一派也被人称为“常州今文学派”，其主要代表人物是刘逢禄，后来与章太炎政治观点不同有过激烈争论的康有为也属于这一派。章太炎在诂经精舍撰写的《春秋左传读》，长达
50多万字，就是站在古文经学的立场上，专门反对常州今文学派的，矛头所向，尤在刘逢禄。书写成后，他很想出版，因为他已经立定志向，要著述成名。他将书稿送给俞樾过目。俞樾看后，连连摇头，说文章立意虽然新奇，但论断未免穿凿，刊刻后作者一定会后悔的。后来他又送给另一位老师谭献，请其帮助刊行，最终也没有实现。
在诂经精舍里，章太炎虚心向其他老师和同窗好友求学。谭献（1832—1901），字仲修，浙江仁和人，同治举人，做过几任小官，卸任后曾闲居杭州，读书治学。后来应湖广总督张之洞的邀请，到武昌主持经心书院，每逢冬夏回杭州探亲休养。这期间，章太炎就会登门求教。
谭献治经，偏重于今文经学。谭献具有很高的文学才能，在当时文坛颇有名气。他的文风，师法魏晋，对章太炎影响较大。章太炎写文章，原先模仿先秦两汉的文风，就是在这个时期，从谭献那里看到了魏晋文章的妙处。
他后来评论从汉至唐的文学时说：“雅而不核，近于诵数，汉人之短也；廉而不节，近于强钳，肆而不制，近于流荡，清而不根，近于草野，唐宋之过也；有其利，无其病者，莫若魏晋。”他的深得魏晋法度的文章又影响了他的弟子，如鲁迅等。
高学治，字宰平，浙江仁和人。一生勤奋好学，年过七十，还每日手不释卷。他早年与章太炎的父亲在诂经精舍共过事，所以他对章太炎的学业和生活很关心，经常告诫他两件事：治学要严谨，做人要有德操。章太炎在《高先生传》中曾记述老先生对他说过的一番话：从惠栋和戴震以后，治学的人真是不少，但义行操守方面没有几个可以称道的。汉代的经师们异常刻苦，别人不理他们，他们也不觉得愁闷和委屈，现在的人比不上。如今世道衰落，你要一心一意地做学问，做一个有操守、有德行的人。
黄以周（1828—1899），字元同，浙江定海人。他曾主持江阴南菁书院十五年，培养了大批治学人才。晚年住在杭州，使章太炎有了求教的机会。他的书房的匾额上写着“实事求是，不作调人”，治学极为严谨。他的专长是礼学，他认为在世道渐衰之时，礼学对纠正恶俗、安定人心大有裨益。他倾毕生精力，撰成《礼书通故》百卷。他教导章太炎注意历代典章制度的研究，认真阅读杜佑的《通典》，使章太炎深受教益。
孙诒让（1848—1908），字仲容，浙江瑞安人，同治举人，曾任刑部主事。他对礼学颇有研究，花了二十年时间，对前人研究《周礼》的成果进行总结和批判，写成《周礼正义》86卷，堪称《周礼》研究的集大成者。他的《墨子闲诂》也很为时人所推崇。章太炎从他那里也学到不少东西。
宋恕（1862—1910），号六斋，浙江平阳人，原名存礼，后改名衡，字平子，与汉代的张衡同名。他在《六斋卑议》里，激烈抨击封建纲常名教。他对佛学有研究，常劝章太炎涉猎佛经，对章太炎日后研究佛学起了引导作用。
同学中，杨誉龙和曹树培与章太炎最要好。他们经常在一起切磋琢磨。章太炎日后在为杨誉龙的《素行室经说》写的序言中回忆说：“余少治汉学，与杨君云成、曹君小槎最亲密，每诹一故训，证一成事，相说以解。云成尤善小学，研精覃思，洞彻本标，与语日旰不倦。既多其勤学，出入数年，时踪迹之。”
章太炎的朋友还有夏穗卿，是浙江钱塘人，为人诙谐滑稽，往往语出惊人。他有这样的名言流传下来：唐以前中国的女人是奴隶，唐以后中国男人全成为奴隶，女人乃是物品了。他的专长在历史研究，曾著《中国古代史》，颇有开创之功。
在诂经精舍学习期间，章太炎于1892年纳妾王氏。他已经到了或者说过了结婚的年龄。但他为什么不正式娶妻而纳妾，却是一个谜。