1904年2月，胡适三哥振之因患严重肺病，要到上海医治；胡适既得其二哥绍之的同意，与其同行。当时他们选择的路线是往南行，先过歙县，到新安江上船，顺流东下至杭州，再乘火车到上海。离家时，他母亲望子求学心切，忍着离别之情，没有掉一点眼泪，反显出高兴的样子。胡适那时名为14岁，实刚满12岁的孩子，第一次离开母亲，心中也难舍难分，但为了将来的前程，只得鼓起勇气，与慈祥的母亲告别。后来他回忆那时的情景时说：“我就这样出门去了，向那不可知的人海里去寻求我自己的教育和生活，——孤零零的一个小孩子，所有的防身之具只是一个慈母的爱，一点点用功的习惯，和一点点怀疑的倾向。”
到上海后，胡适进了他父亲的朋友张焕纶办的一个私立学校——梅溪学堂。这位张先生是个提倡新学的教育家，先办梅溪书院，后改为梅溪学堂与梅溪小学。不幸去世早，胡适只见过他一次。他办学校的宗旨，只一句话：“千万不要仅仅做个自了汉。”这学校的课程设有国文、英文、算学三科，但以国文科最为重要，也是分班的标准。胡适这个由乡下刚进城的小孩子，初到校时，给人的印象是躯干不高，头显得很大；身穿蓝呢夹袍，外面罩着绛色的大袖马褂，一看就知道是乡下来的。老师把他分在第五班，差不多是最低的一班了。几个星期以后的一天，上国文课，一位姓沈的老师讲《蒙学读本》上的一段引文：“传曰，二人同心，其利断金，同心之育，其臭如兰。”老师随口就说：这是《左传》上的话。胡适听了觉得不对，知道是老师错了，于是等书讲完后，他拿着书本轻轻走到老师的桌边，低声地对他说，这个“传曰”是《易经》的“系辞传”，不是《左传》。老师脸红了，说道：“侬读过《易经》？”胡适说读过。又问：“阿曾做过文章？”胡回答说没有做过。老师又说，“我出个题目，拨侬做做试试看。”随手出了一个“孝弟说”的题目。胡适领题回坐，写了一百多字的文章交上去。沈老师看了，亲切地对他说，“侬跟我来。”把胡适带到第二班去。沈老师与二班的顾老师交谈后，顾老师收下胡适并将他安排在最后一排。胡适坐下暗自高兴，一天升了四班，但抬头一看，黑板上面写着两道作文题：
论题：原日本之所由强。
经义题：古之为关也将以御暴，今之为关也将以为暴。
胡适一看，可吓坏了。他过去从未做过文章，今天不用说作文，就是题目也解释不了，什么是“日本”？什么“经义”？也弄不明白。糟了！又不敢去问？正在为难之际，一个校工走进教室，递一张条子给老师，老师看过条子，对胡适说，你家有要紧事，派人来接你回去，卷子可带回去做。胡适赶到门口见了家人，才知是三哥病危，慌忙赶到店里，几个小时后，他三哥就死了。第三天他二哥由汉口赶来，办完丧事；胡适先将升班事禀告二哥，接着述说作文的事，请教读什么参考书目。他二哥给了他《明治维新三十年史》，1902年的《新民丛报汇编》等书籍，装了一篮子叫他带到学堂去读。胡适返校后，费了几天功夫，终于作了一篇论说文交了上去，老师看了以后也很喜欢。几个月后，他又升到第一班去了。
胡适在学校甚得老师的喜爱。不仅班上的老师喜欢他，就是晚上管自习的老师也很器重他。据他一位老同学汪金銮（安徽省婺源人）在一封给胡适的信里回忆说：
那时学堂里有个监学张先生贵池人，他颇爱我规矩用心，夜下自修，叫我坐在他的八仙桌旁，口讲指画，和我说些古人的事迹，希望我的心很切。到后几时，你也来了。这老头儿一见你也另眼看待，又叫你也坐在他的方桌旁。他这方桌，别的同学并没有坐过，仿佛是一个特别优待的坐位。……
有一天晚上，你读史记，读到项羽乌江自刎时那首绝命诗，什么“力拔山兮气盖世，时不利兮骓不逝，骓不逝、可奈何，虞兮、虞兮、奈如何！”你忽然将头靠在桌上流泣不止。张先生问你，读书为何流泣？你回说，我不知道是什么原故，肚子里非常感触呢。张先生说你这小孩倒知哭，他可是了不得了。自这里以后，张先生非常的看重你了。我也是很奇怪你了……
自离梅溪以来，老同学四方分散，半个也看不见了，许多的连名字也不记得，惟独这个哭项羽的胡洪骍，我倒时常记念着……
胡适读了他哥哥给他的书籍后，不仅会作论说文，认识也提高了。这年由于拒俄运动的深入发展，反对清廷的斗争也越来越激烈，特别在上海，发生了革命党人刺杀清朝官吏联俄派分子王之春的事件。这事使他思想上受到极大震动，因此增加了痛恨沙俄及反对清政府的革命心理。当时新出的《时报》常载批评时政的“短评”为民伸冤，抨击清廷腐败无能的文章，他很喜欢看。此外又读了梁启超办的《新民丛报》及其他著作，并传抄了邹容的《革命军》。读了这些书，思想有很大进步，自命为新人物。这时的胡适已不是新来时的乡巴佬样子了，在别人眼里是“意气昂茂，大有目无余子之概”的人了。
这年末，梅溪学堂派毕业第一班四个同学到上海道衙门去考试，其中有一个是胡适。他们当时年龄虽只十二三岁，但思想上已经受到革命的刺激，要求进步，所以他们都以“新人物”自诩。既是新人物当然反对旧势力，对上海道的官僚袁海观非常愤恨，于是，王言、郑璋、胡适三人联合写了一封匿名长信去痛骂他，并采取一致行动——“罢考”，离开了梅溪学堂。
后来，王言不知下落；郑璋改名仲诚，毕业于复旦，死于1914年。胡适在《藏晖室札记》卷五里，曾有所怀念。他说：郑是他的同窗好友，肺病一年多而死。不料学成后，未为社会效力就死了，他感到十分悲痛；并提出质问，“今之少年往往中道摧折，谁之罪欤？谁实致此欤？”又说，“此不无研究之价值也。”