1915年1月18日胡适离绮色佳城应邀到波士顿出席该地区开的卜朗吟（Boston Browning Society）会议。期间曾赴哈佛大学访友，在此遇中国同学郑莱、吴康、宋子文、张福运、竺可桢、孙恒、赵文锐、陈长蘅、贺茂庆等人，大家畅谈极欢。20日夜，澄衷老同学竺可桢请他吃饭，在座的有郑莱、张子高等7人，彼此都有见面难得之感，故倾谈甚快，其中胡适与郑莱说话最多。他们讨论了中国的重要问题，一致认为：（一）设立国立大学以救今日国中学者无处寻求高等学问之地，（二）设立公共藏书楼、博物院，（三）设立学会等等。大家各抒己见，表示了对祖国的怀念和希望。
同年2月22日，胡适与学校里的英文教师亚丹先生的一次谈话，也谈到设置大学的问题，这位教师问他：中国有大学吗？他答不上来。这位老师又说，如果中国想保全固有之文明，创造新文明，那末非有国家大学不可。并称国之先务，莫大于是。胡适听了很有感触，于是便将自己近来所主张办国立大学之方针向老师作了汇报，其中谈到了他在《非留学篇》中的许多主张。当时老师十分夸奖他，并称中国如有一所完美之大学，他将以自己收藏多年的书籍千余册相赠，鼓励胡适努力奋斗，去实现自己的办学理想。胡适听了很受鼓舞。当天他在日记里写道：“吾他日能望见中国有一国家大学可比此邦之哈佛，英国之剑桥、牛津，德之柏林，法之巴黎，吾死瞑目矣！”胡适特别强调在国内设立国立大学的重要性，他认为，国内如果没有一个地方，让人们去求取高等学问，那末人才势必外流，到外国去留学，这种局面不改变，国内文明将永无进步之希望。因此他特别强调办国家大学。
胡适上述思想，在他写的《非留学篇》一文里，讲得更为透彻。这篇文章发表在1914年1月《留美学生年报》上，约有1.5万字。此文比较全面地论述了他对待官费留学生的看法，及其对改革国内高等教育的意见。文章开宗明义，对留学生中存在的一些问题提出了批评。他说：“留学者，吾国之大耻也；留学者，过渡之舟楫，非敲门砖也，留学者，废时伤财，事倍而功半者也；留学者，救急之计，而非久远之图也。”
他告诫人们首先要认识到留学是不光彩的，以数千年之古国，东亚文明之领袖，一变而北面受学，称弟子国，天下大耻，莫过于是。但他并不反对国家派遣留学生，而是要人们知道这是一种耻辱，记住把它洗刷掉。同时，要明确自己责任，不能把留学当作将来回国猎取功名富贵的敲门砖，而是要如渡海之船夫，乘风而来，采山之神药，乞医国之金丹，然后扬帆而归，以他人之所长，补我所不足，使我国古文明，得新生机而益发扬张大，为神州造一新旧混合之新文明。因此，他说：“留学当以不留学为目的。是故派遣留学生至数十年之久，而不能达此目的之万一者，是为留学政策之失败。”
有鉴于此，他认为大量派遣青年（时每年200人）出国留学，是废时伤财，事倍而功半。他主张把每年派遣留学生的官费（银40万元）拿来在国内办高等教育，而以留学为造就大学教师的途径，如是以大学为鹄、留学为矢，那么我国教育前途，或许会有希望了。他批评政府数十年来的留学政策，是忘本逐末，以留学为久长之计，而不知振兴国内大学，推广国内高等学校，以为根本之图。他说：“国内高等学校不兴，大学不发达，则一国之学问无所归聚，留学生所学，但成外国入口货耳”。这是舍本逐末的政策，在这种思想指导下，政府自然偏重实际科学——工科，而看轻了文科。于是，由于上以所劝，下以此应的关系，留学生多去学工但求一技之长，急于求成，归国谋取利禄。他认为这是救急之计，而非久远之图。因此他指出：“虽极其造诣，但可为中国增铁道若干条，开矿山若干处，设工厂若干所耳！于吾群治进退，文化盛衰，固丝毫无与也”。既然如此，那末留学是否可以废除呢？他的回答是否定的。他说留学是救急之上策，过渡之舟楫，我国一日未出过渡之时代，留学则一日不可废。不能因噎废食。问题的关键是要改变过去以仕进利禄的教育方针和派遣留学生的方法。他认为：“今日教育之唯一方针，在于为吾国造一新文明”。接着解释道：“吾国之旧文明，非不可宝贵也，不适时耳！不适于今日之世界耳！”“吾国居今日而欲与欧美各国争存于世界也，非造一新文明不可。造新文明，非易事也。尽去其旧而新是谋，则有削趾适履之讥。取其形式而遗其精神，则有买椟还珠之诮。必也。先周知我之精神与他人之精神果何在？又须知人与我相异之处果何在？然后可以取他人之长，补我所不足。折衷新旧，贯通东西，以成一新中国之新文明，吾国今日之急务，无急于是者矣。20世纪之大事，无大于是者矣。以是为吾民国之教育方针，不亦宜乎。”胡适特别强调文科作用，认为文科才能从根本上改变国家的落后面貌。他说，为长久计，应该以国内高等教育为主，而以留学为宾。今日之大错，在于以国内教育仅为留学之预备，因此国内各有名的学校，都重视外语，用外国语教授科学；学生以得出洋留学为最高之目的，学校亦以能使本校学生可考取留学官费，或能直入外国大学，则本校之责已尽矣。这是今日最大之隐患。为了改变这种局面，他提出要改变教育方针，面向国内，具体办法有二：（一）慎选留学生，提出许多严格的标准，比如要通晓国学：《四书》、《五经》、《史记》、《汉书》、《说文》、《唐诗》、《宋词》等。其次是外语要求能读书、作文，还要有第二外语（能以字典读书为度）。文学要能作文自达其意，而且能翻译外文，等等。上述要求，无非是要提高留学生的质量，以便能完成留学生所负的责任，使其归国后为国家出力报效，做一番建设事业。所以他说：“留学者，新文明之媒也，新文明之母也。”（二）增设大学。他认为当时国内虽有几所大学如北京、北洋、南洋三大学，但极不完备，须要从各方面扩充，使之完备。他主张，大学之数，不必多，但要完备精全。不妨就以上述三大学为重点，务使百科咸备，与于世界有名大学之列，然后以余力增设大学于汉口、广州等地。此外还须办省立大学，办法可就已有之高等学堂为起点，改为大学。科目可视省内之急需而增设，如浙江大学可以增设蚕学、种茶专科，福建大学则须设漆工及造船专科，江西大学当设有磁器之类。其次鼓励私人捐款办学，设立私立大学，政府考查成绩，对成效大著者，应予以补助，使之得以充分发展。
上述乃胡适对当时民国政府的高等教育及留学政策的评论和改革意见，也是比较全面地反映了他的教育思想。其中他批评当时留学中存在的一种不良倾向是很尖锐的。他说：“今吾国留学生，乃不知其国古代文化之发达、文学之优美、历史之光荣、民族之敦厚，一入他国，目眩于其物质文明之进步，则惊叹颠倒，以为吾国视此真有天堂地狱之别。于是由惊叹而艳羡，由艳羡而鄙弃故国，而出主入奴之势成矣！于是人之唾余，都成珠玉，人之瓦砾，都成琼瑶。及其归也，遂欲举吾国数千年之礼教、文学、风节、俗尚一扫而空之，以为不如是不足以言改革也。”这段话是很有刺激性的。文章发表后，在留学生中引起剧烈的反响，有同意他的观点的，但也有反对派。那时刚从广东省教育厅卸任到美准备进哥伦比亚大学的钟荣光就很欣赏胡适的这篇文章，当面告诉他说：“教育不可无方针。君之方针，在造人格。吾之方针在造文明。然吾所谓文明，固非舍人格而别觅文明，文明即在人格之中，吾二人固无异点也。”这是同意他的观点的人，但也有反对派。1915年1月胡适到哥伦比亚大学访友叙旧。当时严敬斋以关怀的心情告诉他说，此间有许多人反对你的《非留学篇》，幸得王鉴、易鼎新等为你出力辩护云云。胡却很有自信地回答他说：“余作文字不畏人反对，惟畏作不关痛痒之文字，人阅之与未阅之前同一无影响，则真覆瓿之文字。今日作文，须言之有物，至少亦须值得一驳，愈驳真理愈出，吾惟恐人之不驳耳。”由此可见，胡适是个欢喜辩论的人。
胡适到美留学初期，既能抽出时间和精力来研究国内的教育制度，对问题的评论比较全面和有系统，而且又提出改革方案。无疑反映了他的爱国思想及教育救国的主张。他说：“吾久欲有所言，而逡巡嗫嚅，终未敢言。然吾天良来责，吾又不敢不言。”由此可见他对祖国的安危及发展前途是十分关心的，同时有一种责任感在驱使着他，所以他选择了以教育救国的方式，来报效祖国。后来实践证明他归国后是遵循着自己的理想，而不知疲倦地在这条路上奋斗。