陶行知原名文浚，后改名知行，再改名行知。1891年10月18日诞生于安徽省歙县西乡黄潭源村。陶行知的父亲，名位朝，字筱山，靠教书为生，后回家务农。母亲曹翠仂接管了祖上的一爿酱园，后因社会经济萧条而破产倒闭。陶行知出生的年代，正当清王朝腐败无能，帝国主义用鸦片加坚船利炮冲开封建主义旧中国的大门，封建统治者丧权辱国，人民处于水深火热之中。陶行知幼年时家境虽贫寒，他却聪明好学。6岁由方庶成秀才开蒙，8岁入吴尔宽塾师处伴读，曾在三刻钟内背诵《左传》43行，显露出惊人的记忆力。
1906年，崇一学堂英籍校长唐俊贤因喜欢陶行知的聪明勤劳，免费吸收他为崇一学堂第17个学生。陶行知在15岁那年得以跨进崇一学堂——家乡歙县城关的一所教会学校，开始接受西方新式教育，学习英文、国文、数学、理化、医药常识等课程。由于基础扎实，入学直接编入二年级，各科成绩很快赶上并超过一般同学，两年毕业时已名列第一。在崇一读书期间，陶行知既学现代科学知识，又不放弃古典文学。他当时最推崇唐朝诗人杜甫、白居易，说：“杜诗沉郁有力，多伤时忧国之作；白诗通俗流畅，道了民生疾苦。”后来，陶行知成了著名诗人，其风格显然是师承杜、白的。年轻的陶行知从小热爱祖国，座位及寝室墙壁上均写上了“我是中国人，我要为中国出力”等字条。
1908年春，17岁的陶行知乘船赴杭州报考广济医学堂，青年少时期的求学经历影响了他一生的事业和生活。他始终在实践着崇一学堂读书时立下的誓言：“我是一个中国人，要为中国作出一些贡献来”；他时刻提醒自己只做“人中人”，不做“人上人”。他说：“我本来是一个中国的平民。无奈十几年的学校生活，渐渐地把我向外国的贵族方向转移，……好在我的中国性、平民性是很丰富的，我的同事都说我是一个‘最中国的’留学生。经过一番觉悟，我就像黄河决了堤，向那中国的平民的路上奔流回来了。”从自己的体验中，陶行知得出结论：“幼年的生活是最重要的生活，幼年的教育是最重要的教育。”在杭州广济医学堂，由于歧视非教徒学生的校规，他入学“三天之后”，愤而退学，回到徽州，并在崇一学堂校长唐进贤的帮助下，于1909年考入南京汇文书院预科。当年秋，汇文书院与宏育书院合并，成立著名的教会大学——金陵大学。陶行知即从汇文书院升入金大文科，开始大学学习生活。在读期间，他极力赞同明代哲学家王阳明的“知行合一”论，于1910年改名知行。
辛亥革命以后，陶行知热心参与学校和社会的各项活动，经常组织大学生进行爱国演讲，举办爱国支援革命政府的活动，并热心宣传民族、民主革命思想。1914年6月，陶行知以第一名的优异成绩毕业于金陵大学文科。同年，考上了美国伊利诺大学，攻读市政。1915年获该校政治学硕士学位。
1915年秋，陶行知认识到在中国要实现真正的共和政治及民主主义，除向民众实行教育普及外，没有别的办法。因此，他离开伊利诺大学转到哥伦比亚大学师范学院教育系学习，并依靠义和团赔偿金成为该校“半费生”。1917年夏，陶行知在哥伦比亚大学获该校都市学务总监资格文凭。然而，他谢绝了美国孟禄教授让他申报博士学位的好意，怀着“要使全国人民接受教育”的宏愿和振兴中华的伟大志向，回到了苦难的祖国，踏上了献身人民教育事业的征途。