范仲淹知道自己的真实身世后，下定决心改变自己的命运。第一步就是离开长山县，况且醴泉寺毕竟不是求学的理想之处。醴泉寺条件艰苦到是可以忍受，关键是缺少名人大师，整天和僧人们在一起，独学而无友，孤陋而寡闻。于是在大中祥符三年（1010年），时年22岁的范仲淹不顾义父和母亲的阻拦，毅然洒泪辞别母亲和养父，离开长山，携琴背书独自前往南京求学，来到了当时闻名全国的“四大书院”之一的应天府书院。
应天府书院是宋代著名的四大书院（岳麓书院、嵩阳书院、白鹿洞书院和应天府书院）之一，共有校舍150间，藏书数千卷。更主要的是这里聚集了许多志操才智俱佳的师生。来到了应天府书院，范仲淹觉得这才是理想的求学之所。这里有纵贯古今的名师大儒，可以释疑解惑；这里有浩如烟海的经书子集，可以博览群书；这里有志同道合的志士益友，可以谈天论地。来到应天府书院，范仲淹宛如到了读书的天堂一样，忘记了旅途的劳累和心中的愤懑，全然不顾条件的艰苦与经济上的拮据，全身心地投入到发奋苦读中。几年的求学生活，范仲淹竟然昼夜不分，没有脱去衣服上床睡过觉，累了就小盹一会儿；饿了就画饼充饥，实在挺不住了就在日头落山时弄口粥喝；冬天靠冷水泼脸提神，夏天靠烧棉絮起烟雾驱蚊；别人看花赏月游山玩水，他则在书中探寻真理，真正做到了潜心苦读，废寝忘食。他的这种求学精神和古人苏秦“锥刺骨”、孙敬“头悬梁”相比有过之而无不及。正是靠着这种顽强的意志品质，范仲淹在应天府书院遍读四书五经，博览天下群书，结交良师益友，尽情谈古论今。应天府书院的求学经历，使范仲淹大有春风拂面，茅塞顿开之感，觉得自己的苦没有白吃，汗不会白流，总有一天自己会得到回报的。范仲淹在应天府题诗《雎阳学舍抒怀》为证：
白云无赖帝乡遥，汉苑何人吹洞箫。
多难未应歌凤鸟，薄才犹可赋鹪鹩。
瓢思颜子心还乐，琴通钟君恨即消。
但使斯文天未丧，涧松何必怨山苗。
这首诗深刻表达了当时范仲淹求学时的感受。他用古人作自比，虽然地位卑贱但也要有积极进取的姿态和精神，不计较物质上的贫困。在诗中，他比喻自己就像孔子的弟子颜回，生活虽然艰苦却自得其乐；把在应天府遇到志同道合的同学比喻为就像伯牙遇见钟子期，千里觅知音，内心的苦闷早已烟消云散；天道酬勤，只要是饱览群书、满腹经纶，将来必定有所作为；自己努力了，何必抱怨他人呢！从这首诗中也能看出，经过5年求学，范仲淹的文学造诣已达到一定境界，吟诗作文，也慨然以天下为己任。
“出处贫困，布素寒姿”的范仲淹，在极其艰苦条件下，经过多年矢志不渝的勤学苦读，不仅泛读天下经典，增长了阅历，为其后期发展打下了终生受益的坚实基础，更磨练了意志品质。“艰难困苦，玉汝于成”，这些求学经历对范仲淹的道德标准、价值观念的形成，对范仲淹“不为良相则为良医”的远大目标，对其“先天下之乐而乐，后天下之忧而忧”的人生信念更有深远的影响。应天府书院的学习生涯，为范仲淹在政治、经济、军事、教育、文学上卓越建树，成为一代名家，奠定了坚实厚重的基础。