他们知道，元军的哨马通常都是午前出来巡逻，午后即回军营。好不容易苦熬到午后，大家松了口气，说今日可算是性命无忧了。正说呢，忽然远处传来喧嚣的人声，从墙缝向外一看，人人都倒抽了一口冷气，只见几千元军骑兵正由东向西，往土围子这边过来。一旦被元军发现，就是插翅也难逃了。众人屏住呼吸贴着土墙，紧张地听着外面的动静。文天祥感到难逃这一劫，甚至后悔不死在扬州，落得在这里死在元军的刀下。
元军走近了，杂乱的马蹄声和箭筒撞击的声音都听得清清楚楚。完了完了，如果哪个元兵探头进来，一切都完了。岂料又是一个峰回路转，恰在此时突然狂风大作，黑云四起，一阵暴雨骤至。不知是否又是神道相助，帮了他们的忙，元军只管打马加快赶路，哪还有暇旁顾？这几千元军被暴雨赶得且行且远，文天祥他们也被淋得浑身透湿。后来得知，这正是押送祈请使去大都的元军，因押着所掠老小和辎重，所以行动迟缓。原本也没那么多人马，都因文天祥在镇江走脱，队伍才变得如此庞大。
危机过去，饥渴感又翻上来。见几里外的山下有座古庙，等不及黄昏卖柴人带米来，先派吕武和邹捷去庙里汲水，弄点吃的。岂料左等右等，待二人返回，并未带回吃的，却相对而泣。由于押送祈请使的队伍经过，附近据点的元军加强了警戒，哨马打破常规，午后仍到处巡逻，吕武和邹捷撞到哨马被抓，用身上的三百两银子悉数行贿才换回条命。不过他们说，那古庙尚可遮风挡雨，庙前有口水井，比这土围子要强多了，里面只住着一个讨饭的老妇。看样子卖柴人是回不来了，众人便决定去古庙过夜。
天傍黑，文天祥、杜浒、金应、吕武、张庆、夏仲、王青、邹捷，八个人进了古庙。还没坐定，忽见进来一个手提棍棒的男子。过了一会儿，又进来三四个人。文天祥担心这些人是土匪，一攀谈，才知道是扬州的樵夫，今日砍了一天柴，进不了城，只好夜宿古庙。又一问，得知当日有几百元军骑兵直逼扬州城下，扬州自午后一直紧闭城门。文天祥想，这就怨不得卖柴人失约了。这几个樵夫架锅起火，煮了一锅菜粥，见文天祥等人饥饿难耐的样子，就分了一些给他们。几口热腾腾的菜粥下肚，虽不足果腹，但毕竟是两昼一夜头一回吃到东西，加上有位少年为大家点篝火取暖，身体渐渐地缓了过来。
与樵夫攀谈中，文天祥自称刘洙，讲了一路的遭遇，请求他们能带路去高沙。樵夫们欣然允诺。一位樵夫热情地说：你们走的不是去高沙的路，应先到贾家庄，住一天，从那里去高沙。另一位想得更周到，说：到贾家庄，我们帮着进城籴米买肉，补回几天来的饥饿，再雇两匹马，备足干粮，才好上路。文天祥想：这些人知道我们落魄于此，身上又带着金银，却毫无歹念，真是古道热肠啊。
三月初五五更时分，文天祥一行跟着樵夫离开古庙，赶到贾家庄天刚蒙蒙亮。他们在一个跟昨日差不多的土围子里歇下脚。等到中午，樵夫从城里买了大米和猪肉回来了，大家这才吃了一顿饱饭。自三月初三日奔扬州到离开扬州这一路的种种艰辛与险恶，文天祥用《至扬州》一题写了二十余首诗以记。贾家庄一首写道：“行边无鸟雀，卧处有腥臊。露打须眉硬，风搜颧颊高。流离外颠沛，饥渴内煎熬。多少偷生者，孤臣叹所遭。”备尝艰辛锻铸着正气名节，想起贾余庆这样的贪生怕死之辈就更是嗤之以鼻。日头刚西沉，一行人就跟着雇来的向导和马夫动身去高沙。
上路走了没多久，忽有五骑喧嚣着冲到眼前。马上五人自称是扬州宋军地分官，气势汹汹地挥着刀要砍人。文天祥拿出银子买命，才免遭毒手，气得他在诗中斥道：“金钱买命方无语，何必豺狼骂北人！”这些家伙同野蛮的北人没什么两样。真个是处处陷阱，步步惊心，此时又想不如干脆去扬州城，可又想去了扬州城注定是一死，只好还是往前走。
雇来的三人引路，三人牵马，一行人连夜赶了四十里地。一路还算顺利，到了一个叫板桥的地方却迷了路，四周都是稻田，不辨东西，他们就在田埂间乱转，弄得风露满身，人马饥乏。转到天明，又起了又湿又腥的大雾，对面不辨形影，还是转不出去。
就当大雾渐散，找寻出路时，忽然隐约看见不远处有一队元军骑兵，待躲进一片竹林，已经晚了，二十多名骑兵打着呼哨冲过来，绕着竹林大声喊叫，接着进入竹林乱劈乱砍地搜索，听到哪儿有动静举箭就射。
这可谓是这一路上最险恶的遭遇。张庆右眼中一箭，颈上挨两刀，发髻也被削掉；邹捷伏在厚厚的烂竹枝叶底下，脚被马蹄踩得血流不止；王青被元兵发现，五花大绑捆住拉出了林子。杜浒和金应也被抓，文天祥藏得离他们不远，看见他们用随身带的黄金行贿才被释放。元兵几次从文天祥身旁搜索过去，随时都可能发现他，“当其急时，万窍怒号，杂乱人声。北仓卒不尽得，疑有神明相之”。元兵撤走，文天祥感到他们要烧竹林，急忙跑到对面山上，躲进了篁竹丛中。
“是役也，予自分必死。”文天祥时刻准备“慷慨为烈士，从容为圣贤”。
终于，吕武跑来报告，说元军已回湾头。众人又逃过了一劫。
王青被抓走，八人还剩下七个。在贾家庄雇的三个向导和三个马夫，有逃走的，有被抓的，剩下的两人惊魂未定，说什么也不愿再带路，索要了许多银子离去了。
原来的乘骑也不知所终，只好徒步前行。连续几日的饥饿、疲困和内心折磨，搞得文天祥身心交瘁，极度虚弱，一路跌跌撞撞，每迈一步都十分艰难，直到遇见一群樵夫，才过了这一关。有位樵夫找来一个箩筐，让文天祥坐在里面，由六个人轮流抬着。这样大大加快了速度，当晚赶到高邮西郊，落脚在一个叫陈氏店的村子，等着天亮摆渡进城。
不出所料，天亮后到了城下，又不让进城。文天祥被人用筐抬着，张庆满脸满身血污，一行人灰头土脸衣冠不整，怎么看也不像奸细，但李庭芝传文各处缉拿文丞相，谁敢有违？战时抗令是要犯杀头之罪的。高邮城不收，也不抓，让他们另投生路。
费尽周折到了高邮，又被拒之城外，无奈只得搭船东往泰州。船行城子河上，时有散发着恶臭的元军浮尸漂过，两岸一片凄凉，偶尔见到的村庄都成了废墟。船工讲，上月初六，元军押着宋朝使臣和大批辎重北上，在这里遭到稽家庄民兵的迎头狙击，高邮宋军也拦腰痛打，激战过后，元军的尸体盈野塞河。文天祥在诗序中写道：“北入江淮，唯此战我师大捷。”船工还告诉文天祥，稽家庄的统制官稽耸是位爱国志士，在此战中袭杀了奉表卖国的工部侍郎枊岳。
稽家庄在高邮东南十五里，濒临城子河。既如此，文天祥就决定中途上岸会会稽耸。
稽耸素敬文天祥忠节大义，见他特地来本庄看自己，喜不自胜，立即设宴盛情款待。随后又派自己的儿子稽德润和一名馆客护送文天祥去泰州。
船到泰州是三月十一日。了解到泰州可乘船直达通州，文天祥终于踏踏实实睡了个好觉。一个多月来历尽生死和艰辛，现在总算踏上坦途，有望效力国家中兴大业了。此时兴奋、愉快的心情又赋诗以记：
羁臣家万里，天目鉴孤忠。
心在坤维外，身游坎窞中。
长淮行不断，苦海望无穷。
晚鹊传佳好，通州路已通。
泰州到通州有三百里水路，元军和强盗常出没其间，文天祥想等齐几只船结伴一起走，这样就在泰州住了十天，启程已是二十一日。途中为避元军追捕，在一位乡民家住了几夜，二十四日方抵至通州西门外。
同高邮一样，通州城守对入城的人检查极严。文天祥吸取高邮被拒的教训，在接受盘查时隐瞒身份，可这样更容易引起疑心，一连几日都没让进城。不得已，文天祥只得说出自己的身份。令他没想到的是，通州守将杨师亮得报后，立即亲自出郊把他们迎进城。原来，杨师亮得到谍报，说文丞相自镇江府走脱，元军三千骑兵一路追捕到了许浦（江苏常熟）。既如此，文丞相怎么可能是奸细，受元军指派来赚城呢？杨师亮核实了谍报，坚信自己的判断，把文天祥接到州衙，安排好吃住，还帮着筹办渡海所需海舟，十分热情周到。
至此，自出使元营被扣，冒死逃脱南归，一路险象环生出生入死的噩梦般遭遇暂且告一段落。到达福州后，文天祥撰写《指南录·后序》回顾了这段经历：
呜呼！予之及于死者不知其几矣！诋大酋当死；骂逆贼当死；与贵酋处二十日，争曲直，屡当死；去京口，挟匕首以备不测，几自刭死；经北舰十余里，为巡船所物色，几从鱼腹死；真州逐之城门外，几徬徨死；如扬州，过瓜州、扬子桥，竟使遇哨，无不死；扬州城下，进退不由，殆例送死；坐桂公塘土围中，骑数千过其门，几落贼手死；贾家庄几为巡徼所凌迫死；夜趋高邮，迷失道，几陷死；质明避哨竹林中，逻者数十骑，几无所逃死；至高邮，制府檄下，几以捕系死；行城子河，出入乱尸中，舟与哨相后先，几邂逅死；至海陵（泰州），如高沙，常恐无辜死；道海安、如皋，凡三百里，北与寇往来其间，无日而非可死；至通州，几以不纳死……呜呼，死生昼夜事也，死而死矣，而境界危恶，层见错出，非人世所堪。痛定思痛，痛何如哉！
一连二十余个“死”字，真可谓是死里逃生。
在通州，是闯过惊涛骇浪后一段风平浪静的日子。文天祥一边打探二王的消息，一边着手整理编辑他的诗史集子。自离开临安后，每遇事都要以诗录写心迹，到通州已写了百余首，他将这些诗编为三卷：出使敌营，被羁留北关外为一卷；从北关外出发，经吴门、昆陵、渡过瓜洲，又回到京口编成一卷；从京口逃脱，奔真州、扬州、高邮、泰州、通州编成一卷。前面已说过，自德祐之后的这些诗作，有意追仿杜甫的诗史风格，以诗记事、以诗存史的意识极强，因此多用赋笔，并在诗前用小序作为补充，有着严格的写实性和强烈的抒情性。
文天祥为这部诗集取名《指南录》，意即“臣心一片磁针石，不指南方不肯休”。正如他在这部诗集的后序中说的，自正月二十到元营谈判以来，他一次次面临绝境，一次次面对死亡，之所以能顽强地挺过来，就是靠着追寻南宋二王、救国图存的坚定信念，就是为了“修我戈矛，从王于师，以为前驱，雪九庙之耻，复高祖之业”，“鞠躬尽罚，死而后已”。
可是悲苦跌宕的心境刚归平静，又发生了一个令文天祥难以承受的事：金应积劳成疾，不治而亡。
金应是吉水人，性情刚烈，深明大义，追随文天祥已有二十年。文天祥起兵勤王，他任承信郎、东南第六正将；文天祥出使元营，他任江西兵马都监；尤其是文天祥被拘北上，“人情莫不观望，僚从皆散，虽亲仆亦逃去，唯应上下相随，更历险难，奔波数千里，以为当然。盖委身以从，死生休戚，俱为一人者”。这样一位战友去世带来的打击可想而知。
文天祥泪水如倾，写诗悼念，在给金应下葬时，把两首悼诗焚于墓前，并在棺木上钉了七个小钉和一块木牌作为记号，以备将来取其骨归葬庐陵。
同行十二人，或死或逃，只剩下六人。
就当此时，又得到两条消息。一条是坏消息，说赵 和全太后被元军押往大都，行至瓜洲时，李庭芝和姜才率四万人趁夜夺驾，没有成功。一条是好消息，益王赵昰、广王赵昺已在浙江永嘉建立了元帅府，并发布檄文，号召各路忠臣义士前来勤王，共举复兴大业。
得到第二条消息，文天祥急着去觐见二王，不日便登上杨师亮为他置备的海船，往南渡海而去。