原来鉴真乘坐的军船行到桑石山附近，由于风力太大，船员欲靠岸稍等，可岸边有许多礁石，无法停靠，刚要离开岸边，还是撞上了礁石。军船被礁石撞破，海水渗入船舱，船身迅速下沉。船员一看无法抢修，只好呼喊大家迅速撤离。于是思托等人扶着鉴真，乘着备用的小木伐漂到附近的一座荒岛上。
军船和船上大量物品被无情的海水卷走。鉴真
痛惜万分，慨叹不已。眼下虽然暂时摆脱了危险，可一百八十多人赤手空拳，没有粮食，没有淡水，在这小小的荒岛上还不得渴死饿死。
一天过去了，大家在饥寒交迫中苦熬。两天过去了，狂风依旧，海上依然没有渔船的影子，三天过去了，一行人仍然困守孤岛。
“南无观世音菩萨！南无观世音菩萨！”一声高过一声的呼唤，使每一颗冰冷的心重新温暖起来，极大地增强了他们摆脱绝境的信心。
第四天，狂风终于停了下来，海面上出现了渔船。
众人如获救星，齐声呼叫。渔民发现岛上有遇难灾民，便前来相救。可渔船狭小，一百八十多位灾民如何营救，于是渔民们一方面用小船运来淡水和粮食，一方面将此情况报告给当地巡海官兵，巡海官兵探明情况后又报告给明州（今宁波）太守。
如此辗转拖延，又过了五天，明州太守派人驾大船把鉴真等人从荒岛上救出，十七位僧人被安置在明州东五十里处的阿育王寺，而其他人员大部分被遣送回乡。
第二次东渡失败了。
阿育王寺是明州最大的一座寺院。因寺内有一座阿育王塔而得名。传说佛祖灭度之后，印度护法名王阿育王为弘扬佛法，派人在世界各地建造了八万四千座塔，均名阿育王塔。明州能有这么一座宝塔，自然吸引了四方信众前来礼拜，所以，这里香火一直很旺。
鉴真与日僧荣睿、普照及随行弟子们商定，以阿育王寺为基地.继续筹备东渡事宜。
鉴真住进阿育王寺的消息很快便传开了。附近各寺院纷纷请他前去讲经弘法。天宝三年（744）春，鉴真受聘到明州附近的越州（治所在今浙江绍兴）龙光寺讲律受戒。接着，杭州、湖州（今浙江吴兴）、宣州（今安徽宣城）等地的佛寺纷纷邀请鉴真前去讲经弘法，传律受戒。鉴真一方面认为这是弘法之必要，另一方面也私下筹集东渡的费用和物资用品并进一步搜选各类工匠等东渡人员，所以他便欣然接受邀请，依次巡游各地，最后又南下明州阿育王寺，准备第一三次东渡。
鉴真准备东渡的消息首先在越州走失了。当地僧侣不忍心让如此德高望重、学识渊博的高僧远赴日本，便纷纷前来劝阻。然鉴真心意已决，荣睿、普照两位日僧又一再恳请，眼看阻挡不住，当地僧人便上告州官，说日本僧人荣睿诱骗鉴真大和尚偷渡日本。州官认为这是违法的事，便立即派人捉拿日僧荣睿和普照。
消息传到鉴真那里，鉴真深感意外，匆忙派人通知日僧隐藏。普照闻风后藏在野外的一处小庙，荣睿躲在一位居民家里。官府挨家挨户地搜查，荣睿终于被抓住了。由于此事涉及外国事务，州官不敢擅作处理，他们便给荣睿戴上枷锁，准备押往京师。鉴真因为是名扬四海的高僧，州官只好嘱其不要再听信日僧诱骗就行了，手下弟子们也被允许与鉴真继续住在阿育王寺。
荣睿再次被捕，鉴真心里十分难过。荣睿被押往京师这天，鉴真率弟子前来送行。荣睿身著枷锁，面色憔悴，看见鉴真，禁不住滚下两行热泪。鉴真紧紧地握住荣睿的手，小声而非常坚定地说：“我们一定等你回来！你一定会回来的！”荣睿悲喜交加，含泪点头，默默地告别了鉴真大师。
第三次东渡就这样又失败了。
六 四渡受阻五渡漂迷
天宝三年深秋，冷风习习，落叶萧萧。明州阿育王寺笼罩在灰蒙蒙的云雾之中。
清晨，鉴真早早起来，诵佛礼佛之后，独自一人走出山门之外。群山如黛，阴云迷漫，只有山间那溪水依然哗哗地流淌着，为这凝重的秋色注入了一丝活气。
大海早消失在视线之外，可鉴真心里清楚，他离大海不远。身边的溪水不就是流向大海去了吗！草木土石均挡不住它的去路，可自己的出海却为何这般难呢？回想起三次东渡的挫折，鉴真不禁感到阵阵酸楚。一月前，荣睿披枷带锁被捕役押走的情景又浮现在眼前。“荣睿啊，你早点回来吧！”
过了一会儿，思托、祥彦、法进等弟子来到鉴真身边：“师父，天这么冷，您穿得如此单薄，快点回去吧。”
鉴真长叹一声道：“荣睿为请我们东渡弘法，屡遭牢狱之灾，如今他被押北上京师，那里天气更冷，不知是否增添了御寒的衣衫？”说着，鉴真又举目凝望遥远的北方，可泪水已模糊了他的视线。
“师父，佛菩萨会保佑他的，待我们准备就绪，他就会回来了。”思托安慰鉴真道。
鉴真回过头，严肃地问道：“为师给你们安排的事情，都办得怎么样了？”
思托连忙合起双手，恭恭敬敬地禀告道：“弟子负责招集弘法僧才，现已招到近二十人左右，德清负责收集经籍书文和佛菩萨像，现已基本完成，至于药草、方物、特产等物品，也都按您的吩咐收集了许多。弟子以为，再过两三天，整个准备工作就该完成了。”
“买船的钱够了吗？”鉴真又问。
法进走前一步，合十言道：“师父，弟子奉你之命，筹集购船资金。昨晚弟子粗略估算了一下，购买海船和粮食的钱已足够用了。”
鉴真一听，脸上露出一些笑意，他对法进说：“明日你领两个人就先行一步，到福州后立即设法买粮，我和其他人随后就到。记住，一定要保密！”
法进合十称是。
原来，从阿育王寺出发东渡的计划失败以后，鉴真与日僧普照商量，为避开官方的监视和一般好心僧徒的阻挠，他决定第四次东渡从福州出发。那里人地两生，又因位处东海之南，一般不作为直航日本的起点，所以不会引起人们的注意。
第二天一大早，法进挑选了两名得力的助手，带着筹集的资金和有关物品，悄悄地离开阿育王寺，先行往福州而去。
午斋过后，阿育王寺山门外走进一位行迹匆匆的僧人。他就是日僧荣睿。
原来，荣睿被捕役押走之后，一路上晓行夜宿，直向京师赶去。途经杭州时，荣睿忽染重病不能前行，只好请求暂释，以便治疗。治病期间，荣睿获得了很大的自由，于是就产生了脱逃的想法。最后，他与医生说明了情况，谁知这位医生恰好也是一位虔诚的佛弟子。二人商量好对策，由医生出面告知捕役，说是日僧荣睿业已病死。捕役信以为真，便回去复命。荣睿由此得以脱难，便悄悄离开杭州，重新南下逃回阿育王寺。
荣睿的突然回归，使鉴真、普照等人惊喜交加。大家把准备第四次东渡的情况告知荣睿，荣睿一听，顿时激动得热泪盈眶。
事不宜迟，第二天凌晨，鉴真以朝拜佛迹为名，率领样彦、思托、德清及日僧荣睿、普照等三十多名中日弟子和其他随行人员，辞别了阿育王寺，向南方走去。
谁知刚出山门不久，迎面走来一大群人马。定睛一看，原来是明州太守卢同宰与手下官员和附近诸寺的僧人以及乡村父老，共有数百人。两位日僧大吃一惊，想躲藏起来，可已来不及了。鉴真甚感意外，心想这次前去福州，外人都不知真实意图，而只当是去天台等地巡礼佛迹，太守怎么会闻讯前来拦阻呢？
正在纳闷之际，太守一行人已走到眼前。
“阿弥陀佛！弟子卢同宰前来为大师送行。”太守合起双掌，向鉴真大师低头就拜。其他人员也纷纷拜倒在地。
鉴真一听，又是一惊。原来这些人并不是前来阻拦的。“阿弥陀佛！劳诸位前来送行，不胜感激。老衲这次巡礼佛迹，竟有这么多人愿意同行，真是因缘殊胜，法喜洋溢啊！”
太守言道：“大师德重当世，威震一方，自能上获菩萨感应，下得众生随喜。只是此去山高路险，又置初冬严寒，还望大师多多保重！”
说着，太守拿出许多银钱，施于鉴真，又让手下送来许多粮食、用品。诸寺僧人和父老乡亲也纷纷拿出备好的礼品赠与鉴真大师。大师接过礼品，再三致谢。众人将鉴真一行送了很远一段路程，才被鉴真执意谢退。
太守便命手下官兵协助背负有关物品，一直送到奉化县白杜村寺。
在此暂住多日后，鉴真一行又继续上路，来到台州宁海县白泉寺。次日众人吃过早饭，便告别白泉寺，向前进发。这是一段崎岖险峻的山路，行走起来十分艰难。
傍晚时分，仍未走出深谷。一会儿，又下起大雪，寒风呼啸，飞雪打得连眼睛都很难睁开，道路看不清楚，不慎走入涧水之中，水深至膝，冰冻难耐，许多人急得哭了起来。关于这一情景，史料中是这样说的：“岭峻途远，日暮夜暗，涧水没膝，飞雪迷眼，诸人泣泪，同受寒苦。”
（《唐大和尚东征传》）大家终于熬到天亮，才翻过山岭，进入始丰县（今浙江天台县）境，又艰难跋涉一天，日暮时分到达天台山国清寺。
天台山位于天台县城北，是中国东南沿海的第一名山。这里群峰峥嵘，沟壑幽深，飞瀑流泉，洁白如练，既有雄伟之气势，又有秀美之景色。隋时，智者大师在此创立中国佛教天台宗，从此天台之名远播四方，海内外香客无不心往神驰。特别是国清寺，雄居于几座山峰之中，四周层峦叠嶂，郁郁苍苍，奇树异草，葱郁芬芳。
风吹松柏，声如波涛。
那时，已到隆冬时节，刚好又下了一场大雪，鉴真步入寺中，只见白雪覆着宝塔玉殿，层林相托，蔚为壮丽。众人忘记了疲劳，怀着虔诚的心情，巡礼寺中圣迹，忆念先贤昔圣。
次日吃过早饭，鉴真一行又马不停蹄向温州进发。
他们穿过始丰县，进入临海县，一连几天，都行走在云雾缭绕的峰峦之间，而后又沿灵江前进，到了黄岩县。
为了尽快与法进等人会合，他们稍事休息后，继续向温州方向前进。
这一天，鉴真一行人投宿到一座名叫禅林寺的古庙中，次日凌晨刚要动身，忽见一群差官带着采访使的文牒，闯进寺内，把鉴真等人一齐扣押起来。
原来，正当鉴真在浙江东南山区艰难跋涉的时候，在扬州的弟子灵佑及各寺的上座、寺主和都维那会集一起，商议鉴真大师的去向。最后达成一致意见，认为大师发愿东渡日本，登山涉海，数年艰苦，沧海万里，生死莫测。所以，他们决定告知官府，让官府出面阻止。
江东道采访使得知消息后，立即下牒诸州，追查鉴真踪迹。官差顺藤摸瓜，把鉴真所经过的寺院的寺主全都扣押起来，进行审问，追查鉴真去向。最后一直查到了黄岩县南四十里的禅林寺。
这一次，官差把鉴真等人看管得十分严密。大批兵卒重重防卫，任鉴真如何解释，也休想脱身半步，于是，大家只好被强行押解回扬州。鉴真长叹不已，日僧更是悲伤至极。
回到扬州，采访使让鉴真继续留住当年的龙兴寺，责令寺中三纲即寺主、上座、都维那等人严加防护，不要再让鉴真等人出国，除鉴真的直系弟子外，其他人员都被解散送回原地。日僧荣睿和普照则被安排到遥远的同安郡（今安徽省安庆市）住下。
鉴真回扬州的消息一传开，僧俗弟子一齐涌向龙兴寺礼拜大师。他们极尽供养，欢喜庆贺，热切慰劳，表达了对一代大师的无限虔诚与恭敬。
可鉴真自回扬州之后，终日闷闷不乐，忧愁不堪。
这次东渡的受阻，使数月的精心筹划与艰辛付之东流，悲愤中的鉴真对弟子灵佑大加呵斥。而灵佑虽出于一片好心相留，可自知对不起师父，于是一再向师父表示忏悔，每天夜里从一更一直到五更，站了六十天，鉴真依然没有宽恕他。最后，扬州各寺的寺主、上座、都维那及各位大德一起前来致礼谢罪，鉴真一直阴沉的脸上才又浮现了昔日的慈祥。
第四次东渡的失败，的确使鉴真遭受到沉重打击。
日僧荣睿、普照更是茫然无措，几乎陷入绝望的境地。
不过，对佛法的虔诚，使他们再一次从失败中振作起来。
时光的流逝并没有冲去东渡的意志，反而使他越来越强烈，越来越不可违逆。对鉴真是如此，对荣睿、普照也是如此。
心有灵犀一点通。天宝七年（748）初春的一天，日僧荣睿、普照从同安郡乘船重返扬州，再次来到龙兴寺拜见鉴真大师。可鉴真大师已搬到崇福寺居住，他们又火速赶往崇福寺。
三年来，日僧远离扬州，鉴真口中再也不提东渡之事，所以官厅早已放松了对他的监视。可鉴真的内心却无时无刻不铭记着东渡的志向。所以，荣睿、普照来到扬州后，他们又立即着手准备第五次东渡。
这一次，鉴真一方面派人采办各种物品，另一方面托人在新河（今江苏扬州市南）打造船只，一切从速办理。
六月二十七日，鉴真与全体东渡人员告别崇福寺，来到新河上船。同行弟子有祥彦、光演、顿悟、道祖、如高、德清、日悟、思托及日僧荣睿、普照等共十四人，水手十八人，其他工匠等共三十五人。所带物品和第二东渡时大致相同，粮食、衣服、经典、佛像、草药等应有尽有。
船从新河启航，沿运河经瓜州（今江苏邗江县南），进扬子江，再经常州界，东下至狼山（今江苏南通市附近）。这时，忽然刮起大风，既不能行驶，也不得靠岸，船旋转于三山之间。天明后，幸好风平浪静，船才驶出了长江口，进入东海之中。
到了越州的小岛三塔山（今定海海中的小洋山），风向突然变化，他们又不得不停下来等候。一个月后，总算等到了顺风，鉴真下令立即开船。谁知船行到署风山（今舟山岛附近），风又转了向，只好再次停了下来。
船在暑山岸边停了一个多月，大家心里都十分着急。