母亲的去世让我开始重新评价自己的斗争事业。她在我离开她之后的艰难生活让我感到羞愧，同时让我开始质疑不顾一切地参与政治斗争是否正确。把人民的利益置于家庭的利益之上是否明智呢？
——曼德拉自传《漫漫自由路》
虽然曼德拉在监狱内的斗争看起来有声有色，但他们的处境还是十分艰难的。而更让他们感到担心的，是外面传来的消息。
非国大在利沃尼亚大审判之前就被取缔并转入地下了，审判之后多数领导人又被判刑坐牢，所以非国大虽然在民众当中的声望还在，但势力大不如前。更让曼德拉感到心痛的是，他们的前领导人卢图利在1967年7月因意外逝世了。卢图利是非国大的重要领导人，加上诺贝尔和平奖得主的身份，所以他在全世界都享有盛誉，甚至很多南非白人都十分尊敬他。曼德拉还记得自己在出访外国期间，有一次还因为被人误认为是卢图利而受到了相当大的礼遇。所以，卢图利对于非国大来说是无可取代的。
卢图利去世之后，非国大在外面的斗争重担就落在了奥利弗身上。奥利弗这些年流亡在外，一直坚持为非国大的斗争事业服务。非国大在他的努力下得到很多国家的认可，他在各国建立的办事处还为非国大募集了不少资金。最重要的是，奥利弗还要负责安排那些偷出国境的民族之矛成员的军事训练。卢图利逝世后，民族之矛成立了一支名为“卢图利特遣队”的部队，这支部队在奥利弗的安排下在坦桑尼亚接受训练。训练结束后，他们打算秘密返回南非。结果，在途经罗得西亚（也就是后来的津巴布韦）时，他们被当地士兵发现，双方产生了冲突。这场战斗颇为激烈，但由于势单力薄，卢图利特遣队最终被打败了，损失惨重。后来，另一支特遣队前往支援他们，而南非警察接到消息也加入了战斗。
激战的结果是很多民族之矛成员被捕，有的正好被送到了罗本岛。正是通过他们带来的消息，曼德拉才了解到非国大和民族之矛在外面的详细情况。随着被抓到罗本岛的非国大和民族之矛成员越来越多，曼德拉等人决定成立一个“最高司令部”，由曼德拉任最高指挥，并和西苏鲁、姆贝基和穆巴拉3人组成最高领导层。成立之初，他们商量之后决定不干预外面世界的指挥，把注意力完全放在监狱内的斗争上，因为监狱内部的斗争一点都不比外界的轻松。
外患还没解决，内忧却不断出现。监狱内让曼德拉头疼的不只有狱方，还有阿扎尼亚泛非主义者大会的成员。他们在监狱外面就视非国大为眼中钉，处处阻挠，甚至陷害，在监狱内他们依然把争权夺利当作比自由斗争更重要的事。阿扎尼亚泛非主义者大会的成员一直以最激进、最彻底的革命者自居，所以他们认为自己的组织不管是在监狱外还是监狱内都应该是各种运动的领导者。在利沃尼亚大审判之前，罗本岛犯人的领导权的确在他们手中，但在利沃尼亚大审判之后，大批非国大成员来到了这里，打破了他们保持的人数优势，所以他们感到地位受到了威胁，并因此而显得慌张且愤怒。
他们先是要求曼德拉等人听从他们的指挥，让非国大以阿扎尼亚泛非主义者大会为领导，曼德拉等人当然选择了拒绝。随后，他们又多次阻挠非国大成员发起的抗议活动，上次的绝食抗议活动中，阿扎尼亚泛非主义者大会的成员就选择了抵制，并且教唆其他犯人也不要参与，这种到处对着干的态度让曼德拉伤透了脑筋。虽然他一直试图说服他们和非国大联合在一起抵抗监狱的暴行，但他们似乎更热衷于内斗。
一次，曼德拉因为违反监狱规定而被罚隔离，这段时间里他只能单独吃饭、睡觉和工作。阿扎尼亚泛非主义者大会的成员表示了抗议，但他们抗议的不是曼德拉遭到惩罚，而是自己的领导人没有被隔离。他们似乎认为被隔离是一种权威的象征，曼德拉已经拥有了这种象征，但他们的领袖没有，所以他们希望通过抗议让狱方也将自己的领袖进行隔离。
如果说这些事已经够让曼德拉焦头烂额了，那命运一定是打算好好戏弄他，因为紧接着，他就连续收到亲人去世的噩耗。
1968年春天，那是曼德拉最后一次见到母亲。那时，已经苍老的母亲来罗本岛看曼德拉。曼德拉当时就注意到母亲身体状况堪忧，没想到，母亲才回去没多久，就病逝了。万分悲痛之下，曼德拉向监狱长恳请回家参加葬礼，但监狱长害怕半路被其他非国大成员劫狱，便没有同意。那几天，曼德拉在监狱里魂不守舍，总是一个人默默待着，静静回忆关于母亲的一切。在库努村的童年时光点点滴滴地涌上心头，他怀念那段在母亲身边无忧无虑的日子，他也知道，自己毕生的追求就是让全南非的孩子永远过上这样的生活。所以，虽然他愧疚于因投身政治而对亲人造成的亏欠，但他无法后悔，更不能后退。
仅仅一年之后，曼德拉尚未平复的心又再次受到打击，他的小儿子给他发来电报，上面的消息让他无比错愕：“哥哥泰姆比车祸去世。”泰姆比刚刚24岁，正是风华正茂的年纪，居然就这么失去了年轻的生命。他再次向监狱长申请去参加儿子的葬礼，为了让监狱长相信他不会逃跑，他说可以让大批警察跟着自己。但监狱长还是没有同意，监狱长给他的唯一优待就是允许他给前妻伊芙琳写一封信。他在给伊芙琳的信中尽量安慰她，所以隐藏了自己作为一个父亲的痛苦。而他在给妻子温妮的信中则没有掩饰心中的真实感受，他写道：“亲爱的，我很想你，似乎从未这么想过你。此时此刻多希望你能在我身边。这是一段充满痛苦和不幸的日子。”他还在信中回忆了一个古老的故事，一位首领带着儿子出去打猎，结果被母狮袭击，儿子丧生，自己也受了重伤。为了给伤口消毒，随从要用烧红的烙铁来熨烫他的伤口，当随从问他是否很痛时，他说道：“那个看不见的伤口更让我觉得痛苦。”曼德拉最后说，他现在终于明白那位首领的感受了。
其实，那段时间温妮也不好受，因为参与民权事务，她于1969年5月被以违反《反恐怖法》为由抓进了监狱。经过17个月的审讯和辩护，她才被无罪释放。而这段时间，她和曼德拉的两个女儿只能由亲友轮流照顾。
这段时间曼德拉饱受打击：外部斗争遇挫，监狱内的犯人也不团结，亲人相继去世，妻子又身陷囹圄……刚刚年过半百的他虽然因为健身而精神矍铄，但这段时间，他似乎一下老了10岁。