我早已做好了坐牢，甚至牺牲的准备，但我从未做好投降和认输的准备。
——曼德拉自传《漫漫自由路》
曼德拉被判处5年监禁的事情颇为传奇，因为在此之前，肯尼亚的领袖乔莫·肯雅塔也曾因为反对政府而被判处7年监禁，但出狱之后他成了肯尼亚独立之后的第一任总理。这件事对曼德拉来说颇有预言性——虽然他最终是经过了27年才重获自由。另外，在曼德拉被宣判的同一时期，联合国第一次投票决定制裁南非……这些事情都增加了曼德拉继续抵抗的信心。
另外，曼德拉从转入地下到秘密战斗再到被抓后身着民族服装出庭受审，这一系列事件已经在南非民众心中形成了传奇的印象。那时南非还没有电视，但曼德拉不需要电视的曝光就为自己和非国大赢得了全南非人民的持续关注。曼德拉知道，自己的抗争之路远远没有结束，监狱就是另一个战场。在这里，他依然要做甘地一样的“民众意愿的代表”，哪怕这会为他招致莫大的危险。
判决下达后，曼德拉被关到了比勒陀利亚地方监狱。这次，他的貂皮衣服终于没能保住，狱卒给他换上了非洲囚犯专用的囚服，这再次使他感到屈辱和愤怒。这次，曼德拉利用自己的法律知识和影响力同狱方谈判，他拒绝穿囚服中为非洲囚犯特制的短裤，并且对监狱的伙食表示不满。最后，狱方为了让他同意被单独关押——政府害怕他煽动其他犯人，便答应帮他换一条长裤，并给他提供非洲传统食物。
虽然初步抗争取得了成效，但曼德拉没有料到单独关押给他带来的是什么。他的囚室没有自然光，只有一个全天亮着的灯泡，他找不到聊天的人，也不被允许看书，亲友的探视也被严格限制。在这里，他承受着莫大的孤独。他后来回忆道：“我没有手表，所以我常常将白天当成黑夜。我没书看，没人聊，渐渐我发现即使打我一顿，我也不愿再被单独关押了。那段时间，我甚至想和蟑螂聊天。”最后，曼德拉放下自己的尊严，向狱方请求不再被单独关押，作为交换，他同意穿统一的囚服。几番争执之下，狱方同意了。
正巧，曼德拉的死对头，阿扎利亚泛非洲主义者大会的领袖索布克维也被关在这里，当初因为沙佩维尔惨案他被判3年监禁。曼德拉并没有刻意疏远索布克维，正相反，他认为他们虽然政见不同，但方向是一致的。在监狱外他们也许水火不容，但在监狱里，也许他们可以静下心来好好交流。最重要的是，他在外面已经领教了民主党派内斗给解放事业带来的麻烦有多大：泛非洲主义者大会至今仍在极力诋毁非国大。
曼德拉耐心地和索布克维讨论着斗争策略的问题，当初索布克维提出1963年就带领民众获得最终的独立和自由，此时已经是1963年，白人政府的势力却愈发强大。他提醒索布克维，作为一名领袖，必须要明确什么目标是可行的，什么目标是荒谬的。制定一个根本无法实现的目标，只会在民众中引起无意义的幻想，还会造成无法控制的激进主义。索布克维脾气暴躁，但理解力一流，所以他对曼德拉的批评并非不能接受。作为一个机会主义者，索布克维在很多方面和曼德拉有着本质的区别，虽然他的政治态度激进而强硬，但他懂得讨好狱卒以换取较为温和的对待。不过，这并未为他换来政府的怜悯。在政府看来，索布克维是比曼德拉更加危险的人物，所以在索布克维3年刑期将满时，政府又以其他罪名加判了他6年徒刑，不经审判就把他送去了罗本岛。
在比勒陀利亚关了半年之后，曼德拉突然被转送到了罗本岛。罗本岛位于开普敦的西北部，是一个大约13平方公里的海岛。罗本岛的命名来自荷兰语，是海豹的意思，这里曾有数百只海豹出没。起初荷兰殖民者想把这里建成定居点，后来改成麻风病人收容所，最后这里在种族隔离最严重的时期被建成了专门关押政治犯的秘密监狱。曼德拉很小就知道罗本岛了，在幼时听闻的传奇故事里，科萨民族英雄马卡纳就曾被殖民者关押在这里，他还试图划船逃跑，结果不幸遇上风浪被淹死了。所以，这里既是一座恐怖的牢笼，也是科萨自由战士的朝圣地。
就在这段时间，政府又颁布了令人震惊的《九十日拘留法》。这使得警察可以在不经法院审判的情况下拘留嫌疑人长达90天。并且，在拘留结束后，还可以将时间不断延长下去。对于那些已经被判处5年刑期的政治犯，甚至可以改判死刑。另外，政府开始严格控制新闻媒体，决不允许他们刊发对政府不利的消息，如有违抗，甚至可以判处2年监禁。从此，南非完全变成了一个“人治”的社会。在这种情况下，曼德拉在罗本岛上的境遇必定会更加糟糕。
刚踏上罗本岛，狱警们集体向他们喊道：“这里是罗本岛，你们都将在这里死去！”这是狱警们惯用的伎俩，在犯人第一次登岛时就给他们一个下马威，好让他们在接下来的时间里安分一点。但曼德拉不打算一上来就服软。所以当狱警粗鲁地催他们分成两队小跑前进时，曼德拉选择了拒不执行。一个狱警生气地警告他：“你以为这里是约翰内斯堡还是哪里？这里是罗本岛！你们要是不听话，我们会杀了你们！这是最后一次警告！”曼德拉从容地回应道：“你有你要做的事，我有我要做的事。”狱警虽然愤怒，却也无可奈何。
进入牢房后，狱警前来视察，一个狱警发现一囚犯的头发很长，便责令他剪掉，并指了指曼德拉：“剪成他那样的发型！”曼德拉并不想变成狱警的工具，他挑衅地说道：“看吧，我的头发成了标准规定了。”狱警气势汹汹地朝曼德拉走来，虽然曼德拉也有点担心，但他还是冷静地对他说：“如果你对我动粗，我会让你见识一下最高法院是什么样的，等你输了官司，你就会一无所有！”这番话让所有人都吃了一惊，狱警从未见过这么骄傲的犯人，他拿出曼德拉的犯罪记录，当他看到曼德拉被判了5年时，笑道：“你被判了5年还这么狂妄？你会付出代价的！”曼德拉不卑不亢地回答：“被判几年是我的事，我可以坐5年牢，但我不会被欺负5年。你得按规矩办事！”狱警哑口无言，只得悻悻走了出去。
刚刚上岛没多久，曼德拉就将全岛的狱警几乎得罪了个遍。不知道接下来等待他的，究竟会是怎样的牢狱生涯？