当凯末尔决心一劳永逸地结束奥斯曼帝国封建君主政治权力的时候，他曾经向一些最亲近的同僚征求意见，结果却发现他们仍然对素丹表示忠诚。例如，凯末尔在问起民族独立解放战争时期他的最亲密战友劳夫关于这个问题的看法时，后者回答说：“在良心和感情上，我是离不开素丹和哈里发的，我有责任继续对君主保持忠诚。我对哈里发的爱戴，是我所受教育的结果。”劳夫用严肃的口吻继续说道，“废除素丹和哈里发，而另设其他性质的官职来代表，将会造成失败和灾难，这是千万做不得的。”当时坐在凯末尔身边的许多亲密战友也都表示同意，还说：“事实上，根本就不存在除素丹制和哈里发制以外还有其他形式的政府。”
然而，凯末尔估计了当时的形势后，得出了与他的那些亲密战友不同的结论。在他看来，素丹和哈里发由于在奥斯曼帝国民族独立解放战争中同外国势力相勾结，已经声名狼藉，威信扫地，成为过时的东西了，而民族革命派在战争中建立了崇高的威望，手中又有强大的军队做后盾，所以逐步废除素丹和哈里发的时机已经成熟。特别是当协约国一方面同以凯末尔为首的民族革命派政府签订和约，另一方面又顽固地继续坚持承认素丹政府，这种别有用心的双重承认，企图使奥斯曼帝国的国家政权陷入一种分裂的状态，促使凯末尔更加坚定了废除素丹和哈里发的决心。
经过长时间的深思熟虑之后，凯末尔决定把素丹和哈里发这两个职位分开，并先废除前者，从此将不再有素丹，而只有一位奥斯曼王子来担任哈里发的职位，他仅拥有宗教权力，而没有政治权力。凯末尔希望通过这项折中办法来瓦解宗教分子对于政治变革的反对，来保持一个超越政治之上的合法宗教权威所具有的优点，同时又结束了素丹的个人专制。1922年11月1日，安卡拉的大国民议会通过了包含两项条款的决议。第一项条款宣布，“奥斯曼帝国的人民认为，在伊斯坦布尔的那种依靠个人统治形式的政府，已不复存在，至此，已经永远成为历史。”第二项条款承认哈里发职位应属于奥斯曼王室，但规定哈里发只能依靠奥斯曼国家而存在，并应由大国民议会遴选奥斯曼王室中最属品学兼优的人充任。同年11月16日，大国民议会又决定，以勾结英国的叛国罪，将把素丹及主要大臣交付国家最高法庭审判。素丹穆罕默德四世11月17日得到消息之后，见大势不妙，还没有等候大国民议会来评定他是否品学兼优，便在一个伸手不见五指的漆黑夜晚，带着他那不满10岁的幼子，仓皇从王宫侧门逃出，登上英国军舰逃离了奥斯曼帝国。流传了六百多年的奥斯曼帝国素丹制，随着这位最后一代素丹的逃亡而一去不复存在。不久，素丹穆罕默德四世的堂弟麦吉德被选为新的哈里发。然而，此时的哈里发制，也随着素丹制的灭亡而形影相吊、摇摇欲坠了。
凯末尔在终于办完了奥斯曼帝国素丹制的丧礼之后，又开始为下一阶段的政治改革做好了准备。他首先需要一个政治工具。虽然保卫权利协会曾经在奥斯曼帝国的民族解放斗争时期做了许多工作，但它却满足不了一个享有和平与独立国家的需要。凯末尔这时着手把它改变成一个在现代政治体制运作中的真正政党。凯末尔经过走访全国各地，同国内各社会阶层的代表交换了意见，并在他的领导下，1923年8月9日，一个叫作人民共和党的新政党宣布成立，凯末尔担任该党主席，它是这一时期奥斯曼帝国唯一的政党。
7.彻底废除哈里发制
与此同时，凯末尔另外又准备进行一项甚至更加彻底的政治改革。首先是在1923年10月13日正式宣布定都安卡拉，其次是宣布共和。1923年10月29日，大国民议会经过许多小时的激烈辩论之后，当天晚上8时30分，成立共和国的决议案以158票获得了通过。投票时，虽然有许多人投了弃权票，但没有一个人投反对票。15分钟之后，也就是在8时45分，大国民议会一致选出凯末尔为土耳其共和国的第一任总统。他任命他的亲密战友伊斯梅特·伊诺努将军为他的第一任内阁总理。同一天晚上，在全国各地发布了这项消息，午夜后，全国各地都鸣炮一百零一响以示庆祝。定都安卡拉和宣布共和，凯末尔的每个行动都象征着进一步割断与奥斯曼帝国历史的联系以及一个新时期的到来。
并不是所有过去奥斯曼帝国的臣民们都能以同样的历史现实主义眼光看待时事的发展。在许多地方，宣布共和受到了热烈的欢迎，认为这是一个新时代的开始，但在一些地方，它给人们带来了震惊和悲伤以及对于未来的无限忧虑。对于国内的保守派分子来说，他们之所以反对共和，主要是认为它危及民众同自己的伊斯兰过去以及与自己帝国过去的联系，同时也危及他们同长期以来一直以他们为首的那个更大的伊斯兰世界之间的联系。因此，传统的保守势力也就不可避免地全部都聚集到作为两重感情的活生生象征者哈里发本人的周围来了。哈里发麦吉德虽然也不失为一个温和的、具有学者风度的人，他却不惜使自己出来承担了一个很可能是反对土耳其共和国世俗化变革和凯末尔本人的精神领袖，并且他本人也试图把他在宗教上所起的作用扩大到国家政治上，因为他一度谈到“哈里发宝藏”，所以遭到凯末尔在1924年1月的一次大国民议会上对他发出的尖锐申斥：“哈里发在他的府内，特别是在他公开露面的时候，似乎还是按照他的先辈素丹们的那套办法在行事。我们不能为了保持礼貌和表明道理而牺牲土耳其共和国。哈里发必须确实弄清他是什么人，他的职务是什么，并且应该要知足。”
具有敏锐政治眼光的凯末尔，从奥斯曼帝国社会改革的历史进程中判断出，政治改革仅废除素丹制是完全不够的。他认为，废除素丹制而单独保留哈里发制，使得国家元首问题不明确，这是非常危险的。因为不论是在大国民议会里，还是其他的地方，许多人都认为哈里发便是合法的君主和国家元首，即一种立宪君主，特别是那些狂热的宗教维护者，更是如此看法。
通过一段时间对局势的耐心观察以及深思熟虑之后，凯末尔决心彻底解决作为封建神权精神支柱的哈里发制问题，从根本上消除国家政治制度中所存在着的各种模糊观念和混乱局面。不过，废除哈里发制要比废除素丹制困难得多，甚至要冒极大的政治风险。压力是来自各方面的，首先是宗教界的代表在大国民议会中公开声称：“议会应属于宗教，伊斯兰教就是一切。”1923年11月11日，国内著名的一家报纸《塔宁报》的一篇社论反映了一般人的心理状态，它写道：“如果我们没有哈里发，奥斯曼连同它的500万或1000万人口，将失去他们在伊斯兰世界的重要性，并且在欧洲政界人士的心目中，我们将会下降到微不足道的小国之列。”
此外，哈里发制问题所引起的关注，远远超出土耳其共和国的国界，并且从各方面特别是从印度接到了对土耳其共和国政府意图不安的询问。1923年底左右，两位著名的印度穆斯林写信给凯末尔，提出哈里发制应当建立在得到全世界敬重的基础上。当伊斯坦布尔这座城市里的各报都发表了该信之后，凯末尔决定抓住这个机会，彻底解决哈里发问题。他首先同人民共和党和中央政府内几位职位显赫的主要支持者达成协议，然后说服国内几家具有影响的大报编辑们，发动了一场反对哈里发制的舆论宣传运动，把它说成是影响奥斯曼民族社会进步的最大障碍，呼吁把伊斯兰教信仰从数世纪以来惯于充任政治工具的地位中拯救出来，使其得到纯洁与提高。
凯末尔从来都是行动的巨人。他下决心要排除一切干扰，彻底废除哈里发制，对国内的伊斯兰教教权组织进行一次毁灭性打击，不再让他们妨碍他的以政教分离为宗旨的世俗化社会改革，以便完成一项惊天动地的历史伟业。1924年3月3日，土耳其共和国大国民议会据此投票通过废除哈里发制，并将所有奥斯曼王室成员驱逐出土耳其共和国国境。第二天一早，天刚刚亮，神色慌张沮丧的麦吉德被装进一辆小汽车，前往火车站赶乘东方列车。至此，最后一位哈里发也随着最后一任素丹走上了流亡的道路。一个多民族、多语言、多宗教，具有悠久历史和辉煌成就的王朝帝国，在现代社会不断进步的冲击下终于归于灭亡。
数世纪以来，奥斯曼人民曾经不惜自己的忠诚和鲜血，为征服和防御异邦土地和人民而进行了艰苦卓绝的斗争。如今这个帝国已经一去不复返了，而对于奥斯曼人民来说，它的逝去以及现代土耳其共和国的诞生，是一个漫长历史发展过程的最终结果，而正是通过这一漫长的历史发展过程，奥斯曼人民改造了他们本身，改造了他们的政体，最后也改变了他们的国家，从而使得他们彻底从一种传统的精神负担中解放出来，踏上了世界现代化迅速发展的历史征途。