李渊攻入长安做了唐王——实际执掌了政权后，倒也想践履前言，在一些武臣——大多隶属于李世民——的建议下，提出要立李世民为唐王世子，李世民此时倒是兄弟情深，不忍心夺占早已属于兄长的位子，“拜且固辞”，态度既诚恳又坚决，本就犹豫不决的李渊顺坡下驴，正式立李建成为唐王世子。后来李渊称帝时再无波澜，建成顺利成为太子，从这一点来看，李渊对自己的长子还是钟爱的，并非如《资治通鉴》所记载的那样：“太子建成，喜酒色游畋（打猎）；齐王元吉，多过失，皆无宠于上。”
汉高祖刘邦曾经有句最经典的话：“终不使不肖子居爱子之上。”就是说决不能把万里江山偌大的家产交到自己不爱的儿子手上，这可以说是所有帝王共通的心态，假如李渊真的如史料所载那样宠爱世民，世民又拥有军功，李渊会毫不犹豫地废建成而立世民，根本不会考虑世民的谦让。
平心而论，李建成还是一位厚道豁达的人，从性格上而言，比李世民更像他的父亲李渊，至于说“喜酒色游畋”，乃是皇室和贵族成员的共同特点，甚至可以说是当时的时尚，算不上什么缺点。李渊对“酒色游畋”同样喜欢得不得了，他晚年“多内宠（妃嫔），小王且二十人”，几年时间里生了近二十个儿子（实际是十七个，且：近也），这已不是一般的喜“色”了。
不管李建成怎样厚道，随着李世民功名日盛，势力也越来越大，尤其是有了一次险遭废黜的经历，李建成不可能不对李世民充满敌意，并且要想方设法来保全自己，但是他的招数也极有限，一是私自招募了几千人扩充东宫的军队，并且向幽州的罗艺借了三百人马做自己的禁军，二是与三弟李元吉联盟，允诺他自己登基后立元吉为皇太弟，两人联合起来与李世民的天策上将府的势力相比依然相形见绌，明的斗不过，自然只好暗里下手，这也不能怪建成和元吉卑鄙，实在是因为李世民的势力过于强大了。
齐王李元吉倒是既有野心，又有心计的角色，他看清无论从宗法制度还是从个人实力而言，太子的地位都和自己有十万八千里之遥。但他偏偏比他两位哥哥都更热衷于抢占此位，于是他自以为聪明地想出一条妙策：先帮建成除掉世民，然后再扳倒这位容易对付的太子哥哥，他觊觎的不是“皇太弟”，而是要跨过两位哥哥的尸体直登九五之尊，假如他真的成功了，倒又多了一例“厚黑学”的典范。
这期间秦王李世民和李渊的父子关系也发生了很大转变。李世民攻入洛阳后，李渊派身边几位贵妃到洛阳皇宫中为自己挑选美女，这几位贵妃私下里向秦王索取皇宫的宝物，并为自己的亲属求取官职。李世民对几位贵人的请求全然不买账，一口拒绝。这几位贵人恼羞成怒，回去后向李渊大吹枕头风，李渊口虽不言，心里对李世民的好感已大打折扣。随后发生的一件事直接导致父子两人的冲突。
秦王李世民因为淮安王李神通有功，赏给他数十顷良田。而张婕妤的父亲通过女儿求皇上把这块地赏给自己，李渊不仅同意，而且亲手写下敕令，李神通却认为秦王给自己的赏赐敕令在先，拒绝按李渊的圣旨把地让给张婕妤的父亲，张婕妤向李渊哭诉，说秦王把皇上赏的田夺去赏给李神通了，耳朵里早已灌满枕头风的李渊一直隐忍着对儿子的不满，在这件事上却是忍不住了，他怒斥李世民：“难道我的手敕没有你的秦王敕令管用吗？”过了几天他又对自己的宠臣裴寂说：“我这个儿子常年在外带兵，被书生教坏了，不是我以前的儿子了。”从此父子之间的关系转为一种实用主义的关系，“上每有寇盗，辄命世民讨之，事平之后，猜疑益甚。”假如不是四方战乱未息，又有强大的突厥时刻威胁着新生大唐的生存，李渊和李世民的父子关系怕是要降至谷底了。
这件事也说明秦王李世民的势力不仅对太子建成的地位构成足够的威胁，对李渊的皇权也同样是不小的麻烦。自此以后，李渊就再没动过更换太子的念头。
李建成和李元吉明里斗不过李世民，暗里却对他多次实施暗算，都被李世民巧妙地避过了，但兄弟间的争斗愈演愈烈，一场大火并显然是无法避免了。
唐高祖武德九年（626年），突厥数万骑兵攻入关塞，围困乌城，平寇御外本来一直非李世民莫属，这一次太子李建成却出人意料地推荐李元吉代替李世民统帅大军北征，李渊也同意了，命令李元吉率右武卫大将军罗艺、天纪将军张瑾等解救乌城之围，李元吉借机提出：要李世民天策上将府的名将尉迟敬德、程知节、段志玄和秦叔宝与自己同行，还要求把秦王麾下的精锐之士都划归自己统领。这是至为恶毒的釜底抽薪之策，用意自然就是要挖空李世民的实力，李渊也不假思索地答应了。
太子府的率更丞王眰又向李世民告密：太子对齐王说，“你得到了秦王的精兵猛将，统领数万军队。我和秦王在昆明湖为你饯行，暗伏壮士，杀掉秦王，对皇上说他暴病身亡，皇上也不会不相信。我再请人在皇上面前进言，把国家政务交给我，你把尉迟敬德这些大将都活埋了，就没人敢不服了。”
李世民知道大祸已迫在眉睫，却依然下不了最后的决心，秦王府僚长孙无忌等人都纷纷劝秦王先发制人。尉迟敬德更是向李世民摊牌：或者率他们起兵，或者放他们这些武将远远逃命，决不能束手就戮于李元吉之手，而长孙无忌代表的府官幕僚也表示，如果秦王不能下定决心，他们也要随尉迟敬德一起逃命。
在祸患和部下的双重逼迫下，李世民最后决定：发动兵变。其实以他的睿智，比所有人都明白这是必然的一步，除非他甘愿不明不白地死在建成和元吉手中，但是同室操戈、弑兄杀弟毕竟是人所不齿的禽兽行为，他要顾虑的不只是身后的千载骂名，更怕在部下和天下人面前丧失道德和威望，所以他的犹豫不决也有一半是在装样子，好像他是受部下逼迫不过，才不得已采取行动。
李世民夜里精选府中将士，与长孙无忌、尉迟敬德等人率兵埋伏在玄武门（宫城北门）外。李建成和李元吉清晨上早朝，到了临湖殿发觉事态有变，二人便掉头准备回去。李世民从后追上，呼喊二人，李元吉张弓射李世民，惊惶失措之下却拉不开弓，李世民此时再不犹豫，亲手射杀了太子建成，尉迟敬德率七十名骑兵从后面赶上来，将李元吉射落马下，李元吉带伤准备逃往武德殿向父亲求助，被追上的尉迟敬德射杀。
太子府卫兵首领冯立闻听兵变，率东宫、齐王府精兵两千驰至玄武门，与秦王府的兵马发生激战。宫中宿卫的禁军不知该帮哪一方，索性保持中立，坐山观虎斗。
冯立所率的东宫、齐府精兵无法攻入宫门，便准备转头去攻打空虚的秦王府，李世民和部下将士都颇感恐惧，尉迟敬德适时挑出李建成和李元吉的人头，东宫和齐王府的士兵见主人已死，再战无益，便四下里做鸟兽散去。
初战告捷的李世民派尉迟敬德率兵入内保护皇上，其实是要把皇权从父亲手中夺过来，这才是这场兵变的终极目的，此时的他已容不得再让别人对自己发号施令了，哪怕是自己的亲生父亲。否则他擅自杀害太子、齐王，就该去向父皇叩头谢罪，即便皇上需要保护，也该是他亲自入内保护，而不是派凶神恶煞似的尉迟敬德，这摆明了是在向李渊实施“兵谏”。
尉迟敬德披甲持矛，率兵直奔李渊所在的海池。李渊正和裴寂等近臣在海池中泛舟游玩，闻听兵变，心中已明白了大概，见到尉迟敬德闯入，更是明白胜者为谁了，惊慌得不知所措。
尉迟敬德直言不讳：“太子、齐王图谋作乱，秦王已起兵杀掉二人，派臣入内保护皇上。”
丧子心痛的李渊乱了心智，竟没明白尉迟敬德的真正来意，倒是斐寂等人颇为乖巧，知道只消慢上一时半刻，皇上和自己等人也不免要身首异处了，忙劝李渊正式立秦王为太子，并实际上掌握政权。李渊为保性命，只能马上应允。
此时宫中禁军和攻入宫中的秦王的人马已经交战，又有一些东宫和齐王府的卫兵陆续赶来，专攻李世民。宫内宫外一片混战，而李世民并不占上风。但他手中已有了最大法宝，尉迟敬德带着李渊亲手写下的敕书，当众宣读，禁军和东宫、齐王府的卫兵只好弃械，大唐政权便在一个早上发生了根本性的转移，这就是最有名的“玄武门”兵变。
对于在这场兵变中并不太光彩的李世民，以后历代的史学家无不加以粉饰和美化，并为此捏造了不少李建成和李元吉的罪名，这也是古人所谓“为贤者讳”的优良传统，而在今天看来，却既无益又无谓，双方难分是非，不过是为了自身的利益而不得不除掉对方，天下本就是要“逆取顺守”的，在夺取天下的过程中，道德伦理就没有任何位置。
不过唐朝的宫廷政变较之以后的宋、明、清各长命王朝最多，李世民也算是做了个不太好的榜样。甚至到了明朝，永乐帝朱棣篡侄儿的皇位，永乐的儿子朱高煦要抢侄儿的江山，也都是以李世民为楷模，只不过父子两人一个成功、一个失败而已，李世民对后世的影响可谓深远。
玄武门兵变后的第二天，李渊正式诏告全国，立秦王李世民为皇太子，并且“自今军国庶事，无大小悉委太子处决，然后闻奏。”正式向全国臣民宣布了政权的转移。
这一年八月，李渊再下诏书，传位于太子李世民，自己为太上皇，李世民在东宫显德殿正式即皇帝位。