义军誓师完毕，向各地传发檄文，声称要尊代王为帝，然后浩浩荡荡出发。大军走到半路，忽然探马来报，隋将宋老生和屈突通奉代王杨侑的命令，分兵抵抗义军。屈突通留驻河东，宋老生已经领兵到了霍邑。李渊这边要尊立代王，代王那边却派兵抗击李渊，真是剃头挑子一头热。
义军走到距霍邑大约五十里的贾胡堡，突然下起了滂沱大雨，只好就地驻扎。偏偏大雨连日不停，眼看着军粮就要吃光了，李渊派府佐沈叔安赶回太原再运一个月军粮接济。李渊眼巴巴地盼晴天，心中很焦虑。忽然有人呈上一篇檄文，打开一看，只见开头两句写道：“魏公李密，谨以大义公告天下。”李渊失声说：“李密也反了？”再往下看，是历数隋炀帝十宗罪状，后文有“……罄竹难书。愿择有德者为天下君，仗义讨贼，共安天下”之类的话。正在读着，李世民进来了，李渊便与他商量对策。李世民道：“儿听说李密攻取河洛，瓦岗寨草寇翟让等奉他为主，自称魏公，现在有数十万人马，声势浩大。我们不如暂时与他联络，免去后顾之忧。”李渊点头称是，于是让温大雅写了封密信送去，信中与李密约为同盟。
没过几天，李密的回信到了，李渊一看，大意是说李密想要自封盟主，与李渊共结同盟。看过之后，李渊又召李世民商议。李渊道：“李密也太狂妄自大了。只是我们正在征战，如果与他绝交，反而会树敌，不如假意顺从，让他志得意满，为我挡住河洛方面的隋兵，我正好可以专心西征。等到关中平定，我们再据险养精蓄锐，看他们鹬蚌相争，我们坐收渔翁之利。”李世民大喜过望：“父亲此计太妙了，就照您说的回信吧！”于是再让温大雅按李渊的意思写回信，派人给李密送去。李世民道：“这封信一去，我们就可以后顾无忧了。”后来信使回来禀报，说李密看到回信，果然向手下得意扬扬地自夸起来。李渊更加放心。
大家刚刚松了口气，探马紧急来报，说是刘武周勾结突厥，要乘虚袭击晋阳。李渊不禁长叹：“看来时机没到啊，我们赶紧回老家吧。”接着便和裴寂等人商量撤兵的事，大家一致同意。当时李世民正外出巡逻，忽然听说有撤兵的消息，马上回营问明情况。得知真有此事，李世民连忙追问李渊：“父亲为什么撤军？”李渊简单说明理由，又说：“粮食眼看就要吃光，很难再逗留下去。”李世民劝阻道：“父亲啊！行军全仗锐气，一旦撤兵，锐气尽失，人心必定涣散。敌人如果趁机抄我们后路，我军必然土崩瓦解，岂不是只能束手待毙吗？”李渊听后恍然大悟，又叹息道：“左军已撤退，怎么办？”李世民道：“左军刚撤，想必走不了多远，儿愿意去把他们追回来。”李渊只得笑道：“成败由你了，你去追吧。”李世民立即与李建成带领一队轻骑兵，连夜追回左军。
两天后，沈叔安押着粮饷赶到，天也放晴了。李渊命令军士晾晒铠甲，整理军械，然后避开泥泞沿着山麓绕行，来到霍邑城下。宋老生一味固守，不肯出城，李建成、李世民带领数十精兵来到城下，作出一副围城的样子，又让士兵辱骂宋老生。宋老生实在忍不住了，当即领兵三万开城出战。李渊率领一队精兵赶到，见宋老生出来对阵，命令殷开山催促后面的大队人马。李渊与李建成在城东列阵，李世民在城南列阵。城内隋兵从东门出阵，李世民从高处冲下来，直击宋老生背后，宋老生只好回马交锋。李世民手握两把大刀，左砍右劈，连毙数十人，两把刀都砍卷刃了，再换刀跃马向前，杀得隋军人仰马翻。李世民让士兵大喊：“宋老生已经被擒住了！隋军还不赶快投降！”宋老生自知大势已去，下马想要寻死，可巧刘弘基赶到，一刀把他劈作两段。宋老生的部下也都做了刀下鬼。大家一鼓作气攻进城中，城中兵吏全部投降。李渊一面张榜安民，一面对将士按功封赏。
此后，义军声威大震，一路势如破竹，各地守将纷纷投降。李渊对降将好生安抚，对百姓更是秋毫无犯。
义军很快攻到河东。河东是块硬骨头，有屈突通重兵把守。李渊召集众将商议，以裴寂为代表的一派认为应该集中兵力啃下这块硬骨头，另一派以李世民为首，主张兵贵神速，应当避其锋芒，绕道直取长安。李渊捻着胡子说：“两种说法都有些道理，我看不如兵分两路，偏军攻河东，正军趋长安。”于是留下部分兵力围困河东，李渊亲自率领大军渡河西取长安。一路上又有好多隋将前来投降，长安周围的许多县官也都送来大量财物。李渊命令长子李建成和司马刘文静率领王长谐等屯兵永丰仓，守住潼关并牵制河东，慰抚使窦轨以下的官员都由李建成管辖。次子李世民率领刘弘基等人镇守渭北，慰抚使殷开山以下的官员都由李世民管辖。两军分头行事，各挡一面。
李渊自己住在长春宫，周围的好些官员都来求见，有冠氏长、于志宁、安养尉、颜师古，以及李世民的大舅哥长孙无忌等人。李渊一一接待，封于志宁为记室，颜师古为朝散大夫，长孙无忌为渭北行军典签。
鄠县县令这时候也派人来见，并呈上文书。李渊刚看了个开头就找来柴绍，笑着说：“我女儿可谓智勇双全啊。”说着把文书递给了柴绍，柴绍看完更是喜形于色。李渊说：“你可以带领骑兵去迎接她了。”柴绍连忙三步并作两步地跑出去。这到底是怎么回事呢？原来柴绍赶赴太原的时候，曾对妻子李氏说：“岳父起义，召我前去。如果我带你同行，恐怕途中诸多不便；如果把你留在这里，又怕你有危险。这可如何是好？”李氏从容答道：“你就放心走吧！我一个妇人，容易避祸。而且我也自有办法，请你不必挂念！”一副成竹在胸的样子。
柴绍走后，李氏散了家财，躲进鄠县的深山，聚集了一批人马。恰好李渊的堂弟李神通也逃到了鄠县山中，并和长安大侠史万宝等人起兵响应李渊。李氏和李神通合兵，攻下了鄠县，又派家奴马三宝联络关中草寇何潘仁、李仲文、向善志等人，夺取了武功、始平等县，现在已经有七万多人马。左亲卫段纶曾娶李渊的妾所生的女儿，也在蓝田起兵，有一万多人马，与李氏结为援军。听说李渊已经渡过黄河，李氏便写了封信禀报李渊，信中述说了和李神通合兵，以及群盗归降的始末。李渊喜出望外，让柴绍前去迎接。柴绍正日夜想念着妻子，突然得到这个喜报，不禁眉飞色舞，一跃出门，招呼几百名骑兵，欢天喜地迎接佳偶去了。
柴绍走后，李神通及段纶等人都派来使者迎接李渊，就连那些投降的草寇也都写信表达诚意。李渊封李神通为光禄大夫，封段纶为金紫光禄大夫，又写信慰劳那些投降的草寇，各封了官职，命令他们仍旧留在原地，听候李世民调遣。
李世民挥师西进，沿途的草寇趋之若鹜，纷纷降顺，数不胜数。等抵达泾阳，已经是连营数里，人马九万多了。这里要特别交代一下，隰城尉房玄龄也来投奔义军，李世民和他一见如故，两人谈起军事，颇有相见恨晚的感觉。正巧柴绍夫妻也带兵到来，李世民高高兴兴地出迎。只见李氏头戴雉鸡尾，身披兽甲，腰佩七星宝剑，足蹬三寸战靴，一副将门女子、巾帼英雄的模样。李世民不禁夸奖一番。后面跟着柴绍及士兵一万多人，远远望去，全都是雄赳赳气昂昂，没有一个老弱病残。李世民更加惊喜，满面春风地向姐姐行礼：“姐姐辛苦了！”李氏笑着答道：“特来帮助兄弟！”李世民道过谢，安排姐姐的人马驻扎下来，然后亲自带领姐姐、姐夫进入大帐，亲热地聊了好长时间。此后，李氏所带的人马被称为娘子军。
李世民接着进兵阿城，一路上军纪严明，队伍整齐。李世民派人禀报李渊，请求会师，共同攻打长安。李渊这时候已经从长春宫赶到了永丰仓，正命刘弘基、殷开山等人分兵向西攻打扶风。城中出兵迎战，被刘弘基击败，刘弘基向李渊告捷。李渊听到捷报非常高兴，又接到李世民军报，于是起兵西行。经过隋朝的离宫别苑时，李渊下令撤销行宫，遣散宫女，让她们各自回家。到达长安后，李世民早已等候多时，两下会师，共有人马二十余万。李渊命令各军原地驻扎，不得侵扰百姓，并派使者来到城下，告知守城官员，义军只打算拥立代王。
代王杨侑是隋炀帝的孙子。原来，太子杨昭季死得早，留下三个儿子，长子杨倓封为燕王，次子杨侗封为越王，三子杨侑封为代王。越王杨侗留守东都，代王杨侑留守西京，西京就是长安，由京兆内史卫文升等人辅佐杨侑守城。卫文升已经年迈，听说李渊的义军兵临城下，吓得一病不起。只有左翊卫将军阴世师和郡丞骨仪在调兵守城。李渊派人招降，被他们斥回，于是督军攻城，并下令将士入城后不得侵犯隋氏宗庙及代王宫室，违令者灭其三族。将士开始攻城，城上弓箭石块如雨点般落下，将军孙华冒险越过战壕，挥着旗帜眼看就要登上城头，却被流箭射中要害身亡。这下激怒了义军，他们前仆后继，连日不退。大将雷永吉左手执刀，右手持盾，首先登上城头，士兵们一拥而上，杀散了城头的守卒，打开城门，大队人马随即攻进城中。阴世师、骨仪等人仍旧率部巷战，先后被义军捉住。卫文升听说城池沦陷，当场吓死了。
代王杨侑在东宫已经吓作一团，左右只顾逃命，四处乱跑，只有伴读姚思廉保护着代王从容面对。义军喧哗着进了大殿，姚思廉厉声呵斥道：“唐公举义兵到这里，为的是匡辅帝室，你们怎能如此无礼？”言语间颇有胆气。义军听了他的话，都不敢轻举妄动。李渊下马上前，仍然按照臣礼拜见代王，又请代王迁居大兴殿后厅。代王年仅十三岁，能有什么主意，见了这种阵势，浑身抖个不停。姚思廉也没办法，只好扶着哭哭啼啼的代王离开。李渊退居长乐宫，和百姓约法十二条，把隋朝的暴政全部革除，然后牵出阴世师、骨仪等十多个人，按照贪婪苛酷、抗拒义兵的罪名斩首，算是为儿子智云报了仇。监狱里的囚犯，大多下令释放。