杨玄感反叛，是杨广始料未及的。而追根寻源，变生肘腋，还得怨杨广自己埋下了祸根。他为此后悔不已也就不足为怪了。
常言说，一人得道，鸡犬升天。杨玄感凭着父亲杨素的军功，在文帝开皇年间就权倾一时了。父子俩一度曾同为二品，朝会同时列班而立。只是后来文帝觉得这样有失杨素为父的尊严，才把杨玄感降为从二品。
杨玄感小时头脑愚钝，虽然体魄强健，面貌英俊，却不灵敏，一副傻乎乎的样子。好多人都说他弄不好要长成个痴子。杨素却不以为然，似乎对儿子的前途胸有成竹，常跟朋友说：“我儿子一点儿都不傻，必是大器晚成。”
果然，杨玄感少年时候开始读书，练习骑射，长进极快。凭父亲的权势至柱国，后来又做了宋州刺史。杨素死后，他去职守丧，刚一年多，便被皇上任命为鸿胪卿，袭爵楚国公，后迁礼部尚书。
杨素因受皇上猜忌，逐渐疏远冷落。后来皇上为消弥天象之灾，改封杨素楚国公，至使他忧愤成疾，病重后绝医而死。作为儿子，杨玄感将这一切看在眼里，记在心上。杨素死后，皇上竟对近侍说：“如果杨素不死，朕必诛灭其九族。”这些话也传到了杨玄感耳朵里。对所有这些，他都深埋心中，声色上丝毫不露，反而更尽心竭力报效朝廷，暗暗觊觎有朝一日手中能握有兵权。
他曾对兵部尚书段文振说：“玄感世受国恩，得皇上宠任，如不立功疆场，实在问心有愧！如四方有风尘之警，玄感愿执鞭行阵，为国效微薄之力！”
段文振把这些话传给皇上，杨广高兴地在群臣面前夸赞说：“将门必有将，相门必有相，此话的确不虚。”从此更加看中杨玄感，许多朝政大事也让他参与。
在朝中诸多臣将看来，皇上对杨素的猜疑忌恨已到了非置其死地而后快的地步，对杨玄感却如此恩宠有加，实在不可思议，根本不像皇上一惯为人处事的秉性。杨广之所以懊悔不迭，或许概因于此。他对杨玄感不但毫无戒心，还在这次出征高丽之前，委以他坐镇黎阳督运粮秣的重任，对杨玄感来说，可真是一个天赐的良机！
自古以来，征战前线因断粮而导致士卒哗变的事例已不鲜见，杨玄感原来就打算利用这一招。他扣住黎阳的粮草迟迟不发，想使辽东隋军乏粮致变，然后趁乱起兵。
杨广见粮食运送不及时，三天两头派使者前来催逼。开始，杨玄感还对来使说：“近来盗贼蜂起，永济渠水路不太平，不可大批运送粮食。”可是这种托词只能遮掩一时，后来见皇上催得火急，他知道不能再等下去了，就决定立刻起兵。他先写了两封信，一封派人密送到辽东阵前，让兵部侍郎斛斯政偷偷将杨玄纵和杨万硕放回；另一封派人送去长安，叫另一个弟弟杨玄挺和自己的莫逆之交李密速来黎阳。
六月三日，杨玄感率兵进入黎阳，关闭四方城门。他挑选运粮民伕五千多人，船工三千多人，加上自己的所领士卒，共有万余之众，集合在城中，杀三牲誓师。
杨玄感登高大呼，说：“当今皇上昏庸无道，不顾百姓死活，连年征战，天下骚乱，怨声载道。为了讨伐高丽，光是死在辽东的民佚就数以万计，作了异乡之鬼的士卒更不计其数。今天，玄感决定舍生取义，起兵讨伐昏君，救兆民于水火，弟兄们赞成不赞成啊？”
话音未落，万人举臂欢呼，群情激昂。这时候，李密和杨玄挺从长安赶到了黎阳。李密的父亲李宽是周隋两朝名将，骁勇善战，谋略过人，官至柱国，封蒲山郡公。虎门无犬子，李密也是个才兼文武，足智多谋的人，而且胸有大志，远见卓识，常以天下为己任。只是容貌有些逊色，皮肤黝黑，面如恶煞。大业初年，他曾被宇文述选为左翊卫府的卫士。杨广见到他之后，对宇文述说：
“刚才见到的那个黑脸小儿，神色非同一般，不要让他担任宿卫！”宇文述暗中指点李密，让他称病自免。李密满怀抱负竟遭冷遇，就有些心灰意懒。从此屏绝世事，一心读书。他尤其爱读兵书、史书，一部《孙子兵法》能倒背如流。有一回，他骑着黄牛出去游玩，一边走，一边在牛背上读《汉书》。恰巧被杨素看见，觉得这黑小子有些奇异，就想逗他一下。杨素从一旁悄悄靠上，牵着牛笼头，引它调转过来往回走，走出二里多路，李密竟浑然不觉。杨素看出他非等闲之辈，高兴地哈哈大笑，遂将李密请到家里，与他长谈一番。之后，杨素对杨玄感说：
“李密学识非凡，远在你们兄弟之上，你要跟他交往。”
从此，杨玄感与李密结为至交。李密到来，使杨玄感欣喜异常。当晚就在黎阳府邸摆下几样精致的菜肴，与李密“小酌”。一是为他洗尘，二是向他讨教进兵谋略。
杨玄感说：“法主兄常以天下为己任，今天到了你大展宏图的时候了。千里迢迢从长安把你请来，是要你做谋主，从此咱们兄弟二人同舟共济，共举大业！”
法主是李密的字，以字再加兄弟相称，就看得出两人之间的友情，而且又是在举义起兵，作乱犯上的时候，就更显出非同一般。
李密因喝了几杯酒，脸色越发黑得发亮，他谦恭地笑笑说：“多谢尚书大人抬爱，能与大人共谋天下是我的荣幸，也责无旁贷。”
李密对杨玄感却不用兄弟称谓，这是因为杨玄感原本就是礼部尚书，朝廷重臣，如今又起兵反叛，成了首领，一旦事成，他就是皇上。所以从现在起就得分出个上下来，不要乱了礼数。尽管称呼上有点客套，但是李密说的真是心里话。
杨玄感听李密答应得痛快，高兴地连声说：“太好了，太好了！”又敬了李密一杯酒，随后问道：
“法主兄，咱们这讨伐无道昏君的大旗就算举起来了，天下必然惊动。你觉得咱们下一步应该怎么走好？”
李密微微一笑，显得胸有成竹，说：“从来长安的路上我已想好了三条计策，请大人选择。如今皇上出征高丽，远在辽东，眼下所处的形势对他极为不利。因为南有大海，北有强胡，东面是高丽，西边与涿郡悬隔千里。尚书大人应出其不意，率兵长驱幽州，袭据临渝关，扼其咽喉，断绝他的退路。高丽人闻讯，定会从皇上背后出击，这就让他腹背受敌，前后夹击。如此相持不过一月，等他粮草罄尽，大军不降则溃，大人可不战而擒。这是上计。”
杨玄感听着，不置可否地“嗯”了一声，说：“再说中计。”
李密说：“关中一带号称天府之国，又四面险阻，是易守难攻之地。虽然有卫文升据守，也不足为虑。大人可率兵向西挺进，不攻沿途州县，直取长安。一路收纳豪杰勇武，安抚士民，再扼守潼关天险。这样，即使皇上从辽东赶回，也失去了盘踞的根本，大人可徐图进取。这就是中计。”
杨玄感点着头笑笑，说：“不错。愿听下计。”“这下计么，”李密沉吟一下，看看杨玄感，“下计只有不得已时才可用之。那就是：挑选精锐，昼夜兼程，袭取东京洛阳。但是恐怕留守洛阳的越王杨侗和民部尚书樊子盖早有了防备，会闭城固守。如果久攻不克，朝廷的几十万兵马就会从四面围上来。那样，后果就不堪设想了！”
“哈哈……”李密说完，杨玄感纵情大笑起来，他向李密端起酒杯，“法主兄真是雄才大略，满腹经纶呀，实在令人钦佩！来，再敬你一杯。”
一饮而尽之后，杨玄感又说：“不过，我倒有个想法，将法主兄的上下两计颠倒一下。我以为，你说的下计才是真正的上计！”
“哦！”李密一怔，问：“不知大人有什么道理？”“你看，当今朝中百官的家眷大都在东京，如果先取洛阳，俘虏百官家眷作为要挟，朝中必定大乱，就会乖乖地降服于我。”“那，若是洛阳久攻不下呢？”李密又问。
杨玄感摇摇头：“不会的。越王杨侗和樊子盖都不是领兵打仗的将才，听到咱们去攻城，他们能据守三五天而不弃城逃命就算不错了。再说，起兵伊始，最要紧的是壮大声威。攻取洛阳，定能使咱们声威大震。如果像你上计所说，直取长安，途中遇城不攻，怎么能显示声威呢！”
李密听杨玄感原来是这样打算的，心中暗暗叫苦：这事要坏！
李密的担心并非没有缘由，他所出的上中下三计，是经过了一番深思熟虑的。他想，如采用上计而挥兵北上，临渝关的守将赵元淑与杨玄感旧有私交，声气相通。扼守住临渝关，就能让皇上进退失据，处于狼狈境况。若用中计向西推进，关中的防卫并不强大，杨玄感的老家就在华阴，杨家又是当地大族，会获得众多族人拥戴，他所说的声威正在关中，取胜的可能甚至比北上还要大些。可是现在……杨玄感是个性情骄倨，固执己见的显贵子弟，李密的担心，就在于太了解他们了。
杨玄感决计进攻东京洛阳。他派杨玄挺率骁勇千人作为前锋，先取河内。
河内是洛阳的北方门户，两城隔黄河相望。杨玄感先攻河内，不光是为了清除进取东京的障碍，他要除掉河内郡守唐祎，以解心头之恨。起兵之前，杨玄感将唐祎召到黎阳，拉他共同举事，还封了唐祎一个怀州刺史。
唐祚表面上唯喏，还跟杨玄感一起出谋划策。可是就在起兵的前一天夜里，唐祎偷偷逃回了河内。
唐祎跑回河内之后，立刻加固城防，严阵以待，并派人飞驰东京禀报，将杨玄感反叛的消息告知越王杨侗和樊子盖，让他们作好守城准备。
杨玄挺率兵进到河内，猛攻猛冲了一昼夜，城池岿然不动。杨玄挺无奈，只好改道从汲郡南渡黄河，奔向洛阳。这时候，杨玄感又派弟弟杨积善率三千兵从偃师沿洛水西进，围攻东京。他自己领三千多兵马紧随其后。
别看杨玄感人马不多，却士气正旺，沿途又有众多苦于力役的农夫纷纷投奔，队伍日益扩充。虽然都手执单刀柳盾，没有弓矢甲胄，但也浩浩荡荡，气势汹汹，竟把越王派来阻击的兵马打得落花流水。
越王派河南令达奚善意率五千精兵东阻杨积善。达奚善意渡过洛水，在汉王寺扎营。这些留守东京的士兵已多年不习武备，虽然号称精兵，却是金玉其外，败絮其中。第二天，杨积善领兵杀到，达奚善意的部下竟望风而逃，不战自溃。丢盔弃甲全被杨积善唾手得来，装备了自己。
受越王之命，河南赞治裴弘策北御杨玄挺的八千精锐，其下场与达奚善意如出一辙。裴弘策率军在白司马坂遭遇杨玄挺，一触即溃，丢弃了许多铠仗。杨玄挺并不追赶，命部下轻松地捡获了战利品，徐徐前行。裴弘策败退四五里，又收集散兵结集以待。远远地见杨玄挺的人马慢慢过来，却在不远处坐下休息，半晌不见动静。裴弘策以为杨玄挺人困马乏，动弹不得了，也想借机松弛一下。杨玄挺突然带兵杀了过来，裴弘策又落荒而逃。就这样五战五败，一直退到洛阳太阳门，裴弘策仅率十余骑逃进宫城，其余士兵都被杨玄挺俘获。
旗开得胜，一路顺风，让杨玄感大喜过望。他率兵屯驻东京东面的上春门，准备稍事休整即开始攻城。
四乡百姓听说叛军打败了朝廷的军队，纷纷牵着牛羊，抬了大坛的酒来上春门犒劳这些勇武的将士。这种从未见过的热烈场面，使杨玄感大为感动。他正想对百姓们说几句感谢的话，就见一位白胡子的长者，手捧一碗酒，颤颤微微地走到跟前，说：“大将军，老汉我听说，大将军改朝换代之后，俺百姓就用不着没白没黑地运送军粮，也不用出壮丁、服劳役了？”
老汉的问话让杨玄感浑身一震：百姓所求仅此而已！皇上，你竟忘了失民心者失天下呀！他手臂一挥，大声说道：