粉碎卫玄主力后，杨玄感问韦福嗣：“卫玄摆出了与我决战的架势，我是否要同他正面交锋呢？”韦福嗣说：“将军起义以来，天下响应，大业很快可成。按现在的形势看，别说洛阳，拿下长安也不在话下。”在韦福嗣来说，他并没有回答杨玄感的问题。可是杨玄感却觉得，这是韦福嗣在支持他同卫玄决战。探子也报告说，卫玄粮尽，无法支持。于是，杨玄感就在北邙山（在洛阳市北）与官军对阵，一天交锋十多回。以前杨玄感靠计谋取胜。这次打起阵地战，他的这些刚刚组成的军队就不如官军了，所以并没有取得明显的胜利。这时，李密过来对他说：“韦福嗣并不和我们一条心，他只是在我们营中观望。我们初起大事，而让奸人在我们的身边，这是很不利的。我看应该除掉他。”杨玄感说：“至于那么严重吗？”并没有采纳李密的意见。李密痛心地说：“我们快当官军的俘虏了。”正在这时，有士卒来报：“报大人，杨玄挺大人被流矢击中，伤势严重。”杨玄挺是杨玄感的弟弟，他一听这消息，急忙问人在哪里。这时，人们已把杨玄挺抬过来，他已经断了气。杨玄感悲痛欲绝，无心再战，便下令退离北邙山，择地安葬了弟弟。
卫玄虽然丧失了大部分军队，但却为官军争得了时间。炀帝派来了武贲郎将陈稜、武卫将军屈突通、左翌卫大将军宇文述、右骁卫大将军来护儿，赶到洛阳附近支持樊子盖。杨玄感一下子由数量上的优势变成了劣势。原来的民部尚书李子雄这时来投奔杨玄感。杨玄感问他在这样的形势下该如何应战。李子雄说：“屈突通是比较通晓军事的，如果让他们渡过黄河，我们很难取胜。不如分兵抵抗，让他们过不了河。”杨玄感觉得李子雄说得有道理，就分兵堵住各个渡口。樊子盖却派兵偷袭杨玄感的兵营，杨玄感顾了这头顾不了那头，还是让屈突通过了黄河，在洛阳附近的破陵扎营。杨玄感东有屈突通，西有樊子盖，两面受敌，被他们逐渐向北逼到黄河边上。
“洛阳的援军会越来越多。”李子雄又对杨玄感分析说，“我军已经多次失败，不应该在这里停留太长的时间。我想，我军不如西上，直入关中。在华阴县东北，渭水的南岸，有一个永丰仓，那里储备着大量的粮食。我们可以攻占这个仓，开仓放粮，赈济贫寒。这样，关中地区很快就可以被我军占领。拥有了府库中的财富，我们就可以同东都抗衡，争夺天下。”这时，有一些华阴人自告奋勇来当向导，杨玄感就放弃了洛阳，向西进发。一路上，他们宣传说，他们已经攻占了洛阳，现在是去夺取长安。在半路上，大家发现韦福嗣不告而别。原来他又投奔官军去了。
途中，李子雄又对杨玄感说：“将军起义，天下响应，可见民心已经背离隋朝。将军不如趁这个机会称帝。”
杨玄感觉得这可是件大事。他起义的时候并没有这样的打算，只想换一个皇帝，使社会能够安定，使他全家能够安全。要当皇帝，可不能这样草率。他毕竟是信任李密的，就去找李密商量。李密最近明显地感到杨玄感对他的建议不感兴趣。听了他的问题后，李密说：“当年，陈胜想称王，张耳建议他不要这样做，结果被疏远了；三国时代，曹操想让皇帝给他九锡的赏赐，等于凌驾于皇帝之上，荀彧（ｙù）劝止他，也被疏远了。我不想成为这两个人。但是，我又不愿意做一个阿谀奉承的人。我们起兵以来，虽然取得了很多次胜利，但是我们并没有夺得郡县之类的地盘。洛阳的防卫还很严密，各地的援兵陆续到达。将军的首要任务是身先士卒，尽早平定关中。如果你急着当皇帝，就会让人们觉得你没有远大的志向。”
杨玄感笑笑说：“贤弟所言极是。”他便放弃了当皇帝的念头。
李密又说：“在陇右（今甘肃省六盘山以西，黄河以东）地区守卫的将军是元弘嗣，他统率着一支很强大的军队。我们可以扬言说，元弘嗣已经向我们投降，西去迎接他。用这个理由入关，可以使很多人投向我军。”
杨玄感接受了李密的建议，继续西行。但当他们到达弘农（在今河南省灵宝县北）附近时，那些华阴向导和当地人都说，这里城防空虚，储粮很多，很容易攻下来。占了弘农，进可以断绝敌军的粮食供应，退可以断绝敌军的进路。杨玄感听了这些话，很感兴趣。但李密却对他说：“我们是用计西行的，宜速不宜迟。我们进攻弘农就会延误时间。”杨玄感被那些人的话所诱惑，还是决定先进攻弘农。
可是，弘农并不像想象的那样容易攻，三天也没有攻下来，而官军的援兵却赶到了。杨玄感不能再攻，向西退去，官军紧追不舍。退到阌（ｗéｎ）乡（在今河南省灵宝县），被官军追上。杨玄感布阵迎敌，边战边退。由于是行进中遭遇，战线长达五十里，这对杨军非常不利，一日三败。在董杜原这个地方，杨军被官军打得大败。杨玄感在十几名骑兵的保护下逃到树林中。敌军还在步步紧逼。杨玄感和弟弟杨积善的马都已被射死。他转过身来，高高地举起长矛，向着追上来的官军冲过去，高喊：“杀呀！”其余的人也跟着高喊：“杀呀！”一齐向敌军冲去。官军被这突如其来的举动吓晕了，不知他们虚实，急急后退。
杨玄感几个人总算暂时摆脱了追兵。杨玄感说：“我们这样退，早晚都得被官军追上。我与积善二人又没有马，连累你们也都步行。这样下去，我们都免不了遇难。”
一个士兵说：“杨将军，请骑我的马先行。”其他几位战士也都要让出自己的马。杨玄感说：“这不行。我的目标大，只要有我在，敌军就会穷追，我们谁也跑不了。我看这样，我与积善步行，往这个方向跑，你们骑马，往那个方向跑，总会有人跑得出去的。”
“不，杨将军，我们决不离开你。有我们在，就有杨将军在！”将士们都坚持道。
“我们不是要一起去死。能保存一个人，就要保存一个人。炀帝残暴无道，百姓受尽其害，我们不能看着他继续为非作歹。我们当中不论哪一位活了下来，都要把我们的义旗扛到底！我与积善两个人不骑马，或许可以缩小目标，逃得出去。”
杨玄感反反复复地讲这些话，将士们才被说服。他们高高地拱起双手，对杨氏兄弟说：“请将军放心，只要有我们在，我们就不会让那个暴君安生！”
只剩下兄弟二人了。杨玄感说：“我们失败了。但是，我不能让官军杀了我。来，弟弟，举起你的刀，把我砍死。”杨积善一把抱住兄长：“不！哥哥，我不！我们要活下去，我们要报仇！”
“别傻了，弟弟。我们是逃不出去的。不过，我心里很高兴。我们已经多次打败官军。各地纷纷响应我们，他们不会都失败的，那个暴君也不会活多长时间的。再说，我们就是不起义，那个暴君也会杀戮我们全家的。不反是死，反也是死，我们这样死，死得值得。动手吧，弟弟！”
“不！我不让你死，我们要报仇！”
“积善，我们不是死，我们是到阴界等着杨广报仇，他很快也会去的。你不是杀我，是送我走上复仇之路！动手吧，我的好弟弟！不要手软。要一刀成功。”
“哥——”杨积善一把抱住自己的兄长，泪如泉涌。良久，他的泪干了，说：“哥哥，你转过身去，向着前方，我送你上路。”
杨玄感看着弟弟，安详地笑了笑，慢慢地转过身，看着东方。杨积善一刀砍了下去。他看也没看倒下去的兄长，就把刀转过来，向着自己的头砍来。
可惜，杨积善砍自己的这一刀力量不够，没有死成，落到官军手中，而后被官军杀害。
李密在这次战斗中被俘。但他与几个同伴在被押送洛阳的途中成功脱逃。他再次举起义旗，并且写出了著名的讨伐隋炀帝的檄文。文中提到隋炀帝的罪恶时，说：“罄南山之竹书罪未穷，决东海之水流恶难尽！”
尽管最后李密也失败被杀，但轰轰烈烈的农民大起义爆发了。在杨玄感就义五年之后，隋炀帝到底被混战的军阀所杀，隋朝也就灭亡了。