在正式起义之前，杨玄感想给隋军制造一些困难，从而削弱他们，所以他总是故意延迟发运军粮。炀帝派人来催，杨玄感答复说：“水路上海盗太多了。为了防止他们抢劫，不能连续发粮。”他的弟弟武贲中郎将杨玄纵、鹰扬郎将杨万硕也跟着炀帝东征，杨玄感秘密地派人把他俩召来，准备正式发动起义。
这时，将军来护儿率领的船队正在东莱（在今山东省掖县附近），准备从胶莱河河口入海进攻平壤。
有一天，有一个人自称从东莱来，要向杨将军报告重要消息。杨玄感说：“让他进来！”那人进来便说：“将军来护儿没能按命令准时出发，害怕受到惩罚，率军造反了。”杨玄感听后，对众将官说：“来护儿在山东造反，必然先奔黎阳夺粮！”于是率领军队退入黎阳城，关闭城门，并向百姓宣布道：“来护儿已经反隋，即将来攻黎阳。为了抵御来护儿，全城的成年男子都要从军！”他还命令大量征集帆布用来制造盔甲，并命令各地的官府都按文帝时代的规矩办事。他又给各州郡写信，号召他们发兵到黎阳的皇仓集合，共同讨伐来护儿，还任命了几个州的刺史。这样，他一开始就召集了一万兵马。其实，并没有来护儿误期反隋的事，那是杨玄感编造的，来报信的人也是他自己安排的。
洛阳朝廷得到杨玄感反隋的消息后，十分害怕，因为黎阳距离洛阳并不很远，快马一天就能到达。炀帝不在京，越王杨侗和民部尚书樊子盖急忙调兵遣将，布置防御。修武县（在今河南省焦作市附近）也有一些人组织起来把守临清关（在今河南省新乡市附近），阻挡杨玄感的队伍渡黄河。杨玄感躲过他们，从汲郡（在今河南省汲县附近）渡过黄河。读者可能会提出这样的问题：你说他们渡河的地方也不在黄河上啊？其实，这很容易解释：黄河在历史上多次改道。现在的黄河中下游河道是二十世纪三十年代才形成的，而隋代的黄河正是在汲郡、修武等地通过的。
过河以后，杨玄感的队伍可就热闹起来了：各地来投奔的人络绎不绝。他们的驻地就像市场似的，有成帮成伙来的，也有独自来的，纷纷要求加入反隋的队伍。他们在这里住了几天，队伍就发展到十多万人。然后挥师西指，包围了东都洛阳。樊子盖命令河南赞治裴弘策抵抗杨玄感的进攻，被杨玄感击败。洛阳附近的父老抬着刚刚宰杀的猪牛，担着酒坛来慰劳他们。刘元洪等人也在各地起义，响应杨玄感。
为了能够和平解决洛阳，杨玄感给樊子盖写了封充满激情的信。他说：我们尽忠于国家有很多种方式。商代伊尹放太甲于桐宫，汉朝霍光废刘贺于昌邑，都是为了天下。我们今天起兵，只是要求废掉当今的皇帝杨广。他篡夺了先帝创造的基业，自绝于天，残害百姓，败坏风化，连年征伐，荼毒万民，导致盗贼越来越多，民力已经被他征伐得凋零不堪。他荒淫酒色，多少家的女子被他蹂躏！他玩鹰犬、养禽兽，多少人受到他的毒害！士卒的尸体填满了沟壑，白骨遮盖了原野。黄河以北，千里不见人烟；江淮之间，满目尽是荒草。我杨玄感世代蒙受皇恩，官居高位。家父曾受先帝遗诏：我的子孙，好的，你就辅佐他，不好的，就为我罢黜他。抛弃这个荒淫无道的昏君，改立贤哲的皇帝，上顺天心，下合民意。所以，我们起事以来，四海响应，士卒们就像给自己报私仇那样勇猛。将军独守一座孤城，能够支持多久？希望将军以百姓社稷为重。
樊子盖没有听从杨玄感的劝告。杨玄感便对洛阳发动了攻击。他在誓师大会上对众人说：“我身为上柱国这样的高官，家中的财产数以万计。在这两方面，我都没有什么追求了。现在，我不顾杀头灭族，不惜亿万家财，为了什么？只为了解天下倒悬之急，救生灵涂炭之苦啊！”杨玄感的话让将士们很信服。因为他确实是抛弃了富贵和身家性命，这使大家觉得他与其他那些朝廷官员不同，他不是为了自己，而是为了天下，为了万民。有几千人感动得热泪盈眶，挤到杨玄感面前要求艰巨的任务。
刑部尚书卫玄率领七万大军从长安来救洛阳。他在途中掘了杨素的坟，烧了他的尸骨，毁平了杨家的茔地。还举行了仪式祭告文帝，表示一定要消灭杨玄感。他下令先派两万步、骑兵渡过瀍（ｃｈáｎ）河。这时，有人对他说：“我们如果直接进攻洛阳，恐怕会陷入杨玄感的埋伏。不如乘船顺黄河而下，到达河阳（在今河南省孟县）。那里是洛阳外围重镇，我们在那里从后面进攻杨玄感，定可取胜。”
“这是凡夫俗子的见地。”卫玄以不屑一顾的神情回答了这个建议。他的密探已经探知，杨玄感的主力在洛阳城北，城南只有少量部队。卫玄先派武贲中郎将张峻率两万人渡过河，大张旗鼓地从南道进军，以迷惑杨玄感。自己则率主力部队向洛阳城北进发，想在那里消灭杨玄感的主力部队。他的南线疑兵果然与杨玄感遭遇，但这却不是杨玄感的主力。杨玄感以少胜多，歼灭了卫玄的两万疑兵。原来，杨玄感在城南的部队也是疑兵。卫玄没有迷惑住杨玄感，反而被杨玄感给迷惑了。
卫玄的主力在洛阳城北遇到了杨玄感的队伍。杨军果然敌不住隋军的攻势，且战且退。杨玄感在城南歼灭了一部分卫玄军后，又悄悄地转向城北。杨军有百姓的掩护，卫玄并不知道，还以为杨军真的被他打得溃退不止。他正在高兴的时候，就听军中有人高喊：“官军已经抓到杨玄感了！”这消息一传十，十传百，很快在官军中传开。官军以为已经获胜，便懈怠下来。谁知这时，杨玄感却率领数千骑兵冲杀过来。他冲在队伍的最前面，挥舞着长矛，高声呼喊：“杀呀！”士兵们也都个个英勇，官军被打得措手不及，狼狈溃逃。卫玄整理队伍的时候，只剩下八千来人了。原来，杨玄感特意派几个士兵化装成官军的样子，混入官军的队伍中，大喊捉住杨玄感了，以迷惑官军。官军中有人见到冲杀过来的杨玄感，吓得舌头都不灵了，支支吾吾地说：“杨军那个领头的，简直就是当年的西楚霸王项羽！”
在这次战役中，杨军还俘获了不少官军的人。有一个叫韦福嗣的，原来是官军中的一名军师，不太爱说话，但说起话来总是引经据典。杨玄感觉得他挺有学问，有些事情就常常请教他。但韦福嗣的答复总是模棱两可，让人怎样理解都行。