公元611年，隋炀帝杨广下诏准备征讨高丽，要求全国往高阳运送粮食、武器以及各种军需。运载装备的人往来于道路上，常常有几十万人之多，昼夜不停，拥挤非常，途中病死累死的人的尸体到处都是，还散发着臭气，大隋百姓都被攻打高丽这件事闹得苦不堪言。而且这一年山东、河南发大水，淹没了很多地方，黄河河道又被堵塞，河水逆流几十里，两岸百姓背井离乡，四处逃亡。再加上官吏暴虐贪婪，借各种机会鱼肉百姓，百姓终于无法忍受，开始聚众闹事。自邹平民王薄开始，各地纷纷举起贫民起义的大旗。
翟让本来是个小官，因为犯罪要被处死，监狱长却认为翟让不是平常人，有拯救黎民百姓的才能，于是偷偷把他给放了。翟让逃亡到瓦岗做强盗，与他一同前去的还有单雄信，他们常常通过抢掠船只来补充供给，声名日渐壮大，前来投奔的人越来越多，最后整个瓦岗寨达到一万余人。
李密是名门之后，年轻时就有远大的抱负，投靠了当时起兵反隋的贵族首领杨玄感，后来杨玄感被杀，李密只得四处流亡。当时已经有很多平民起义军，但因为没有受过教育大多胸无大志，只想着尽可能填饱肚子。李密便四处游说各个起义军首领，向他们讲述夺取天下的谋略，所以各路起义军渐渐开始敬重李密。其中，翟让与李密的交情很密切，李密劝翟让说：“瓦岗寨的兵马虽多，但一直靠外出抢掠为补给，没有粮食仓储，这不是长久之计。不如攻取荥阳，这样不仅有了一个较大的根据地，还可以储备粮食，等到兵强马壮后，再与他人争夺。”翟让听从了这个建议。
在攻打荥阳的过程中，他们遇到了隋炀帝派来的官兵的镇压，翟让曾与其主将张须陀交过手，次次惨败，所以很害怕。李密却认为张须陀骄兵必败，于是从容部署，一举打败了张须陀。这之后，翟让命李密建立自己的部队，李密善于管理，军纪严明，而且为人朴素，将获得的财物都赏赐给部下，因此大家都愿为他效力。翟让感到自己的地位受到威胁，便对李密说：“如今我们的粮食很充足，我打算回瓦岗了。如果你不回去，我们就在这里分手吧！”于是便带着抢来的辎重离去，李密则继续向西进军，还劝降了好几座城池，获得了大量的粮食军资。翟让知道后很后悔，又真心敬佩李密，便率兵回来继续跟随他。
李密本来打算攻打东都洛阳，但前去打探虚实的士兵被守军发现，守军立刻开始布防，并将这一情况飞马报告给隋炀帝。李密便又向翟让提议攻打离洛阳很近的洛口仓，认为洛口仓粮食充足，而现在百姓饥馑，瓦岗军打下洛口仓，将粮食发放给贫苦百姓，一定会得到百姓的支持，壮大瓦岗军。那时候，粮也有了，人也有了，声望也有了。翟让听从了李密的意见，两人带兵攻破洛口仓，开仓放粮，前来取粮的百姓络绎不绝。而洛阳兵将都以为瓦岗军不过是一群饿急了去抢粮的乌合之众，没吃饭就去交战，结果被李密、翟让打得大败，辎重、兵器全被瓦岗军缴获，瓦岗军从此威名大振。
翟让终于明白李密才智过人，于是甘愿尊李密为主。公元617年，李密自立为魏公，手下的将领各有官职和封赏。很多起义军听到这个消息都来投奔，李密欣然接纳，让他们各自统率本部人马，其中比较有名的如秦叔宝、程咬金等。就这样，李密的势力日益壮大，部众达几十万人，河南大部分地区归其所有。
翟让的部下劝说翟让夺取李密的权力，翟让不听，翟让的哥哥为人愚昧，对翟让说：“当天子多好啊，干吗要让给别人？你不当我来当！”翟让哈哈大笑，并不放在心上。李密知道这件事后就开始防备翟让，后来又有小人挑拨，李密认为自己人互相残杀会落人口实，那小人却说：“壮士断腕只为自保，您不先下手为强，一定会后悔的。”李密听信谗言，摆酒宴召翟让赴宴。还没开席，李密拿出一把上好的弓和翟让比射箭，翟让刚拉满弓，李密的手下就从背后将他砍死了。两旁的人都十分惊恐，李密大声说道：“我们起义的目的就是铲除暴虐，翟让专横暴虐，性情残忍，不分尊卑，所以被我杀了，今天的事情与各位无关。”虽然李密这么说，但多数将领都很心寒，不安的情绪渐渐滋长。
公元618年，宇文化及兵变，杀掉了隋炀帝，留守洛阳的越王杨侗称帝，并招降李密命他去讨伐宇文化及。战斗十分惨烈，最终李密打败了宇文化及，但也丧失了很多精兵良将。王世充趁李密军队疲困时前来袭击，李密刚刚打败宇文化及，有些轻视王世充，王世充趁着李密大军没有排好阵形的时机发动攻击，又找了一个长得很像李密的人，在战斗进行到紧急关头时将那个人捆起来推到阵前，大喊：“已经生擒李密了！”李密军因而大乱。王世充再派出埋伏的骑兵从高处冲进李密的营地，李密军全线溃败，李密领一万多人逃亡，单雄信等投降了王世充，曾经声名显赫的瓦岗军从此一蹶不振。