建安六年（201年），夏四月，曹操在河上举兵，进攻袁绍的仓亭军，大败仓亭军。袁绍回来，又收集零散的士兵，攻击各叛离的郡县，各地又都安定下来。九月，曹操回到许昌。在袁绍被曹操打败以前，袁绍曾经派刘备攻占汝南，汝南的黄巾军头目龚都等，纷纷响应刘备。曹操派蔡阳领兵进攻龚都，岂料出师不利，被龚都打败了。曹操便亲自南征刘备。刘备听说曹操亲自领兵，便去投奔刘表，龚都等人也都四散而去。
建安七年（202年），春正月，曹操在故乡谯县实行军屯。曹操下令说：“我兴起义兵，是为了替天下消除暴乱。我故乡的人民，几乎全死了。我现在在街道市集上行走，再也看不见以前相识的人了，这让我很是感伤。自从兴义兵以来，将士战死的，如果没有后嗣相继，可以立自己亲戚的后人作为后嗣。赐给你们田地，赐给你们耕牛，设置学校来教育子弟。要为生者立祖庙，使他们能够得以祭祀他们的先人。如果死者有灵魂，我百年之后，还有什么遗恨呢？”于是曹操来到浚仪，治理睢阳渠，派使者用太牢之礼祭祀桥玄。曹操进军官渡。
袁绍自从兵败官渡之后，便得了一场大病，整天吐血不止。夏五月，袁绍死了。袁绍的小儿子袁尚世袭了他父亲的爵位和官职，长子袁谭自称为车骑将军，驻兵黎阳（今河南省濬县东北）。秋九月，曹操亲自征讨袁谭。经过连续多日的作战，袁谭、袁尚屡战屡败，只能退兵固守。
建安八年（203年），春三月，曹操进攻袁氏的城池，袁兵出城迎战。曹兵进攻，大败袁兵，袁谭、袁尚乘着夜色逃走。夏四月，曹操进兵到邺城。五月，曹操回到许昌，留下贾信驻兵黎阳。
三月己酉（二十四日）曹操下令说：“《司马法》说‘将军死于退却’，所以赵括的母亲，请求赵王不要因为赵括而连累她一块儿问罪。可知古时当将军的人，如兵败于战场，他的家人便应该在国内负连坐之罪。我自从起兵以来，各处征讨，只是赏赐有功的人，而没有惩罚有罪的人，这并不是国家该执行的法度。现在我命令诸位将领，带兵出征时，兵败的人须治罪，作战失利的人将被罢免官爵。”
秋七月，曹操下令说：“自从国家动乱以来已经有十五年了，现在的年轻人，都已经失去了仁义礼让的优良风俗，我对此感到很难过。现在我命令各个郡国，修缮文馆，每个满五百户的县设置一个校官，选择乡中的俊秀之才，加以教学。这样才能保证先贤圣王之道不至于废弃，有益于天下的安定。”
八月，曹操亲自率领军队征讨刘表，驻兵西平。当曹操离开邺城而南归许昌之后，袁谭、袁尚二人争取冀州，袁谭被袁尚打败，退而保守平原国的国治（今山东平原县西南）。袁尚将平原围得水泄不通，夜以继日地轮番狂攻。袁谭被逼得走投无路，便派辛毗向曹操投降，请求曹操出兵相救。曹操手下诸将都很怀疑，荀攸劝说曹操答应袁谭的请求。曹操于是引兵返回。冬十月，曹操到达黎阳，为儿子曹整聘了袁谭的千金为未婚妻。袁尚得知曹操想要北来，于是放弃了对平原的包围，回到邺城。东平的吕旷、吕翔背叛袁尚，驻兵阳平，率领他们的兵众投降了曹操。曹操皆封他们为列侯。
建安九年（204年），春正月，曹操率军渡过黄河，堵塞淇水进入白沟，以求能通运粮之路。二月，袁尚再一次进攻袁谭，袁尚留下了苏由、审配等人坚守邺城。曹操进兵到了洹水，苏由便投降曹军。曹军已经到邺城城下，不断对邺城发动进攻，堆起了土山，挖掘地道。袁尚的部属武安长尹楷，驻兵毛城，用来确保运粮道路的畅通。夏四月，曹操留下曹洪进攻邺城，自己领兵进攻尹楷，大败尹楷而回。袁尚的部将沮鹄镇守邯郸，曹操又亲自领兵攻城，攻下了邯郸。易阳令韩范和涉县长梁岐，奉上县城投降。曹操对其赐爵关内侯。五月，曹操继续进攻邺城，毁去土山，毁去地道。而在城外作围城水沟，决开漳水灌城，城中被饿死的人在半数左右。秋七月，袁尚回兵救援邺城，曹操的部将都认为：“这是一支归家的军队，人人能够独自作战，不如避开它的锋头。”曹操却说：“袁尚如果从大道来，应当避开他，但是如果沿着西山的山路来，这一回肯定会被我生擒！”袁尚果然沿着西山山路而来，毗邻滏水安营扎寨。晚上，袁尚派兵进攻曹军的围兵。曹军迎击，打退了袁军，包围了袁军大营。在还没有完全包围的时候，袁尚便害怕了，派前豫州刺史阴夔和陈琳，向曹操请求投降。曹操不愿意接受他的投降，继续包围袁营。袁尚在夜间逃跑了，退而固守祁山（今河南安阳市西），曹操派兵追击。袁尚的部将马延、张 等，临阵投降，袁尚逃窜到中山固（今河北定县一带）。曹军获得了袁尚军队的全部辎重，并且得到袁尚的印绶和节钺。曹操差遣袁尚部下投降的人，把袁尚的印绶等物，拿给袁尚的家人看，城中人的信心顿时就崩溃了。八月，审配的侄子、东门校尉审荣，在晚上打开了他所把守的城东门，迎接曹兵入城。审配积极迎战，但还是战败了。曹操生擒了审配，后处死了审配，邺城平定。曹操亲临祭祀了袁绍墓，在袁绍的墓前大哭了一场。曹操还慰问了袁绍妻，归还了袁绍家人的宝物，并且赐给他们缯絮，命人定时给袁绍家人送粮食。
当初，袁绍和曹操共同起兵的时候，袁绍问曹操说：“如果举事不成功，要占据一块地方作为远大谋略的根据地，哪个地方比较适合？”曹操说：“你认为哪块地方适合？”袁绍说：“我南面占据黄河，北面有燕、代之地，能得到戎狄的力量。向南可以夺取天下，这样差不多就可以成事了。”曹操说：“我凭借着天下人的智慧和力量，用大道治事，没有哪个地方是不合适的。”
九月，曹操下令说：“河北的人民因在袁绍的统治下遭了灾，他们不需要缴纳今年的租赋了。”又加重对专横乡里的地方豪强的惩罚。百姓都很高兴。献帝命曹操领冀州牧，曹操谦让辞了任命，回到了兖州。
在曹操围攻邺城的日子，袁谭开始意识到联合曹操无异于饮鸩止渴，便单方面瓦解和曹操的联盟，夺取了甘陵（今河北清河）、安平（今河北深县）、勃海（今河北南皮东北）、河间（今河北河间市）这些已为曹操占据的冀州之地。袁尚兵败退回到了中山，袁谭又攻中山，袁尚于是逃往故安，投靠了他的二哥、幽州刺史袁熙。袁谭合并了袁尚的士众。曹操给袁谭写信，责备袁谭负信背约，与袁氏断绝婚姻之好。曹操把袁谭的女儿遣送回了袁家，然后在十二月进兵。袁谭相当恐惧，曹军攻下了平原，袁谭退走，守南皮县，企图负隅顽抗。十二月，曹操进入平原，平定了各县。
建安十年（205年），春正月，曹操攻破了南皮县城，袁谭在逃亡途中被他的部下一刀结果了性命。同时遇害的，还有袁谭的妻子儿女、亲信郭图等人及其家属，至此冀州平定。曹操下令：“与袁氏共同为恶的人，不计前嫌，一切重新来过。”又命令百姓不得报私仇，禁止厚葬，都以法令制定施行。同月，袁熙的大将焦触、张南等发动叛乱，攻击袁熙、袁尚。袁熙、袁尚逃奔三郡乌丸。焦触等以县城投降曹操，被封为列侯。在曹操征讨袁谭时，曾派遣百姓凿开川流冰冻，以使船只能够通行，有百姓因不肯凿冰而逃亡了。曹操认为百姓叛逆，下令见到逃亡的人一律抓捕。过了一段时间，有逃亡的百姓来到曹操门前诉苦。曹操对他们说：“你快回去吧，不可被官吏捕到。”逃亡的百姓垂泪而去，最后还是被捕了。
夏四月，黑山军张燕率领部众十余万人投降曹操，张燕被封为列侯。故安人赵犊、霍奴等，刺杀了幽州刺史和涿郡太守。三郡乌丸在犷平进攻鲜于辅。秋八月，曹操领兵征讨，杀了赵犊等，渡过潞河，救犷平。乌丸逃走，逃往塞外。
九月，曹操下令说：“暗中结党、相互亲密营私，是先圣之所疾恶。我听说冀州的风俗，父子不同室而居，竟然互相毁誉，从前直不疑没有兄长，当世之人却污蔑他和嫂子通奸；第五伯鱼三娶孤女，人们却指责他挝妇翁（翁通媳）；王凤擅权，谷永却将他比作申伯；王商忠言并且敢于提建议，张匡却把他说成左道。这都是颠倒黑白，瞒天欺君的事。我要整治风俗，改掉这些恶习，如果这四类风俗不能够除去，就是我的耻辱。”冬十月，曹操回到了邺城。
起初，袁绍以外甥高干任并州牧。曹操攻下邺城，高干投降，曹操仍然让他做刺史。高干得知曹操讨伐乌丸，于是在并州举兵反叛，首先生擒活捉了支持曹操的上党太守，然后全力据守地势险要的壶关口（今山西长治东南的壶口山下）。曹操派乐进、李典领兵进攻高干，高干退守壶关城。建安十一年（206年），春正月，曹操亲自征讨高干。高干听到探报，留下别将守城，自己逃往匈奴，向匈奴单于求救，单于不肯救援。曹军包围了壶关三天，终于拿下了壶关。高干于是逃往荆州，在路上被上洛（今陕西商县）都尉王琰生擒活捉，后被杀死。
秋八月，曹操东征海贼管承，到达淳于。曹操派乐进、李典击败了管承，管承逃到了海岛上。曹操把东海的襄贲、郯、戚三地都收归琅琊郡管辖，撤销昌虑郡。
建安十二年（207年），春二月，曹操从淳于回至邺。丁酉（初五日），下令说：“我兴起义兵，诛除暴乱，至今已经有十九年了，所征讨的地方，一定能够克服。这是我一人的功劳吗？是大家的功劳。现在天下虽然还没有全部平定，但我一定会与贤士大夫共同管理天下，如果我一个人独自享受这一功劳，我怎么能安心呢？应该尽快核定贤士大夫的功绩，论功行赏。”于是大封功臣二十多人，都封为列侯，其余的人各依次序受了封赏。并对殉难者的遗孤，给予免除租税的待遇，轻重各有不同。