潦州久被围困，农民军伤亡很大，粮食奇缺，附近又有元兵驻扎，随时可能来攻，因此，濠州亟待解决军粮和补充兵员。对这一严重局面，朱元璋是有认识的，因此，他“以盐易米于怀远”，弄到一部分粮食，以救燃眉之急；6月，他又回原籍招兵，少年时的伙伴徐达、周德兴等都来投军，得七百多人，补充了兵员，郭子兴非常高兴，任命他为镇抚。但是，其他红巾军将领对形势却缺乏认识，认为元兵解围就无事了，郭子兴也缺乏长远目标，只想守住濠州一地，不愿向外发展。濠州红巾军内部的矛盾也很尖锐，彭早住、赵君用粗暴蛮横，其部下军纪败坏，与元兵无别，郭子兴则势单力薄，难以与其相争。对于农民军将领之间的矛盾和磨擦，朱元璋虽然做了大量调解工作，但收效甚微，彭、赵不仅不听劝告，相反还想加害朱元璋。朱元璋感到，濠州不是久留之地，再住下去，不仅难成大事，还会有杀身之祸，因此，至正十三年（1353年）6月，朱元璋便辞别郭子兴，带领徐达、汤和等二十四人离开潦州，南下定远，谋取独立发展的道路。
二、攻占集庆
至正十三年（1353年）冬，朱元璋南攻定远，中途因病返回濠州。至正14年6月，复攻定远，以计招降了定远张家堡驴牌寨地主武装三千人；又有秦把头者，聚众八百人，结寨于定远豁鼻山，朱元璋亦将其招降；定远人缪大享，集“民兵”二万人，被元授为“义兵”元帅，与张知院共屯横涧山，朱元璋派花云夜袭，大破之，缪大亨率众投降。从此，朱元璋军威大振。这时，赵君用，彭早住也攻占了盱眙、泅州，他们获悉朱元璋的队伍已扩大到二万人，便派人邀请他到盱眙去，朱元璋以赵、彭“二人粗暴浅谋，不可与共事”，辞而不往，以保持独立地位。定远人冯国用，冯国胜兄弟，聚众数百人，结寨自保，朱元璋进军定远，二人来投，朱元璋问计，国用说：“建康龙蟠虎踞，帝王都会，自古记之，幸而近我，其帅懦弱不任兵，宜急击下其城，踞以号召四方。事仿仁义，勿贪子女玉帛若群竖子者，天下不难定也。”朱元璋听后高兴地说：“此吾心也。”遂将他留在身边，时时参预机宜。朱元璋攻取定远后，7月，进兵滁州（今安徽滁县），定远士人李善长来投，朱元璋知其为里中长者，以礼待之，留为掌书记，参预军机。善长少读书，多智谋，因而策事多中。朱元璋曾问他：“四方战斗，何时定乎？对曰：秦乱，汉高起布衣，豁达大度，知人善任，不嗜杀人，五载成帝业。今元纲既紊，天下土崩瓦解，公潦产距沛不远，山川王气，公当受之，法其所为，天下不足定也。”朱元璋听罢大悦，决心以刘邦为榜样，取天下当皇帝。
7月，朱元璋攻滁州，花云为先锋，单骑前行，横冲敌阵，元兵惊曰：“此黑将军勇甚，不可与争锋”，四散奔逃，农民军顺，利攻占滁州城。朱元璋收集元残兵，补充军队，其队伍发展到三万多人。当时，彭早住，赵君用已屯驻泗州，彭早住称鲁淮王，赵君用称永义王，郭子兴亦被挟持到泗州。彭赵二人矛盾日益激化，终于酿成自相火并，彭早住死，赵君用“专兵柄，狠戾益甚”，又欲加害郭子兴，朱元璋以恩德相诘，又以唇亡齿寒相劝，赵君用畏滁州兵盛，郭子兴始得免，率所部至滁州。郭子兴到滁州后，朱元璋以礼相待，并将滁州兵交他管辖。郭子兴十分高兴，朱元璋也由镇抚升为总管。
11月，元丞相脱脱率兵包围高邮，并分兵攻六合。农民军六合守将求援于滁州，郭子兴与六合守将有怨，不愿发兵，朱元璋以“六合破，滁不独存，奈何以小憾而债大事”相劝，子兴乃发兵，诸将多不愿往，朱元璋亲自率兵援救。朱元璋与耿再成进驻瓦梁垒，逼近六合，元兵来攻，朱元璋力战，垒得不破，后计退元兵，胜利返回滁州。
至正十五年（1355年）正月，滁州乏粮，诸将议所向，郭子兴无远略，但欲据滁称王，朱元璋劝道：“困守孤城，诚非计，今欲谋所向，惟和阳可图”，郭于兴用其谋，遣张天祜、赵继祖、耿再成等攻占和州（今安徽和县）。郭子兴以朱元璋智勇出众，乃令其总兵，位在诸将之上。时军纪不整，有掠人妻女者，朱元璋召集诸将，喻之曰：“军无纪律，何以安众，凡军中所得妇女，当悉还之。”即令将所掠妇女放归，民众大悦。元兵十万围攻和州，朱元璋坚守三个月，大败元兵。3月，郭子兴病死，小明王任命郭子兴子郭天叙为都元帅，郭子兴妻弟张天祐为右副元帅，朱元璋为左副元帅，以统滁州之兵。朱元璋用龙风年号，成为北方红巾军的一部分。
和州城小，储备不多，养不了数万军队，5月，城中粮食已非常紧张，这时，朱元璋想起了冯国用的建议，乃决定南波长江。和州对岸的太平路（今安徽当涂）及太湖周围诸路，是粮食、的高产地区，渡江不仅可以解决军粮问题，还可以进而攻占集庆（今江苏南京）以为根本。但是，朱元璋缺少船只，渡江遇到困难，适在这时，在巢湖结寨的水师李普胜、赵普胜、廖永安，俞通海“以水师千艘来附”，朱元璋十分高兴，亲至巢湖见李普胜等，并查看水道，利用大雨水涨的时机，避开元兵战船，由小港出巢湖。赵普胜中途变卦离去，西归徐寿辉。李普胜欲杀朱元璋吞并其军，结果反为朱元璋所杀，廖永安、俞通海等大部分水军归顺朱元璋。从此，朱元璋有了一支上万人的水军，这就为胜利渡江创造了条件。
6月，朱元璋以常遇春为先锋，水军自和州出发，渡江取采石，很快攻占太平路，俘元万户纳哈出，元总管赴水自杀。朱元璋改太平路为太平府，以李习为知府，设太平兴国翼元帅府，朱元璋自为元帅，李善长为帅府都事，汪广洋为帅府令史，陶安为参谋府事。当时，太平四面皆元兵，元右丞阿鲁辉等率水师截采石江面，“义兵”元帅陈埜先与元将康茂才等以数万兵来夺太平城，朱元璋派出主力徐达、邓愈、汤和出姑孰东迎战，又派兵出敌后，前后夹击，力战得胜，大败元兵；生俘陈壁先，阿鲁辉等败走，退驻峪溪口。太平保卫战，农民军取得巨大胜利。太平战役后，朱元璋乘胜又攻占芜湖、栗水、句容等城，并派兵驻守，对集庆逐渐形成包围之势。
朱元璋在太平巩固阵地后，下一个目标就是集庆了。冯国用早就劝朱元璋取金陵，这时陶安也说：“金陵古帝王都，取而有之，抚形胜以临四方，何向不克？”于是，乃决定取集庆。7月，张天祜率诸军及降将陈垫先部众攻集庆，因城防坚固，不胜而回。9月16日，再攻集庆，郭天叙、张天佑率军由官塘攻集庆东门，陈茔先率军由板桥出发，攻集庆南门。17日，张天祜等至方山，破元兵左答纳识里营，陈整先却与元守将江南行台御史大夫福寿暗中勾结，围而不攻，后又设下奸计，俘郭天叙、张天祜，叛变降元。陈埜先的叛变，使农民军遭受重大损失，郭张二元帅牺牲，攻取集庆的第二次战役失败了。
至正十六年（1356年）3月1日，朱元璋亲率水陆大军自太平向集庆进军，三日，首攻集庆外围江宁镇，破陈兆先营，降元兵三万六千多人，生俘陈兆先。10日，攻集庆，离城五里，诸军鼓噪而进，直逼城下，将士以云梯登城，元兵皆破胆，心无斗志，农民军破城，福寿战死，元平章阿鲁灰，参政伯家奴及集庆路达鲁花赤达尼达思等皆被杀，“水寨元帅康茂才、苗军元帅寻朝佐、许成、刘哈剌不花，海军元帅叶海撤及阿鲁灰部将完都等各率个降，凡得军民五十余万。”朱元璋进入集庆，召集官吏。
父老、人民，向他们表示：“吾率众至此，为民除乱耳，汝宜各安职业，毋怀疑惧。贤人君子有能相从立功业者，吾礼用之，居官者慎勿暴横，以殃吾民。旧政有不便者，吾为汝除之。”全城秩序井然，军民喜悦，互相庆慰。朱元璋改集庆路为应天府，置天兴，建康翼统军大元帅府，以廖永安为统军元帅，命赵忠为兴甲翼元帅，使守太平。朱元璋攻取集庆后，16日，任命徐达苎大将军，率军攻克镇江，斩元守将段武、平章鼎鼎，苗军元帅杨完者出逃。随后，又分兵攻占金坛、丹阳等城。十9日，朱元璋置淮兴、镇江翼元帅府，以徐达、汤和为统军元帅，汤昌为行军总管。4月，朱元璋攻取广德路，改为广兴府，以邓愈守之。
7月，小明王任朱元璋为枢密院同签，又置江南行中书省，以朱元璋为平章，在江南建立了政权。
三、建立江南根据地
朱元璋攻占集庆后，又分兵攻占镇江、金坛、丹阳等地。当时，朱元璋控制的范围仅限于集庆及其周围地区，而且西有徐寿辉，东有张士诚，南有元军据点，处于被包围的状态。为了确保集庆和建立巩固的江南根据地，朱元璋采取了一系列措施。
朱元璋看到，徐寿辉，张士诚力量较大，而且都是反元友军，由此，对他们决定采取睦邻政策，派杨宪去平江（今江苏苏州市），致书张士诚，表示“吾与足下东西境也，睦邻守国，保境息民，古人所贵，吾甚慕焉。自今以后，通使往来，毋惑于交构之言，以生边衅。”；对徐寿辉也采取了尽量避免武装磨擦政策。
璋改太平路为太平府，以李习为知府，设太平兴国翼元帅府，朱元璋自为元帅，李善长为帅府都事，汪广洋为帅府令史，陶安为参谋府事。当时，太平四面皆元兵，元右丞阿鲁辉等率水师截采石江面，“义兵”元帅陈埜先与元将康茂才等以数万兵来夺太平城，朱元璋派出主力徐达、邓愈、汤和出姑孰东迎战，又派兵出敌后，前后夹击，力战得胜，大败元兵，生俘陈埜先，阿鲁辉等败走，退驻峪溪口。太平保卫战，农民军取得巨大胜利。太平战役后，朱元璋乘胜又攻占芜湖、溧水、句容等城，并派兵驻守，对集庆逐渐形成包围之势。
对东南元朝控制地区，则采取攻战方针。至正十七年（1357年）2月，朱元璋派耿炳文攻长兴州（今江苏长兴），元“义兵”万户蒋毅率所部二百人投降。3月1日，改长兴州为长安州。设永兴翼元帅府，以耿炳文为总兵都元帅，刘成为左副元帅，李景元为右副元帅，率兵驻守。4月，朱元璋令徐达、常遇春率军攻宁国路（今安徽宣城）。元长枪元帅谢国玺弃城走，守将别不华、杨仲英顽抗，城小而坚，久攻不下，常遇春中箭。朱元璋大怒，亲临指挥攻城，元兵不能支，杨仲英投降，俘元“义兵”元帅朱亮祖及军士十余万，战马二千余匹，宁国路所属太平、旌德、南陵、泾县诸县皆下。7月，朱元璋命胡大海，邓愈率军攻徽州路（今安徽歙县），破其城，元守将元帅八思尔不花败逃，“义兵”万户吴纳兵败自杀。朱元璋改徽州路为兴安府，立雄峰翼元帅府，命邓愈驻守。7月23日，胡大海率军下休宁，进军婺源（今属江西），元江浙参政杨完者率兵十万向徽州反扑，胡大海闻讯回师，与邓愈前后夹击，大败元兵，杀其镇抚李才，杨完者狼狈溃逃。9月，朱元璋命费子贤率军取武康（今浙江德清西），杀其守将潘万户。10月，朱元璋命缪大亨攻扬州，元守将“清军”元帅张明鉴降，获其兵数万人，战马二千多匹，改扬州路为淮海府，置淮海翼元帅府，以张德林为元帅，李德成知府事，留兵驻守。扬州被围时，城中粮尽，元兵杀平民充饥，故城破时，居民仅存十八家。
至正十八年（1358年）正月，邓愈令部将王弼、孙虎及汪同、孙茂先等攻占婺源州，杀元守将铁木儿不花，歼灭元兵三千五百余人，俘三千余人。李文忠攻青阳、石埭、太平、旌德，皆下之。2月，李文忠败元将阿鲁灰于淳安县之万年街，又败苗军于潜、昌仁。3月，李文忠与邓愈、胡大海攻下建德路（今江建德），设德兴翼元帅府，元江浙行省左丞杨完者遣兵反扑邓愈出击，大败元兵，杀其将李副枢，降溪洞兵三万多人。4月，邓愈攻取淳安。6月，李文忠攻占浦江（今浙江浦江）。10月6日，胡大海攻占兰溪，俘元万户赵伯颜不花，廉访使赵秉仁等，歼敌千余人，获马、牛、羊万头，置闽越翼元帅府，分兵守其要害。12月，朱元璋亲率十万大军攻浙中重镇婺州（今浙江金华），败元处州（今浙江丽水）援兵胡深，俘其前锋元帅李肩章。婺州守兵内部不和，枢密同佥宁安庆开东门投降，婺州城破，杀元达鲁花赤僧住、浙东廉访使杨惠，俘南台御史帖木烈思、院判石抹厚孙等。朱元璋开设江南等处行中书省分省、行枢密分院、金华翼元帅府，改婺州为宁越府，“于省门建立二大黄旗，两旁立二牌，旗上书云‘山河奄有中华地，日月重开大宋天’，牌上书云：‘九天日月开黄道，宋国江山复宝图’。”旗牌表明，朱元璋领导的农民军依然是北方红巾军的一部分，其军事行动虽然由自己决定，但他依然尊奉小明王，他主持的江南等处行省，依然在龙凤大宋政权的领导之下。
经过几年的用兵，今皖南，浙西地区的元兵据点大部分被朱元璋所占领，从而确保了集庆的安全，稳定了江南的阵地。