正因为如此，尽管段祺瑞和冯国璋闹矛盾，冯国璋做代总统，段祺瑞仅仅是内阁总理，但冯却始终处于下风。冯对段的武力统一政策不满，自己在北京手里有一个师护卫，却始终不敢公然表示反对，连手中没有一兵一卒的黎元洪都不如。冯只能暗中指使亲他的长江三督，时不时不痛不痒地捣一捣乱。实在受不了，想要逃出北京，在安徽被倪嗣冲截下，一枪没敢放，硬话没说一句，只好乖乖回来。眼睁睁看着段祺瑞另起炉灶，组织第二届国会，选出徐世昌做总统，自己规矩地下台，回乡养老。而长江三督之中，坐镇武汉的湖北督军王占元，对武力统一根本不敢反对，大军过境，南下湖南，他乖乖地为人做后勤。
北洋集团，在那时内部自称为北洋团体，讲传统，讲礼仪，讲辈分，有时也讲点团结。在北洋第一代人那里，尽管彼此面和心不和，台上握手，台下踢脚，但真要撕破脸皮，还真有困难。直到1919年底冯国璋故去，冯、段之间的关系也没有破裂，尽管段家的党羽，在五四运动中对冯很是猜忌和防范，总疑心运动是冯国璋搞的鬼。在丧礼上，老段却哭得像泪人一样，让人看了好生感动。时人记载：
当冯氏入殓时，合肥首先趋视，抚棺恸哭，观者莫不动容。行礼时，痛哭失声，涕泗横流，几不能仰视。其悲伤状况，与祭人员，举奠之及，人皆怪之。
撕破脸皮，乃至刀兵相见，是第二代的事儿。也可以说，到了北洋第二代人手上，才有真正的分裂，才有真正的直皖之争。美籍华人学者齐锡生认为，在袁世凯死后，北洋集团的成员，还是倾向于维持这个集团的“团结一致”，以保障集团对国家的统治。督军团的出现，以及两次督军团的徐州会议，从某种意义上说，都可以说是北洋集团想要以集体的努力，维持团体团结的一种尝试。
曹锟，人称新直系，因为他是直隶保定人，当兵前，是保定的布贩子，一个带点傻气的闲汉。曹锟在北洋集团中，属于资历稍浅的第一代人。在冯、段纷争的时候，一向骑墙，不站在任何一边。相对而言，跟段祺瑞走得还更近一点，段祺瑞马厂誓师讨伐复辟，曹锟是第一批响应的人。段祺瑞武力统一的南征，尽管人说是用了副总统做诱饵，但毕竟曹锟所部是其中最卖力的一支部队。打下湖南之后，分赃不均，矛盾才起。即便如此，曹锟一直也没跟段祺瑞红脸。吴佩孚抗上，高喊和平，公然跟段祺瑞唱反调，曹锟还总做出一付不知情的样子，装模作样要加以训斥。
所谓的直皖之争，转机在第二代，激化也在第二代。最先坏了规矩的，是皖系的人。段祺瑞手下有四大金刚，徐树铮是其中之一，以别于徐世昌，人称小徐。小徐为人，好权谋，敢作为，经常独断专行，计诈并出，敢为人所不敢为。在袁世凯时代，就很招人恨，连袁世凯也不喜欢他，段祺瑞做陆军总长，选小徐做次长，老袁就不高兴。但是，小徐却深受段祺瑞的信任，无论他做了什么，段祺瑞都给他兜着。段祺瑞的最大毛病，就是不会用人。段芝贵这样在清末就声名狼藉的人，曾经走奕劻父子的后门，送女伶给奕劻儿子载振，买到黑龙江巡抚，举国臭名远扬，但是偏能得到段祺瑞的重用。张敬尧这个饭桶将军，贪财好货，所带的第七师，军队纪律极差，走到哪里臭到哪里。也是段祺瑞的宝贝，宁可得罪吴佩孚，也要把湖南督军给他。但是，段祺瑞有一个好处，用人绝对不疑，放开手用。他用的人，捅了篓子，即使他事前并不知道，也会自己把事顶下来。敢担责任，或者说瞎担责任。跟段祺瑞相当熟悉的名流徐一士，说段祺瑞“盖果于用人，己惟主其大纲，不必躬亲诸政务，亦其素习然也；惟责任则自负，政治上无论成败，从不诿过于下耳”。在徐一士眼里，段祺瑞有很闲逸的一面。喜欢在家里跟清客下棋，却不喜欢在办公室公干。还特意讲了一个故事，说是段祺瑞做边防督办的时候，国中大事，均决定于这个衙门，连内阁都得给它做汇报，但段祺瑞却不常去，“处中事务，向委僚属处理”。一日雪后，段祺瑞在街头散步，走到边防督办处附近，顺便走进去看看，结果遭到卫兵的阻拦和呵斥。从人亮明身份，才得以进去。进去之后，诸多要员以为有什么大事，一齐来见。结果，段祺瑞说，我只是来闲游而已，大家该干什么干什么。这样的闲逸，后来让段祺瑞吃了很大的苦头。他发现，他不得不不断给小徐背书。
在皖系当家的时代，小徐有两件事做得非常失策。一是把持第二届国会选举，玩手段把原本的盟友文人集团的研究系玩到残，在自家精心设计的国会选举里大败，结果得罪了最不该得罪的知识界盟友。第二件是擅杀北洋耆老，资格跟他主公相若的陆军上将陆建章。陆建章固然总跟段祺瑞捣乱，但毕竟是北洋老人，按北洋系的伦理，辈分必须尊重，即使闹翻，也不能对本人及家属动刀子，大家见面，面子上都得过得去。小徐把人骗来，一枪就给毙了，漫说审判，就连请示都没请示一下。虽说在小徐看来，陆建章可恶之极，但北洋团体的规矩和传统，也因此而被破坏了。这两件事，老段当初未必知情，但事情做出来了，却只好替小徐顶着。段祺瑞的智囊之一后来接替曹汝霖做交通部长的曾毓隽，回忆徐树铮枪毙陆建章之事时，有这样的描写：“徐树铮枪毙陆建章后，他的副官长李某从天津打来长途电话，向我报告这个消息。我向段报告。段听到这个消息后，惊讶万状，瞪目半晌，才说出话来：‘又铮闯的祸太大了！现在这样罢！你先到总统面前，探听他的口气如何。你就作为我还不知道。’我便到了总统府，冯见我来，不等我开口，就先问我；‘你是为了又铮的事情来的吗？’我说：‘是。我来请示总统，这事怎么办？’冯说：‘又铮在芝泉左右，一向是为所欲为，今天这事未免太荒唐了。所好是责任内阁，你回去告诉芝泉，他怎么办，我就怎么用印好了。’”显然，此时的冯国璋已经想开了，放手让徐树铮去坏规矩，得罪人，得罪人多了，皖系的日子就不好过了。后来的事情证明，段祺瑞的事，有一多半坏在徐树铮身上。显然，像这样坏规矩的事，许小徐做了初一，自然就会有人做十五。做十五的人，就是吴佩孚。
吴佩孚是山东蓬莱人，出身很苦，但很早就进学做了秀才。此人性格很夸张，但却有强烈的道德主义倾向。没有在家乡走读书科举的路，就是因为不满当地乡绅请戏班子演“淫戏”，而大闹人家寿堂，得罪了人，不得已离家出走，万般无奈，做了“粮子”。秀才出身的军官，在北洋系非常少，一直也得不到重用。吴很早就碰上了段祺瑞，但段却死活看不上他。后来跟了曹锟，偌大年纪，还在当副官长，所谓马弁头，如果不是留学出身的汤芗铭看上了他，要跟曹锟“借赵云”，吴佩孚恐怕一直都没有机会出头独当一面。
在北洋军人中，吴佩孚是个有政治理念的人，一边是带有理学味道的儒家伦理，一边是模模糊糊的达尔文主义。因此，在高唱“五常八德”的同时，却不肯附和帝制。清末和民初的国家危局，往往会刺激有志之士的民族主义神经，把情绪集中在爱国主义上。吴佩孚也不例外。民国期间，很多清末时有志报国的军人沉沦了，把军装换成了马褂，战马换成了八抬大轿，变成了抽大烟、讨小老婆、刮地皮的军阀，但是也有些人没有消沉，一直想有所作为。吴佩孚就是这些人中的一个，多年的压抑只能使得他的野心更加勃勃。
出身秀才的他，在某些方面其实跟多数晚清时节的普通读书人一样，经历了自身价值和命运被冲击的动荡。作为军人，尤其是中国军事现代化成果新式军队的军人，又经历了实力不如人的命运嘲弄。跟同袍不一样，吴佩孚参加过日俄战争。这场曾经令中国知识界很兴奋的战争，给他的体验完全不同。他经历了九死一生的考验，也见识了现代战争的场面，同时也体会到中国军队和日本的差距。尽管他的日本同事对他不错，但他对日本却充满了敌意，大概是感觉到了日本对中国的野心，以及品尝了作为军人时中日之间的差距。
凡是有志向的人，大抵有点本事。多年的行伍经历，使吴佩孚在练兵方面很有心得，这一点，似乎只有冯玉祥和孙传芳可以跟他有一比。因此，他带的兵，战斗力要比同时代多数军阀要强得多。在后来的混战中，吴佩孚因此得了常胜将军的名声。按他的本意，不见得乐意入湘打内战。但恰是这个内战使得曹锟放手让他统率第三师，一个北洋六镇之一的基本部队，从此有了可以说话的本钱。一上任，就撤掉了资历比他还老的第五旅旅长张学颜，换上自己的夹袋中人。从此，第三师成了他的部队。而驻扎湘南，一面向北京政府要钱，一面也就地征税，同时享用湘桂军方面来的钱，招兵买马，大力度扩充实力。
另外由于跟湘军罢战休兵，暗中往来，吴佩孚得以交接两个毕生的朋友，一文一武。文者张其锽。系湘军统帅谭延闿的进士同年，也是好朋友，民国有名的才子。因参与吴佩孚与谭延闿之间的穿针引线，两人结为金兰之交。此后，张其锽便成为吴佩孚幕中文胆，吴佩孚好多脍炙人口的文告，据说都是出自他的手。吴佩孚比张其锽要年长，但始终对张尊称为省长，毕恭毕敬。而张其锽则对吴佩孚患难相从，直到1927年大败入川，路上中了土匪的埋伏身亡。武者赵恒惕。湘军将领。当时残余湘军的统帅虽为谭延闿，但谭是文人，脾气极好，人称“谭婆婆”，但领兵打仗是不行的，幸亏手下有员战将，这就是赵恒惕。赵恒惕是日本士官学校的毕业生，系谭延闿最信任的将领，时为湖南第一师师长。虽说湘军粮饷不继，缺兵少械，但除了第三师之外，剩下的北洋军还都惧赵将军三分。凡交手，负多胜少。吴佩孚眼看着，张怀芝二十个营的生力军，在赵恒惕千余湘军面前，一败涂地。吴佩孚和赵恒惕惺惺相惜，从此订交。两人后来虽然政见各异，但交情却一直不断。1924年直奉大战，吴佩孚大败南归，人人避之唯恐不远，只有赵恒惕收留了他，让他带着残军，在岳州依旧做他的大帅。
有了本钱，又有委屈的吴佩孚，就可以自行其是了。吴佩孚的崛起，形成了北洋系分裂的第一道裂痕。但是，如果没有后来的五四，直皖之间刀兵相见，还没那么快到来。
中国的火药桶湖南
晚清以来，湖南在中国的名头很响。自湘军兴，帮助清廷守住了江山，清朝的中兴名臣，排在最前面的4个，胡、曾、左、李3个出自湖南。外面的人说，无湘不成军。湖南人自己说，湖南是中国的普鲁士，中国有湖南，中国就不会亡。然而，在上个世纪头20年，湖南却是中国的一个最危险的火药桶，南边北边打仗，湖南是战区。
但是这个火药桶，却给了吴佩孚一个最大的机会。
本来，吴佩孚一口气冲到衡阳，剽悍的桂军退回了老家，湘军被打散了，幸亏师长赵恒惕，收集散兵游勇，凝聚力量，总算为湘军保留了一点元气。在广州的护法军政府，因前方的败绩而出现分裂，西南军阀唐继尧和陆荣廷原本就不太买孙中山这个非常大总统的账，此时则策动一部分非常国会的议员，将军政府改成总裁制，总裁设有7人之多，而孙中山则由原来的非常大总统，变成毫无权力的7总裁之一。而且新的军政府，不断向冯国璋献媚，公开表现出妥协的态度，逼得孙中山愤愤地发表武人之争雄“南北皆一丘之貉”的宣言，下野回到上海。这样，最令北京政府头痛的孙中山，似乎已经被了结了。武力统一的胜利曙光，似乎就在眼前。据陶菊隐先生说，刚刚拿下衡阳的时候，吴佩孚还踌躇满志，胜利在望。写了一首感怀诗，其中有句道：“元首余威加海内，偏师直捣下衡阳。寄汝征南诸将士，此行关系国存亡。”这里的元首，到底是段祺瑞还是冯国璋，说不太清楚。但无论指谁，此时的吴佩孚，还是在为元首分忧哪。也就是说，刚刚占领衡阳的吴佩孚，对段祺瑞的武力统一政策，并无不满。作为此番南征唯一的常胜将军，这时，还做着建功立业的梦。
然而，一只脚踏在两广大门口的吴佩孚，按兵不动了。或者说，此公的梦忽然醒了。因为北京政府发表了张敬尧为湖南督军，这下子给吴佩孚的刺激可不小。张敬尧在北洋系资历比他深，但却一向为他所看不起。当年在四川抵御护国军，吴佩孚就见识过此人的无能。此番南征，张敬尧又是以优势兵力，屡战屡败。如果不是他加入战阵，湖南的战局还不知道是个什么样呢。可是，打赢了，桃子却给了这个草包。吴佩孚是个自负而又刚愎的人，根本受不了这个气。于是，这位南征的先锋，放下他元首的大业，开始学湘军名将彭玉麟寻访梅花，跟当地士绅诗酒唱和。第一件要务，居然是跟湘军建立联系，释出善意，免得擦枪走火。一句话，吴佩孚不想打了。在当时的中国，军阀之间要想建立联系，是一件再容易不过的事情了。在很多情况下，即便双方正在交战，双方的代表也会在上海或者汉口的租界里把酒言欢，今天开战，明天兴许就是盟友。当时南北交战，但西南军阀跟皖系军阀之间，照样存在着正式的联系。双方的代表，在一起喝酒打牌，无所不为。吴佩孚作为前方的一个师长，不算是交战中的一方，没有跟对方接触的正式代表，但要想建立联系，找个把双方都熟的人，却也易如反掌。