但由于湘军战斗惨烈，兵源不足，不得不改变起初只招募湖南山民的规定，默认了湘军将领就地招募兵勇的做法，给袍哥流入湘军营伍创造了条件，一些哥老会员随招募之机加入湘军，“随营煽结”，在湘军中大力发展势力，湘军内部出现了许多哥老会的山堂组织，使湘军带上了明显的帮会色彩。川籍将领鲍超所率的霆军成了四川游勇和袍哥藏身匿迹的渊薮。另一川籍湘军将领黄鼎所部也是袍哥充斥。到同治初年，湘军“各营相习成风，互为羽翼”后来又迅速在楚军、淮军中蔓延开来，“楚师千万，无一人不有结盟拜兄弟之事”，“用兵省份各勇，亦纷纷效尤，党羽繁多。”虽然曾国藩多次厘定营规，严禁结拜哥老会，规定：“禁止结盟拜会，兵勇结盟拜会，鼓众挟制者严究，结拜哥老会，传习邪教者斩。”左宗棠将勇丁结拜哥老会，作为“行军五禁”，仍不能阻止哥老会在湘军中的滥觞。咸丰末年，有人估计，湘军勇丁“入会者，亦十之三四”。随着哥老会势力的壮大，湘军首领找不出更好的办法来禁止，曾国藩不得不叹道：“哥老会一事，尤为莫大之患。”
湘军内部的腐败、派系斗争严重、战斗力减弱，特别是为了消弥清政府的疑忌等方面原因，同治三年（1864）五月攻下天京后不久，曾国藩即递上《贼酋分别处治粗筹善后事宜折》，决定将湘军裁撤。据统计，至同治五年（1866），除存留少数几支军队在要地分防或派去剿捻、剿回外，湘军先后被遣撤约30万人。由于湘军欠饷太严重，哥老会乘遣撤之机，掀起了声势浩大的索饷斗争，哗变、倒戈纷起，壮大了哥老会的声势，加上湘军将士迅速沦为赤贫，无以为业，纷纷投奔哥老会，哥老会得到广泛的蔓延和扩张。随着被遣散湘军将士携带着的哥老会种子的落地生根，哥老会的漫延趋势已势不可挡。曾国藩也一改过去对待哥老会的态度，而采取了“刚柔相济”、“只问匪不匪，不问会不会”的政策，而在实际处理哥老会案中又一味从宽，实际上起到了保护伞的作用。
湘军解散后，数百万将士无法安置，他们解甲后却归不了田，又找不到其他职业，绝大多数成为无家可归的游民，他们流浪江湖，与各地原有的游民相勾串，结盟立会，散票取钱，成为各地新立哥老会的头目，于是迅速在川、湘、黔、鄂以及江淮广大地区蔓延开来，很快造成“各路之会匪声气相通，抗官拒捕，势渐不可制”的局面。
湖南巡抚刘啯在同治九年给皇帝的奏折中说，“从前平定川陕三省教迹，筹办善后，安插数十年之久，始能教定。此次军务十倍于川陕善后，安插又远不能及嘉庆年间物力之厚，勉强敷衍，苟顾目前，兵勇之情，多未安贴，哥匪名目因之乘之以兴。”从这里可以看出：一、虽已走向没落的嘉庆政府还能勉强用十多年时间安置镇压川陕鄂三省白莲教起义后的遣散兵勇，而陷入半殖民地深渊的同治政府再也无力处理镇压了太平天国后的遣散兵勇了。二、仅湖南省就有数十万遣散兵勇不能归农，于是就纷纷举事作乱。从此后，哥老会就由四川走向了全国，愈来愈甚。吴善忠在对研究湘军与哥老会的关系时得出了这样的结论：“湘军是由曾国藩为首创立的一支镇压太平天国的地主武装，它的出现对近代中国社会产生了极为重要的影响。湘军与哥老会有着密切的存在与发展的关系：第一、哥老会原先僻处西南一隅，传入湘军后，由于生存环境、组织发展等方面的适应性，哥老会势力在湘军内部得以充分发展与扩张；第二、随着湘军的辗转征战和战后的遣散，哥老会在长江流域蔓延开来，迅速地扩及于全国大多数省份，并最终成为凌驾于其他教门和会党之上的最大秘密结社。一部湘军史向人们证明：一种力量在社会上出现与膨胀的时候，它也造成了遏止自身存在与发展的对立面。湘军的对立面不仅是存在于外部的太平军，也存在于它自身所滋育、哺养出的哥老会，湘军适时地挽救了清政权的覆灭，但它在晚清社会政治、经济、军事等领域所产生的诸多‘负面效应’，又无时不在动摇着清政权这座业已摇摇欲倾的大厦；而哥老会的崛起及其在辛亥革命中与新军的联手斗争，则最终将这座腐朽的封建大厦彻底摧垮。”
到了民国时期，由于长期军阀混战，军阀同袍哥的关系发展成一种非常特殊的关系。一方面，袍哥组织基本上是以军阀统治的羽翼和爪牙的面目出现，另一方面，袍哥组织对军阀统治的影响和对政局的干预和控制，是其他社会力量不可同日而语的。袍哥组织的大发展，是由于军阀官僚对其纵容和庇护的结果，而袍哥的蜕化堕落与辛亥革命后军阀政府对其处置不当有关。辛亥革命后，四川督军尹昌衡想利用袍哥作为其政权的支柱，他在成都公开成立“大汉公”总公口，自任总舵把子，军政府各部都组织公口，陆军部内有“大陆公”，参谋部内有“大参公”，城内各警署内部都打出了公口招牌，还通令各县哥老头子率领兄弟伙到成都点验成军。致使在一些地方，袍哥的人数成几十倍的增长。
随着政权的稳固和局势的变化，袍哥组织被一脚踢开了，解除了部分舵把子的权力，敢于反抗者则加以镇压。袍界一时引起混乱，其中一部分涌入军队，寻找新的庇护，一部分返归原籍，与当地官府勾结，成为地方豪强，另一部分组织武装队伍，进行非法活动。面对如此强大的社会力量，四川大小军阀均对袍哥采取了笼络和收买的政策。
一是直接招收哥老队伍。由于袍哥队伍比一般帮会组织更为严密，既有兄弟关系，又有上下关系，既有袍哥的家法，又有军队的军法，难以拆开打散。如刘湘为了扩大其军队，就曾在绵阳、罗江、广汉一带收编了乔得寿的一支哥老队伍，编为独立旅。其他被收编的袍哥队伍首领有陈兰亭、魏辅臣、邓国璋、杨春芳、汤子模、郑启和、龚渭清、范绍增、刁青云、郑慕周等。余际唐所部四个团全是袍哥队伍。统领这样的军队，一般军事长官都会显得力不从心，有时到了军事首脑的权力抵不上袍哥舵把子威望的地步。
二是收买袍哥保护自家性命和维持治安。军阀刘文辉、邓锡侯正面负责保卫的人员，大半为袍界中人。刘文辉的主任副官、邓锡侯的副官长，都是码头兄弟。在警力方面，袍哥组织几乎包揽了全川的地方治安。有的地方甚至从头目到一般成员都是袍哥。如成都警备司令部乡村情报所，主任是华成社舵把子，其成员全是华成社袍哥，外人或其他堂口的人根本无法染指。
三是利用袍哥组织扩大自己的影响。例如刘文辉曾授意其五哥刘文彩当上“叙荣乐”总舵把子，利用帮规和纪律，把十万兄弟伙牢牢控制住，并与川西各地的舵把子三百余人掉把换贴，为刘文辉的统治扩大影响。
二、袍哥与侠匪的关系
由于袍哥同侠、匪都是从事某种秘密活动的组织或个人，其行为都是与当时的法律相悖的，一般情况下不得公开，秘密性和江湖性是他们的共同点。同时，就他们从事的非法活动本身而言，有部分雷同的地方，不好作截然的划分。他们之间的区别主要在于他们各自活动的目的和组织形式。“自古以来，庙堂与江湖是支配着中国社会的两大系统。从文化而言，一为‘儒’，一为‘侠’，在历朝历代治乱相替的循环中，起着相生相克的作用，缺一不可。中国统文化中，有两类人备受尊崇，一为圣君、贤相、儒将、忠臣、清官，这是庙堂系统的；一为高僧、隐逸、侠士、豪客，这是江湖系统的。”按照这种标准分类，哥老会和侠、匪、盗均应属于江湖系统中“侠”的范畴。
“侠”既然是备受尊崇的对象，源远流长，其行为破坏了现有的统治秩序，由于其“以武犯禁”，韩非子把它列入“五蠹”之一，自然要受到官方的打击，由于其行为有打富济贫、除暴安良的正义的一面，又受到老百姓的拥护和爱戴，所以司马迁在《史记》中专辟一节，为“侠”立传，名为《游侠列传》。其中对游侠作了精辟的论述：“今游侠，其行虽不轨于正义，然其言必行，其行必果。已诺必诚，不爱其躯，赴士之阨困。既已存亡死生矣，而不矜其能，羞伐其德，盖亦有足多者焉。”从司马迁的论述中，可以得出“侠”的特征：讲信用，愿舍己救人，施恩于人而不图报答。
侠起源于春秋盛行于战国，中国古代著名的侠客有豫让、专诸、聂政、荆轲等。到了唐宋时代，民间更加推崇侠义精神，通过唐宋传奇将侠义精神发扬光大。除了树立起虬髯客、昆仑奴、郭元振那样的侠客形象外，又多了聂隐娘、红线那样的女侠形象，实际上是在倡导和传承侠义精神。
从古代流传下来崇尚侠义的文化及其精神，到了明清受到了前所未有的控制。清代的保甲法就是对全社会进行严密控制的强硬措施。侠失去了自由活动的广阔天地，侠的出路或被消灭，或走向官府，加上封建奴性思想和功利意识对侠的浸蚀，造成了侠义思想的平庸化，甚至堕落。即使在那样的社会条件下，侠义精神还是没有完全淹灭，行侠仗义、诚信为本的精神在袍哥那儿得到了传承和复苏，在哥老会开展的系列活动中经常可以见到侠客的影子。也可以说，袍哥就是在清代某个特定时期的侠客。只不过，古代的侠客是以个体为主，而哥老会在整个组织上都有这种色彩。
哥老会在本质上是吸收了“侠”的行侠仗义精神及“匪”的行为特征，是亦侠亦匪的帮会组织，而匪的特征更为明显。《辞海》对“匪”的解释是：“强盗，为非作歹、危害人民的人。”这就明确划分了侠和匪的界限。而刘平把它定义为：“农业社会中那些脱离或半脱离生产行列、没有明确政治目标、以正义或非正义行动反抗社会、以抢劫和绑票勒赎为主要活动内容的武装集团或个人。”
“侠”可以对抗官府，劫富济贫，骚扰的是强势群体，一般不危害群众；而“匪”则以弱势群众为主要骚扰对象，当然也不排除骚扰官府及大户。由于哥老会的前身是“啯噜子”，先天就带有“匪”的胎记。啯噜子以游民为主，是一群流氓无产者。为了生存，为了改变被人为边缘化的命运，抱着对社会完全敌视的态度，他们打家劫舍，奸淫掳掠，几乎无恶不作，是一股巨大的社会破坏性力量。
哥老会是在融合了“南会北教”的基础上产生的。啯噜子在同白莲教教民的接触中受到了一些宗教教义的影响，在大规模移民过程中，从东南地方传来的天地会对啯噜子进行了组织上的改造，最终使哥老会成为有组织有领导团结互助的秘密帮会组织。但袍哥成员中的“匪”性也很鲜明，集中体现在浑水袍哥身上。
由于对内互助和对外进行非法活动只有一步之遥，到了后来，随着社会危机的加深，社会动乱的扩大，会党演化为土匪越来越普遍。土匪与会党之间也出现了相互吸收、渗透、融合的现象。但从总体上看，会党和土匪之间还是有一定的区别。从组织结构来看。会党的组织结构比较完备、稳定，匪股则比较原始、松散。从活动的内容来看。会党的活动内容十分广泛，举凡政府视为不法的事情都与他们有关，土匪活动则比较单一。从宗教信仰、秘密仪式、誓词戒律、隐语暗号来看。会党由于结会宗旨明确、组织机构完善，与之伴生的宗教信仰、秘密仪式、誓词戒律、隐语暗号相应完备，土匪在这些方面则简单得多，但不能认为没有。由于会党的反社会性，土匪活动可能成为会党日常生活的重要内容，随着加入会党的土匪越来越多，土匪也可以借会党的组织形态开展活动。“间有入会而不为匪者，断无为匪而不入会者”这种会、匪不分，民、匪莫辨的情况相当普遍。充分说明在特定历史时期，各种社会组织都在通过不断的渗透融合，打开生存空间。
民国年间，四川的匪患特别严重，土匪、袍哥、军阀相互勾结、相互影响，共同鱼肉百姓，是那一时期的三大毒瘤，所以民间有谚语日：“匪如梳，兵如篦，团防好比刀子剃”。四川的土匪是参加了袍哥组织的，但是参加了袍哥组织的人并不都是土匪。只有那些浑水袍哥才是职业土匪。