宋太祖以武起家，深知军队内部的弊端，因此采用中庸之术，以文驭武，由外行管理内行，这也不失为一招妙棋。秦、汉、唐以来，兵权或分或专，未能形成国家制度。五代后汉隐帝初立时，大臣争权，国家混乱，汉主刘承以杨邻执政治，郭威主征战，史弘肇典宿卫，王章掌财赋，才使国家略微安定下来。当时郭威为枢密院枢密使，主管国家军事机密、边防等。鉴于历史上的各朝兵权问题，宋太祖将军权分于枢密院，由枢密院掌兵籍、虎符(行军的符信)，握发兵之权。每个人的生命、能力都是有限的，纵然他是一个聪慧绝伦的君王，也不可能万事操心。宋太祖亲抓军权，并不是说军中一应事务都由他亲自盖章，枢密使与宰相的地位相当，不受宰相节制，而直接听命于皇帝，实际上同皇帝亲自掌握一样。《孙子·军争篇》中说：“凡用兵之法，将受命于君，合军聚众。”《孙子·九变篇》中也说：“凡用兵之法，将受命于君，合军聚众”，孙子在两篇兵法上都用了一样的话，强调“将受命于君”，很明显地说出国君是军队的掌握者，军队的将帅只能听命于国君。有鉴于此，宋太祖对分兵权于枢密院是很小心的。因为既然不能事无巨细地把军事事务完全由自己来掌握，就将它交于枢密院及枢密使代管，这其实是把兵权分到国家其他机构中，是一种很危险的做法。这种做法在历史上也有明鉴，唐朝末朝，枢密院虽是宦官任职，但有兵权，枢密使参与朝政，开始与宰相分权。五代时期，枢密使虽改用士人，但都是天子心腹之臣，参与军国大事，权重于宰相，宰相自然也就手握禁旅，又有调兵之权，成为国患。五代时期的主要辅臣敬翔、郭崇韬、安重诲、桑维翰、王朴等都担任过枢密使，这些人在朝中的地位举足轻重。所以，宋太祖虽分兵权于枢密院，但也从各方面对枢密院采取了有效的制约措施。措施之一是：枢密院只管兵政，即掌管全国兵籍、武官选授、军队调发更戍及兵符颁降，只有发兵之权；而三个军事单位则具体负责统制训练、番卫戍守、迁补赏罚等军事事务，只是手中有兵。这样就使两个机构互相制约：枢密院有发兵之权却手中无兵，三个军事单位有兵却无发兵之权。只有两个机构结合才可能进行兵变，这却是有难度的。措施之二是：起用文臣担任枢密使。宋朝刚建立，宋太祖即任命文臣赵普为枢密直学士，他当年八月升为枢密副使，建隆四年(公元963年)十月，出任枢密使。从此，枢密使由文人掌权。文人掌兵权，操纵兵权搞兵变的可能性就很小了。宋太祖以精明的手法使兵权分散，既不削弱国家的兵力，又能杜绝兵变。所以，宋太祖后来在统一诸国的过程中，既有强大的兵力发动战争，而又没发生兵变。由他创建的这种军事体制，对后世影响很大。到了宋神宗时期，有人曾建议将枢密院的兵权归还于军事单位，宋神宗坚决驳斥说：“祖宗不以兵柄归有司，故专命官统之，乃是为了‘互相维制’，这种祖宗遗意万万不可改变。”宋太祖对禁军大刀阔斧进行人事调整的意义，在于它带来了禁军体制上的变化。这一变化彻底结束了自唐末以来军人左右政权的弊端。由于五个最高军职的长期空缺，使得禁军只剩下殿前司的殿前都指挥使、殿前都虞侯，侍卫司的马军都指挥使、步军都指挥使这四个职位。加上这四个相对来说的最高级职务都是由新人来充任，他们的名望和资历都比较浅，不但使皇帝容易驾驭，而且也不会构成大患。由此不难看出，这一人事调整，对巩固国家政权起了重大作用。从历史上来看，宋太祖对禁军所做的体制变革，使宋朝的军政体制颇似于周朝。西周时的军队完全掌握在周王手里，军队由周王调动和指挥。这样做是由于周王一心要建立一个巩固的政权，而在他所处的那个时代要想达到这一目的，就必须掌握军队，并且军队也必须由他亲自调动和指挥。实现这一切的条件是：皇帝和军队的关系必须车辅相依，无间无隙。军队既然是国家之辅，辅周则国必强，辅隙则国必弱。宋太祖深谙其道。
皇帝最担心的是什么，答案只有一个——皇权。通过兵变上台的宋太祖深谙其理，五代时“你方唱罢我登场”的乱世给他留下了深刻的印象，那些惨痛的教训历历在目。因此当他登上皇位后的首要任务就是抓住兵权不放松。对兵权的分配管理制度，北宋范祖禹有如下评述：“祖宗制兵之法，天下之兵，本于枢密，有发兵之权而无握兵之重；京师之兵，总于三帅，有握兵之重而无发兵之权。上下相维，此所以百三十余年无兵变也。”南宋李纲也有类似论断：“祖宗之时，枢密掌兵籍、虎符；三衙管诸军，率臣主兵柄，各有分守，所以维持军政，万世不易之法。”精于治军
宋太祖行伍出身，他不仅精于治军，而且精于兵法。《孙子兵法》中说：“微乎微乎，至于无形，神乎神乎，至于无声，故能为敌之司命。”讲的是在战争中运用隐形隐声、隐蔽方法制敌。这种隐形隐声的兵法，宋太祖甚为擅长运用。运用这样的兵法，使他不仅在战争中屡战屡胜，更精妙的是他把这种兵法灵活运用于整治军队中，既保证了军队不受任何力量的左右，又保持了军队的强大。宋太祖治军方法之一是在发动战争时，出征前临时择帅，而且不用握有重兵的三个国家军事单位的长官。例如在对南唐的战争，就用宣徽南院使兼领义成军节度使曹彬为主帅；而在对后蜀的战争中，也是临时择用忠武节度使王全彬为主帅，枢密副使王仁赡为都监，而三军之一的侍卫步军都指挥使崔彦进只是副帅。再早一点，在对北汉的进攻中，任命昭义节度使李继勋为主帅，侍卫步军都指挥使党进为副帅。这种临时择帅的制兵之道再次起到了分散兵权的作用，使握兵之权、拥兵之权和统兵之权三权分离。战争结束以后，帅回原任，将还本职，兵归所部。这种制兵之道使将帅彼此相制约而不敢轻举妄动，因而有效地维护了国家政权，稳固了专制独裁的统治。这种临战择帅的制兵之道可以说是宋太祖的独创，是宋朝以前历朝历代所未曾见过的。汉高祖刘邦和项羽打了长达4年的楚汉战争，才建立了汉朝政权，由于跟随刘邦的大将战后一一封王，他们各自拥兵自重，怀有异志，图逆谋反，致使刘邦在建国之后不得不再进行平叛战争。魏晋南北朝时期诸多的王朝都是因兵权不能掌握在皇帝手中而灭亡的。唐朝唐玄宗因为承袭祖宗的制兵之道，藩镇拥兵自重，从而爆发了“安史之乱”，使唐朝从强盛走向了衰落。五代时期的各王朝之所以短命，大多也是因为兵权未集中在朝廷手中，才使王朝更迭频繁。宋太祖以临时起用未握重兵的官员，来确定战争的最高指挥员，这种制约兵权的措施比起历朝历代的皇帝显得要精明许多。治军方法体现在合情合理、安全无患的兵力部署上。在封建专制独裁制度中，皇帝是禁军的最高统帅，禁军实质上都是天子的家丁。所以说，“禁军是天子之卫兵，以守京师，以备征戍”。但是禁军有兵力20万，皇帝又是绝对的统帅，怎样部署这20万大军，不能不说是个大问题。宋太祖治军方法之二就是他的兵力布置。宋太祖将20万禁军的一半驻守京城，将另一半禁军分屯各地。而在京城的一半，还要按照互相制约的原则在京畿地区划分出三道防线：皇城之内，有诸班之兵；京城之内，有禁卫之兵，京师之外，列营犹数十里。此外还需要把禁军的精锐部队——殿前司所属的兵力部署在京城，用以制衡各地的其他军力。对此他说：“虽京师有警，皇城之内已有精兵数万。”主要是靠精兵来拱卫京师。而侍卫马军和侍卫步军则驻屯各地，这两支部队的兵力大体和殿前部队相当，但能调动地方上的厢兵、番兵、乡兵等部队，兵力远远超过京师部队，万一祸生肘腋，各地兵力联合起来，也可抑制京城之变。这种部署兵力的方法，自然可使京内和京外的兵力互相制约。宋太祖对部署兵力之事设置得如此周密，在历史上的帝王中是很少见的。
宋太祖治军方法之三体现在他的轮流分遣禁军戍守诸道，使军队无固定防地，统兵将帅则长驻防地，不随士兵轮换，即“更戍法”制度的确立。这种方法意在对禁军进行自给自足的经济性移屯，将禁军移驻粮草丰足的地区，并许携家属以往。使其出戍边或诸州更戍。对禁军进行“更戍法”，利用士卒的频繁调动，造成“兵不识将，将不专兵”的局面，这样既防范了军事将领依靠军队危害中央集权，同时还能推行灾荒年景招募饥民当兵的募兵制度，用于缓和人民和官吏间的矛盾。“更戍法”可以说是宋太祖别出心裁的治军之道，这种将天下营兵纵横交互，移换屯驻，不使其常在一处，目的就在于使其不能有异志，发生兵变。而士卒却能均劳逸，知艰难，识战斗，习山川。并且外戍之日多，在营之日少，而衣食易足。微妙而看不出形迹，神奇而听不见声息，这就是宋太祖的治兵之道，它合情合理，安全无患。宋太祖治军方法之四就是他的严厉军法。宋太祖治军，厉行军法，严格管理，这是他在战争中能够百战百胜的法宝。春秋时期的那个宋朝，当时有个名叫子鱼的人论兵说：“明耻教战，求杀敌也，伤未及死，如何勿重？若受重伤，则如勿伤；爱其二毛，则如服焉！三军以利用也，金鼓以声气也，利而用之，阻隘可也，声盛致志，鼓可也。”子鱼指出在敌我的战斗中，没有道德，只能以杀死对方为目的。后人根据子鱼论兵，制定了严厉的军法。早在还是后周将领之时，宋太祖就严于执行军法。在六合镇那场战争中，士卒有不致力者，他明为督战，暗里却将不致力的士卒头上的皮笠用剑挑破。战斗结束后，遍阅士卒皮笠，查出有剑迹的数十人，都按军法斩杀。于是在以后的战斗中，他所统领的士兵没有不尽死力拼杀的，所以他的部队战斗力之强，在当时就名震遐迩。《孙子兵法》中说：“卒未亲附而罚之，则不服，不服则难用也。卒已亲附而罚不行，则不可用也。故令之以文，齐之以武，是谓必取。令素行以教其民，则民服；令不素行以教其民，则民不服。令素行者，与众相得也。”这里所谓令之以文，齐之以武，就是要制定军法军纪，行成文件，明告士卒，用制定的军法军纪约束士卒。如果士卒违法违纪，就要以军法军纪来执行刑罚。五代以来，军队的纪律一直涣散不堪，烧杀抢劫之事时有发生，被百姓们称之为“兵祸”。宋太祖自从黄袍加身之后，为了稳固自己的统治，让百姓安居乐业，即决心严整军纪，使“兵祸”不再为祸百姓、为祸社会。陈桥兵变时，他就对部队约法三章，其中包括入城后不得劫掠百姓，侮辱官员。宋太祖做了皇帝以后，在治兵整军方面，要求军队须有严格的纪律，他要革除五代以来那种士卒骄横，侵逼主帅，下凌上替的恶习，于是亲自制定了军法：“诸军厢都指挥使至长行，一阶一级全归伏事之议，虽非本辖，但临时差遣管辖亦是。敢有违纪者，上军当行处斩。下军及厢军徒三年，下军配千里，厢军配五百里。即因应对举止，偶致违忤，各减二等，上军配五百里，死罪，会降者配，准此。下军及厢军配邻州，以上禁军应酬者配本城。诸事不干己辄论告者，杖一百，进状，徒二年，并令众三日。诸军论告本辖人，仍降配，所告之事务不得受理，告二事以上听理，应告之事，其不干己之罪仍坐。诸军告本辖人再犯，馀三犯，各情重者，徒二年，配邻州本城。”这些条文，意在明告军队要绝对服从上级的命令，听从上级的指挥，否则将按军法处置。
对战时的纪律，宋太祖要求得更加严格。他规定：“临阵非主将命，辄离队先入者，斩；贼军去阵尚远，弓弩乱射者，斩；临阵闻鼓声，合发弓弩而不发，或发而箭不尽者，斩；临阵弓弩已注箭而四顾者，斩。”这是军纪军法的几条，这些体现出宋太祖对治军的严格和严厉。为了在战争中修明政治，宋太祖强调：战争是为解救一方民众的疾苦才发动的，所以制定了这些极其严厉的军法条例，要求严格执行。《续资治通鉴长编》中有这样一段记载：有一天，宋太祖与大臣李承进议论国事。因为李承进曾在后唐时期担任过官职，所以宋太祖问他说：“后唐庄宗以英武平定中原，为什么立国不久就亡国了呢？”李承进回答：“唐庄宗喜欢田猎，而且常常纵容将士。每次出猎至近郊，禁兵卫卒一定捉住马首，名为请求，实则要挟说：‘我们小辈寒冷，望您接济。’于是，庄宗即按照他们的愿望，全部赏赐给他们。像这样的事情常有发生，导致禁令法律失效，以致造成混乱。大概威令不行，赏赐、赠送没有节制，结果很快就亡国了。”宋太祖听后非常感慨，说：“二十年夹河战争，取得天下，不能用军法约束这些违法乱纪的人，纵容他们没完没了且贪得无厌的请求，用这样的人临御天下，实在是儿戏。我现在抚养士卒，本应对爵位、赏赐不加吝啬，但如果他们违犯了法令，我唯有以法律来制裁他们。而且行法如秤，不能为人低昂，厚此薄彼。”对士兵的严格控制，宋太祖早在登基之前就已经把它应用于实践中了。当兵打仗，其任务就是听从号令、奋勇杀敌，应当勇猛直前，用鲜血和生命来换取胜利。宋太祖在平时是以宽厚仁慈赢得士兵们的尊重的，但在战场上，他又是一副铁面无私、严厉的面孔，对于那些贪生怕死、临阵脱逃的将士，他对他们也是严惩不贷，绝不手软的。在奉命坚守扬州时，敌众我寡，情势危急。将士们面对来势凶猛之敌，信心不足，企图放弃扬州后撤。宋太祖率援军赶到后，为稳住军心，立刻宣布军纪：“扬州周军，如果胆敢后退，凡是经过六合的，将被斩断双脚。”扬州守军得知这一消息后，知道宋太祖说一不二的脾气，再也不敢有后退之想，他们立志守城，结果大败前来攻城的南唐军，并将其主帅生擒。由上例不难看出，有法必依，立法必行，是宋太祖治军的显著特点。他对中下级军官和士卒中违军法军纪者，坚持严厉执行军法，对他们的惩罚绝不手软。有一次朝廷举行郊祀典礼，仪式结束后，按照一贯的做法，要进行赏赐。在这次祭祀活动中，宋太祖指定御马直一军为卫队，因而对御马直军的每个军卒都增赏五千钱。而由后蜀亲兵中挑选组建的但川班内殿直军士按例该不着赏赐。但川兵的骄横习气不改，纷纷击登闻鼓，要求同御马直一样获得赏赐，吵吵嚷嚷。宋太祖遂派中使对川班将士说：“朕之所与，即为恩泽，又安有例哉！”讲明赏赐不是滥用的，有功者才能得到。川班的一些将士听而不闻，仍有闹事者。于是，宋太祖申明军纪，将闹事的川班内殿直军中的40人全部斩杀，将其余的闹事者流配许州，并将川班军官决杖并予以降职。没有纪律的军队是打不了胜仗的，对犯了军法的兵将，不能严厉惩罚，军队就没有战斗力。宋太祖治军，厉行兵法，对违法者严惩不贷，故而能使军队强盛而百战百胜。
宰相赵普