一九四六年五月三十日，国防最高委员会作出决议：裁撤军事委员会及一切军事机构，在行政院下设立国防部，掌管军政军令等事务。六月一日，国防部正式成立，白崇禧任国防部长，陈诚任参谋总长。他们至七月一日始宣誓就职。
回顾一九三七年八月上旬，白崇禧由广西去南京就副总参谋长职时，蒋介石曾于陵园官邸对在南京的黄埔学生明确地宣示：抗战期间，最高统帅如有三长两短，应由白崇禧做接棒人。信任之专，情见乎词。现在蒋介石似乎实践他的诺言了，白崇禧当了军事委员会结束后首任国防部长。揆之实际，并非如此。
白崇禧原来反对改组军事机构，他以为那时国共战争正在进行，和平并未实现。统帅部如要改组，费时失事，不能适应战机的紧迫需要。白崇禧建议由何应钦的中国陆军总司令部去指挥军事，以收驾轻就熟之效。但蒋介石不予采纳，且派何应钦去联合国当军事代表，实际上等于流放。所以如此，是让陈诚顺利接收军权。
国防部的设置，依照权能分开的原则，划分国防部长和参谋总长的权力。意指国防部长有“权”，而参谋总长则有“能”。实际上并非如此。《国防部组织纲要》第五条规定：“国防部置部长一人，特任，其职掌如左：一、审定参谋总长所提关于国防需要之军事预算及人员物资之计划，提请行政院决定，并监督其执行。二、审议总动员有关事项。”又第七条规定：“国防部置参谋总长一人，特任，掌理军事之一切计划准备及监督实施，并有关国防之各种建议。但关于军令事宜，秉承国民政府主席之命令；关于军政事宜经国防部长提请行政院审定之。”依此规定参谋总长可以避过国防部长，直接受命于国府主席，统率陆海空军。当然，陈诚也没有这个权力。长期以来，蒋介石把军队紧紧抓在自己手中，绝不假手于人。蒋介石更建立一套“官邸作战会报”制度，自己亲自指挥作战，这就是国民党军被迅速打败的一个主要因素。