光绪三十年，清廷第六次选派留日学生，当年，清廷令山西巡抚张曾敭考选送日本学习陆军生20名，其中3名由中央公费派送，17名由山西省财政支给。山西武备学堂经过筛选，阎锡山、姚以价、张维清三人获北京政府公费，由此可见阎锡山在校期间的表现确实不错。黄国梁、温寿泉、张瑜、乔煦、荣福桐、焦崇礼、王宝喜、金凤巢、吴友松、武滋荣、马开松、顾祥麟等17人，由山西省出资。阎锡山、张瑜、黄国梁这三个当初在太原“裕盛店”换帖结拜的弟兄，全都入选，并且这20名学生中，很大部分后来都成了山西同盟会的骨干和辛亥太原首义的中坚。第六批赴日留学生共 260余人，超过了前五批之总和，从这里不难看出，清政府在培养中高级军官上所下的工夫了。
然而，清政府对一批批留日学生总是放心不下，千叮咛万嘱咐要他们专心学习，循规蹈矩，将来报效朝廷。这是因为清政府虽然于1901年搞起了“维新新政”，但是，由于庚子之后，人民群众抗捐抗税，反赔款、反洋教的斗争此起彼伏，连续不断，呈日益兴起之势。与此同时，随着资产阶级的不断发展，一些革命的先行者为了救国救民，不但在思想上进行着积极的求索，而且还建立了反清的组织。早在1894年，孙中山便在檀香山成立了“兴中会”，提出了“振兴中华”的响亮口号。在入会誓词中，又将“驱除鞑虏，恢复中华，创立合众政府”作为奋斗目标。兴中会成立后，虽然举行的多次武装起义被残酷地镇压了下去，但其所形成的三民主义思想，及其革命举动，却在国内引起了很大震动，使不少人“对孙中山的革命事业有了更多的理解和共鸣”，“赢得了社会上相当一部分对资产阶级民主革命的同情和支持”（戴逸主编：《中国近代史通鉴》（辛亥革命卷），红旗出版社1997年7月版，第7—10页）。
正因为如此，所以，清政府对这第六批留日的学生，也同以往一样，要训示一番。阎锡山他们从太原动身之前，山西巡抚张曾敭、布政使、按察使、提学使、道台，所谓的五大宪（抚台、藩台、臬台、学台、道台），就先后对他们谆谆告诫：朝廷资送游学日本，应各专心学习，以图将来报效，万不可接近革命党人，听信邪说，误入歧途，并对孙中山妄加诋毁，等等。
山西的这批留学生，由候补知事吴春康带领，于7月先到北京集中，阎锡山等人在北京住了近一个月，其间，又有兵部侍郎姚锡光（时任山西新军第四十三协协统姚鸿发之父）的训示，及至全国各地学生会齐后，即在天津乘坐日本轮船前往日本。
这是阎锡山第一次走出国门，也是他一生中唯一的一次走出国门。
轮船乘风破浪向日本进发。阎锡山和几个同学在甲板上凭栏眺望，辽阔无垠的大海与碧蓝的天空仿佛连接在一起，海天一色。一群海鸥欢快地鸣叫着上下翻飞，追逐着船尾翻起的浪花。这对于从未见过大海的阎锡山而言，感到一切都是那样的陌生新鲜，又是那样地让人激动和惬意。更令阎锡山惊奇的是，船舱里的走廊、扶梯和房间里都是那样的干净整洁，员工虽少，但个个尽职尽责，对乘客谦和有礼，服务十分周到。而他在国内所见到的则是“做甚的不务甚”，态度傲慢无礼，人多而事废，这一对比，使他初步看到了落后与先进的差距。到日本后，耳闻目睹的许多事情，在令阎锡山感到新奇的同时，又不由思索着久萦于心头的一个问题：日本何以国小而强？中国何以国大人多而弱？而当年日俄战争爆发后，战胜国日本又将其势力伸入中国东三省的事实，更使他感到无比愤慨，不但认为，康梁的保皇党根本救不了中国，而且进一步看到了清朝政府的腐败无能（《阎锡山年谱》（一），第15—16页）。虽然初入日本的阎锡山对清廷官员出发前对他们的训诫，仍言犹在耳，但是，这却不失为阎锡山对清政府产生不满的反映，也是他与之发生离心离德的开端。阎锡山的这些思想，并非阎锡山一人所有，可以说是当时许多忧国忧民的热血青年的共同心声。而这种初步的反叛，既是中国腐败黑暗的严峻社会现实使然，也是他们在日本受各种新事物强烈刺激的结果，是新与旧、先进与落后两种事物碰撞后，在其思想上迸发出的火花。
阎锡山这批留学生到日本后，像前五批学生一样，也是先在东京振武学校学习。振武学校是日本士官预备学校，它原来的校名叫成城中学，由于自1903年（明治三十六年）专办训练中国陆军学生，所以改名为振武学校。在这里，中国留学生要学习3年（其中包括1年实习），毕业后，才能正式进入日本陆军士官学校。阎锡山入振武学校后，主要学习日语和近代科学知识。1906年秋季入日本弘前步兵第三十一联队实习1年，1907年进入日本陆军士官学校第六期学习。1909年毕业返国。
对于阎锡山来说，从1904年到1909年，这五年的留学生活，确实非同一般，可以说是他人生道路上的一次重大转折。就在阎锡山进入东京振武学校的第二年，即1905年8月，由法国返抵日本的孙中山，在东京成立了“中国同盟会”，先后参加同盟会的有中国17省的留学生及华侨数百人。在此前后，孙中山曾多次在中国留学生和华侨的集会上发表演讲。针对康、梁保皇派的种种谬论，进行了尖锐而深刻的批驳。阎锡山曾听过孙中山的几次演讲，对其中的许多道理，他都深以为然。他在多年后忆及此事时，曾说过：“孙先生指出中国积弱之原因，在中国倾于保守，故让西人独步。中国从前之不变，因人皆不知改革之幸福，以为我中国人文明极盛，如斯已足”。“由此可以说明政治不可失时，若不能适合时代的需要，一定要为时代所抛弃。清未不到百年之间，中国与世界交通，事事相形见拙，国势日衰，成为列强瓜分之对象。应改革而不改革，能进步而不进步，使爱国之士，咸认满清政府为亡国的因素，救国的障碍，以致国人的目标，全集中于推翻满清政府，即其所培养之人才，皆变成推倒其自身之力量”（《阎锡山年谱》（一），第18—19页）。正是有了这样的思想基础，所以，在当年的10月，经谷思慎（字仲言，山西神池县人，山西省最早的同盟会员）介绍，阎锡山由同盟会的重要领袖黄兴主盟，参加了同盟会，当场宣誓表示奉行同盟会“驱除鞑虏，恢复中华，创立民国，平均地权”的纲领。之后不久，阎锡山又介绍康佩珩、赵之成、徐翰文和赵戴文这4个五台老乡参加了同盟会。
加入同盟会的阎锡山，多次前往居住于东京的孙中山寓所，拜谒请教孙中山。他对孙中山要以三民主义救中国，认为将“政治革命”同“民族革命”并行，实行民族革命、政治革命之时须同时改革社会经济形态的主张，极表赞同。其中，他还聆听了孙中山有关“平均地权”的解说，并与孙中山就此问题进行了探索。阎锡山后来回忆说：加盟誓言第四句“平均地权”，我当时对其意义不甚了解，曾向孙总理请教。总理说：“平均地权的‘权’字，不是说量，也不是说质，既非指地亩多少，也非指地质好坏，是说一种时效价值”。但自己还不明白，于是孙中山给他举例说：“如纽约原来是大沙滩，可说不值一钱，现在繁华起来，一方尺即值银七百两”。他问美国也是用银子，论两数？孙中山说：“不是，美国的货币叫‘套如’（DOLLAR）。一套如差不多等于一两银子，我说七百套如，怕不懂得，所以我说七百两银子”。阎问“所谓‘平均地权’，就是平这原来不值一文而涨到七百两的地价么？”孙中山笑了笑说：“你对了”。又告诉阎锡山说：“原来一文不值，今天涨到七百两，不是人力所为，也不是进化所予，纯是国家经营所提高，所以不应让地主所有，应归国家所有”，“因此，我认为应该实行平均地权”。无论商埠码头，普通都市，“凡有此种事实者，均应如此”，阎问：“耕作地是否亦应如此？”孙中山回答说：“耕作地，因国家经营，提高地价之事实甚少”，阎锡山便问：“因人力改良而增涨之地价，可否归国家所有？”孙中山答曰：“不可。因人力改良者，应归出力者享有”。这次谈话，持续了约半个小时，其间，孙中山曾不下十次地问阎锡山“你明白了吗”？“孙中山的谆谆诲人，亲切态度，至今述之，尤觉敬佩不置”（《阎锡山年谱》（一），第19—20页）。
孙中山先生的三民主义主张和平均地权的理论，对阎锡山产生了深刻的影响，使他从思想上逐渐清楚了中国落后挨打的原因所在，以及推翻清朝反动统治，改造旧中国，建设新中国的方向和途径。如果说，他先前还只是凭着一腔热情在组织上加入了革命党的话，那么，经过孙中山这些革命理论的启发教育，他已经在思想上也加入了革命党了。
正因为如此，所以，他能够服从同盟会的指挥，积极完成组织交给自己的任务。1906年暑期，他请假回国探亲，赵戴文与之同行。临出发前，同盟会总部指示他返晋后，秘密考察雁门关和五台山一带形势，并拟在五台山建立革命根据地。鉴于过去留日学生中的革命党人返国后，屡遭清廷杀害，为防不测，阎锡山与赵戴文二人还各携带了一枚小型炸弹。这样，过海关时就十分危险。船抵上海，在过海关时，阎锡山让赵戴文把那枚炸弹交给他，并且在入关检查时，阎锡山让赵戴文走在前面，他自己则跟随其后。赵戴文不解，争着要阎锡山前行，自己断后，阎锡山则对他说，我站在后面，畏畏缩缩，好象害怕检查，容易让人注意，一旦被检查出来，我一个人顶着。果如阎锡山所料，海关检查，对走在前面的人检查时就不像对后面的人那样仔细，结果二人得以顺利过关。过关后，阎锡山有些自负地对赵戴文说：“事到危难宜放胆，愈危难，愈不可畏缩，畏缩反易被人生疑”。这话里虽然有些自褒的味道，却也反映了阎锡山的胆识。
阎锡山返乡后，见到了阔别两年的父母和祖父以及妻子。在河边村的五天时间里，利用种种机会，向亲友和同学揭露清政府的腐朽无能和卖国行为。并与赵戴文到五台县城、五台山上，向同学、教师以及僧人宣传革命。在家乡前后呆了三个月，于秋季返回日本。对阎锡山而言，这次返晋，确实经受了一次锻炼，并且通过接触社会，更感到发动革命，绝非易事，从而使他认识到进行革命必须经过长期的准备和各方面的努力。
1907年秋，阎锡山经过在弘前步兵三十一联队一年的实习，结业后转入东京士官学校。与其同时转入该校的还有黄国梁、张瑜、乔煦、姚以价，他们被分配在步兵科；温寿泉转入后分配在炮兵科。士官学校不像振武学堂那样，是专为中国留学生所设，而是日中两国学生同校。但中国学生不与日本学生同住宿舍，并且有些秘密课程，也不愿中国学生学得，上课亦多各在一堂。可见列强对落后国家总是歧视的，他们对落后国家的帮助，也总是有所保留的。阎锡山这六期士官生们，其队长是冈村宁茨，教官为板垣征四郎，土肥原贤二是阎锡山的同学。阎锡山与他们的关系都甚为密切，而这些人，后来都成为侵华日军的首脑。
在士官学校，阎锡山加入了“铁血丈夫团”。孙中山和同盟会总部所以要建立这样一个纯军事干部组织，是因为留日学军事的学生回国后将成为清政府新军的骨干，如果同盟会能将一批同盟会中的积极分子发展到这个组织里，那么，对于将来掌握新军，领导革命起义，则会发挥巨大的作用。从这个组织的名称上来看，铁与血是战争与革命的象征，而所谓“丈夫”即取自孟子的“富贵不能淫，贫贱不能移，威武不能曲，此谓之大丈夫”。因而建立这样一个组织是有其深刻的内涵和重要的战略意义的。“铁血丈夫团”团员共有28人，山西籍的有4人，即阎锡山、温寿泉、张瑜、乔煦；湖南的有程潜、仇亮；湖北的有孔庚、朱绶光、何成浚、李书城；云南的有唐继尧、罗佩全；江西的有李烈钧；陕西的有张凤翙、张益谦；四川的有尹昌衡；浙江的有黄郛；河南的有杨增蔚；直隶的有何子奇。这些人毕业返国后，在运动新军，发动革命，组织辛亥起义中，都建立了不朽的功勋。
阎锡山留学日本期间，在加入革命组织，不断吸取革命道理的同时，还刻苦学习，深入观察日本社会现实。
经过在振武学校两年的学习和在弘前步兵第三十一联队一年的实习，阎锡山对现代军事知识和军事理论已经有了相当的掌握。他在广泛涉猎与潜心研究兵书的基础上，对于将来革命军事的如何进行，给予了更多的关注。为此，还在实习期间，他就曾编写了两本军事教义，一本是关于改善军队编制的《革命军操典》，一本是侧重夜战的《革命军战法》。转入士官学校后，闲暇之时，则常与李烈钧、唐继尧、朱绶光、李根源等人，分析时事，研究军事，探讨革命。对于学校的课程则不甚在意，由于对数学一科学习的放松，有时考试仅得及格分数。
阎锡山对于自己写的这两本教义，自认为很有价值，并想将之付诸实施。正好1907年春，广东钦州三那地方民众发起了声势浩大的抗捐抗税运动。在孙中山的支持下，群众队伍曾一度攻入钦州城。阎锡山从上海报纸刊登的消息中得知此事后，非常兴奋，很想回国参加，将其已经脱稿的《革命军战法》借机付诸实践。为此，他向联队正式提出退学申请，由于联队没有批准，再加上从报刊上得到消息说钦州已被清军收复，因而，他只好继续学习。并且他在后来论及此事时，觉得自己“当时的举措未免冲动”（《山西文史精选》（1）——《晋省辛亥革命亲历记》第36页）。此举虽未成行，但从中却可以看出，阎锡山对革命党是忠诚的，对革命是热衷的，同时，也反映了他是重视理论与实践的结合的。他这种注重实践、注重实际的思想，对他后来的活动发生了很大影响。