接着日耳曼人又夺取了设在他们土地上的罗马据点，把驻屯军赶过莱茵河。罗马帝国在莱茵河以东地区的统治被推翻。莱茵多瑙河上的国境墙堡垒和城市，也就成为后来德意志兰最早的城市。公元9年的日耳曼人的胜利，决定了后来的德意志兰没有像高卢那样被罗马帝国吞并和罗马化，决定了罗马帝国的势力范围和边界仍然在莱茵河，不是在易北河，可以说条顿堡森林的会战使日耳曼尼亚永远摆脱罗马而取得了独立。
二、日耳曼部族民大迁徙
从公元四世纪中叶开始，日耳曼人掀起新一轮的迁徙，即突破“国境墙”向罗马帝国全面武装突进，引起整个中欧、西欧、南欧、北非的大变乱。这场被称为“部族民大迁徙”剧变的主要推动力，据说发端于中国北部：匈奴人在汉王朝打击下，开始西迁中亚一带，公元四世纪中叶，一支匈奴人又沿黑海北岸向西迁移，突入罗马帝国所属地区，引起多米诺骨牌式的民族迁徙浪潮。其实要推测日耳曼部落或部族为什么要南迁西进，而不是开发他们自己的土地或向广阔无际、人烟稀疏的东部地区扩展，是不容易的。希望掠夺战利品，渴求冒险活动，以及匈奴人的压迫，可能都是促进因素，而温暖气候的诱惑和更加先进文明的吸引，也是主要动机。如果我们把日耳曼人的部族民大迁徙看成是古代游牧世界诸部落向农耕世界冲击全过程中的一个“片段”，迁徙问题就看得更清楚。这个过程起始于公元前3000年代晚期，延续到14世纪。亚欧大陆古代文明地区先后受到北方游牧部落诸如赫梯人、迦喜特人、喜克索斯人、匈奴人、突厥人、哒人、日耳曼人、斯拉夫人、蒙古人的冲击。就日耳曼人而言，三世纪起由于生产发展，族民增加，部落联盟形成，对土地的需要激增，对文明的向往日长，而他们要侵占的对象罗马帝国恰恰又处于政治腐败，社会矛盾激化，内乱频仍，无力抵御外敌之时，日耳曼人才得以进行大规模的迁徙。
日耳曼人入侵罗马帝国始于公元三世纪。这时的日耳曼人开始结成部族联盟或巨大的部落联盟，重要的有东哥特人、西哥特人、汪达尔人、勃艮第人、法兰克人、阿勒曼尼人、盎格鲁人、萨克森人、伦巴德人等。他们在成功地摧毁罗马帝国在莱茵河以东和多瑙河以北地区的统治后，一部分法兰克人甚至移居到下莱茵河左岸地区，阿勒曼尼人移居到莱茵河、美茵河和多瑙河之间的前罗马人地区。衰弱的罗马帝国不得不允许整族的日耳曼人以“同盟者”身份进入帝国境内，“以蛮制蛮”。日耳曼部落的首领们则通过掠夺战争成为巨富，掠得的战俘成为他们地产上的奴隶。从四世纪中叶起开始了所谓“民族”大迁移时代，参加这次大迁移的除日耳曼人外，还有阿兰人、匈奴人、萨尔马提人、斯拉夫人以及其他“民族”部落。德意志人把这次日耳曼人的大迁徙称为“部族民迁徙”（Vlkerwanderung），意指参加迁徙的日耳曼各部族或部落今后将构成欧洲不同的现代民族。
公元375年，匈奴人在黑海摧毁了日耳曼哥特人部落联盟的抵抗，引起一直处于非固定状态的日耳曼各部落联盟雪崩似的迁移。东哥特人归附匈奴人，西哥特人南渡多瑙河，进入罗马帝国领土。公元378年，西哥特人在移民和奴隶支持下在亚德里亚诺堡打败罗马军队，向意大利推进。
公元410年占领并破坏了罗马，419年在南高卢和北西班牙建立了第一个“蛮族”国家西哥特王国（后被阿拉伯人征服）。五世纪初，继西哥特人进攻罗马，汪达尔人和苏维汇人也相继渡过莱茵河入侵罗马帝国。苏维汇人409年进入西班牙，受西哥特人的挤压，411年在半岛西北部建立苏维汇王国。汪达尔人则穿过高卢和西班牙到达北非，439年攻克迦太基城，建立汪达尔王国（后被拜占廷所灭）。公元451年匈奴王阿提拉远征高卢，西罗马大将阿埃齐联合法兰克人、西哥特人和勃艮第人在特罗伊附近打败阿提拉，阻止匈奴人对西欧的侵袭，452年匈奴人大掠罗马后回撤。但法兰克人、阿勒曼尼人和勃艮第人趁机消灭了罗马帝国在莱茵河以西和多瑙河以南的一些省份的统治。约公元457年勃艮第人以里昂为中心建立勃艮第王国（后被法兰克人所征服）。公元476年，西罗马帝国被灭亡。法兰克人在军事领袖克洛维（Chlodwig，约466—约511）统率下于486年在高卢北部建立法兰克王国。公元493年东哥特人在北部意大利立国（后被拜占廷所灭）。伦巴德人乘机入侵，于568年建立伦巴德王国，为日耳曼人部族民迁徙过程中最后建立的王国。另有盎格鲁人、萨克森人和朱特人渡海进入不列颠，与早来此处的凯尔特人经过整整一个半世纪的战争，建立了七个小王国（英国历史上的“七国时代”）。
那么，在那块被塔西陀称为“谁都不向往的鬼地方”、惨淡荒凉的大日耳曼尼亚，在这场部族民大迁徙中发生了什么变化呢？首先是易北河以东的日耳曼部落西迁以后，阿兰人（属伊朗高加索语族）和斯拉夫人就立即跟进，阿兰人甚至随汪达尔人转战西欧和北非，而斯拉夫人则力图在易北河以东地区立下脚跟。其次是在莱茵河、美茵河和多瑙河之间这块与“国界墙”相邻的日耳曼人最重要的移民地，现在是由阿勒曼尼人诸部落和部族在活动，并同西邻的法兰克人进行争夺。阿勒曼尼人中许多部族是以往条顿人部落的后代，他们没有在境外建立自己的王国，而是当地化（包括地方语言），逐渐形成诸如阿尔萨斯人、士瓦本人、巴伐利亚人等，构成后来的南德居民；最后也是最“原始”的地区，即在美茵河线“断层”以北，莱茵河与易北河之间的广袤土地上，外迁的也是少数，即使是萨克森人，也还有许多部族留在当地。与当地融合化和地方语言化的进程相当迅速，逐渐形成诸如弗里斯人、萨克森人、法兰克尼亚人、图林根人等，构成后来的中德和北德居民。可以这样说，部族民大迁徙使一些日耳曼部落或部族融合成巨大的部落联盟，它与剩余的凯尔特罗马居民和斯拉夫人构成后来德意志人或德意志民族的种族基础。
公元三世纪到公元六世纪的日耳曼部族民大迁徙，与其他游牧“民族”进入农耕世界一样，一方面给被征服地区带来掠夺和破坏，另一方面在他们定居下来后，受当地生产力水平的影响，过渡到农耕，扩大了农耕经济的领域，同时也促进了不同地区的民族文化交流和民族融合。日耳曼人给了西罗马奴隶制帝国的灭亡以最后的一击，而自己的社会制度也在这一撞击中解体。
三、法兰克王国的兴衰
对古代德意志史具有特殊意义的是法兰克人的发展。法兰克人也是由一些日耳曼部落残余和凯尔特人部落残余以及一些罗马居民构成的部落联盟发展而来的。法兰克人在五世纪中叶最后分为两个主要集团：里普利安法兰克人和萨利克法兰克人。486年萨利克法兰克人的军事领袖克洛维在苏瓦松一役击败残存在高卢北部的罗马军队，占领了那时就很重要的城市巴黎在内的今天的法国北部和整个莱茵兰，建立了法兰克王国。六世纪最初十年，这位出身于墨洛温家族的克洛维，消灭了其他法兰克部落首领成为统一的法兰克人的唯一君主。东罗马皇帝颁布敕令，封他为执政官。克洛维却在都尔的圣马丁教堂戴上王冠，不久正式定都巴黎，开始了以其祖父墨洛温命名的墨洛温王朝。到六世纪中，克洛维和他的后继者占领了几乎整个高卢，并征服了莱茵河以东广大地区，包括阿勒曼尼人、巴伐利亚人和图林根人地区，奠定了法兰克王国的地域基础。
克洛维时代值得一提的两件大事，一件是他信奉了基督教中的天主教派，而且强迫法兰克人皈依天主教，以此表明他是西罗马帝国皇帝的真正继承者和西方基督教世界精神的保护人；第二件是把新掠得的王室地产大量赏赐给他的私人扈从，以及馈赠给罗马天主教会。后果是十分严重的：不仅在欧洲的土地上出现一种新的封建制度的萌芽，而且罗马天主教会成为法兰克国家最大的领主，后来还发展成为封建制度的国际中心。
墨洛温家族中经常父子相残，兄弟阋墙，争夺遗产、土地和财富，随意地时而缔约，时而毁约。克洛维死后，法兰克国家在他的四个儿子中间瓜分，他们分别称为梅斯王，奥尔良王，巴黎王和苏瓦松王。这种瓜分制度一直保持到九世纪。他们不是采用罗马法确立的世袭继承原则，也不尊重部族民大会选举的古老的日耳曼习俗，而是依据一种起源于氏族制度的亲属所有制权利观念，这种权利观念是国家由国王的儿子们以具有平等权利的君主形式进行统治，而王权的统一仍然得到保持。这种情况我们可以从成书于六世纪的法兰克人习惯法典《萨利克法典》中得见。但是法兰克国家现在的经济基础是一种大地产制，王权通过赠送和授予土地而使服役贵族依附于自己，并使官僚贵族（氏族贵族转变而来）支持自己的封赐制度。内在的离心倾向不断加强。贵族阶层中产生的伯爵（最初是地方行政长官）、公爵（最初是指挥军队出征者）和国王使节们，特别是诸王、王族之间争权夺利的明争暗斗日益加剧。由诸王共治国家的制度很快就造成混乱。苏瓦松王一度重新统一法兰克王国，并处死一个反叛的儿子，但他死后他的三个儿子又把国家瓜分了，此后三王之间不断进行战争。混战的结果是贵族大地产的增长，王权开始没落。七世纪初国王克洛塔尔二世在贵族支持下名义上恢复了国家的统一，但克洛塔尔为此不得不容忍贵族分享统治权。他在614年巴黎高级宗教会议上以敕令形式接受教俗贵族的要求：国王只能任命当地的贵族为伯爵，放弃对继承事务的干预；扩大教会的司法权，承认现存的特权。639年墨洛温王朝最后一个重要国王达高贝特一世去世后，法兰克国家内部充满宫相、贵族和分国之间的谋杀斗争，导致完全的无政府状态。从法兰克领土的多次瓜分中，逐渐形成了三块主要的版图：以巴黎和苏瓦松一带为中心的纽斯特里亚（Neosterriki）；包括梅斯和兰斯周围地区的奥斯特里亚（Osterriki）；以勃艮第为中心包括普罗旺斯在内的勃艮第。后来奥斯特里亚的中心东移，而勃艮第的中心则向东南移动。
为争夺继承权而进行的无休无止的争斗，导致了墨洛温家族的垮台。一个新的家族，即奥斯特里亚的卡罗林家族，由于担任墨洛温王朝的宫相职务而发迹。“宫相”起源于管理罗马元老院庞大地产之官职，现成了王室家政的主要管理人。卡罗林家族在这个职位上学会了管理，并获得越来越大的权力。687年，在特尔特利附近的庇卡图战役中，奥斯特里亚宫相中年丕平（Pippinder Mittlere，640—714），在罗马主教的支持下战胜了纽斯特里亚的军队，卡罗林家族的权力基本上被所有法兰克人贵族所承认。但是正式废黜最后一位墨洛温国王，由其孙子青年丕平（Pippin derJüngere，714—768，741—751在宫相位，751—768在国王位）经涂油礼正式成为法兰克国王，则要到751年，此乃64年后的事了。
在这段时间里，卡罗林家族也开始把所有日耳曼部落和部族，特别是莱茵河以东的那些部落和部族重新归属于法兰克国家的努力。六世纪时只是松弛地依附于法兰克国家的图林根人，七世纪中叶后实际上是独立的公国，它的中心后来迁至美茵河畔的武尔茨堡；而处于法兰克国家的宗主权下的巴伐利亚公国，七世纪下半叶后越来越摆脱法兰克人的统治而推行独立的政策。巴伐利亚公爵自己任命伯爵，掌握军队的领导权和司法权，甚至在儿子中间分配这个公国；阿勒曼尼公爵很早就在追求独立，七世纪70年代末阿勒曼尼公国实际上是独立的；七世纪末萨克森人并吞了保罗克吐尔人的地区，与法兰克人的接壤地大为延伸；而这时的弗里斯人看来已经夺回六世纪中叶被法兰克人占据的部分地区，甚至可以说形成了弗里斯人的王权，八世纪初竟能保卫自己反对卡罗林时期法兰克人的入侵。种种情况表明，法兰克国家墨洛温王朝已经没有能力保障在六世纪所取得的地位。在八世纪重建在莱茵河和易北河之间的法兰克人统治，并把这种统治扩展到萨克森和弗里斯兰，就由卡罗林家族担当起来了。
当中年丕平714年去世时，他只是占领了图林根和西弗里斯兰。其子查理·马特（CharlesMartel，约689—741，714—741在宫相位）重新征服了阿勒曼尼人，巩固在图林根和黑森的统治，还征服了北弗里斯兰。但在巴伐利亚则未能建立起持久的统治。直到其孙青年丕平和玄孙查理时代，才先后战胜了巴伐利亚人，迫使巴伐利亚以条约形式臣服于法兰克人。阿勒曼尼公国被废除，产业被并入卡罗林王室。青年丕平时的早期卡罗林王朝加强了中央权力，恢复了法兰克人的大国地位，为他的儿子查理大帝创立强大帝国奠定了基础。