《柏林协定》签订18个月以后，俾斯麦的外交战略发生了前所未有的变化。这一变化决定了今后30年的外交格局。为了摆脱外交上的孤立，俾斯麦虽未放弃恢复暧昧的三帝同盟的努力，但德俄关系的恶化已经开始动摇他几十年来的外交构想。莫斯科报刊对他连篇累牍的攻击以及德俄之间围绕农产品进出口的经济战，都使他深感不安。俄国既不可靠，德国就应当向英国和奥匈靠拢，尤其要加强中欧的团结，这样才有助于应付来自东、西两面的威胁。1878年8月，俾斯麦决定利用一年一度对加施泰因的访问，同奥国人进行一次关于俄国问题的会谈。此外，有消息报道，说他的老朋友奥匈外交大臣安德拉西不久将辞职，因此要争取主动，不应再丧失时机。8月27日，抵达加施泰因的俾斯麦立即同安德拉西举行会晤，双方都希望通过突出德奥友谊来促使俄国改变态度。对于缔结一项反俄同盟，奥皇欣然表示同意，但德皇威廉一世的态度成了俾斯麦最大的难题。威廉一世是沙皇亚历山大二世的舅父，两国传统的友谊以及漫长的共同边界，都使得联奥反俄的政策既无必要，又十分危险。82岁的老皇固执己见，毫不让步。就在9月初，老皇还同他的外甥在俄属波兰边境的亚历山大罗伏举行了友好的会见。舅甥俩含着悔恨与和解的眼泪彼此衷心问候，使威廉一世深为感动。现在，他刚一回来，就让他接受一个反俄性质的盟约，这对于他无论在良知、性格和荣誉方面都是难以接受的，所以老皇毫不妥协地说：“不！”
接下来便出现了皇帝与宰相之间惯常的争吵，虽然彼此已不像早年那样暴跳如雷，但双方都在诉苦。他们都不愿让步，斗争持续了4个星期。俾斯麦得到了皇太子、毛奇和普鲁士内阁的支持。最后，当威廉一世担心他不仅会失去自己的宰相，而且会引起内阁全体辞职的后果时，他被迫屈服了。10月5日，皇帝违心地同意接受同盟条约，但他仍然在签字旁写道：“使我签字的人将来要对此协定负责。”俾斯麦已习惯皇帝这种表达怨愤的方式，他知道他又一次左右了自己的君主。
1879年10月7日，德奥同盟条约由安德拉西和德国大使赖斯在维也纳签署正式生效。依照条约规定：缔约一方若遭受俄国进攻，另一方应以“全部军事力量”给予援助；若一方与俄国之外的另一国交战，另一方则保持善意中立，如交战国得到俄国的支持，上述规定则自行生效。条约的内容是秘密的，有效期初定为5年，实际上以后不断续订，直到39年后德意志帝国与哈布斯堡帝国共同灭亡。这个条约成为以后德国外交政策的基石，也是欧洲国际关系的枢纽。未来的三国同盟不是替代它，而只是扩充它。
德奥同盟关系形成后，俾斯麦开始向英国靠拢，他想把英国拉进德奥同盟，替他分担助奥抗俄的责任。英国虽对德奥接近感到兴奋，却不愿分担在大陆上对俄作战的责任。不久，英国保守党内阁垮台，英、德之间的结盟谈判宣告中断。由于俄国的主要对手是英国而不是德国，英、德之间的接触已引起沙皇的警觉。为了在东方问题上牵制英国，并对奥匈施加压力使之追随俄国，沙皇试图恢复与德国的正常关系。
1880年1月，亲德的萨布罗夫出任驻德大使，他正式向俾斯麦提出恢复三帝同盟的建议。俄国的新姿态使俾斯麦彻底放弃了对英国进一步的试探。他深信，经过前一段时间的外交努力，彼此都愿做出让步，只要三国取得妥协，确保各方多年的合作还是有希望的。但是他过低估计了各君主专制国的差异和弱点，以致谈判拖延了一年半的时间，才使俄、奥在东方利益上达成妥协。1881年6月18日，新的三帝同盟条约在柏林签订。这时俄国的新沙皇亚历山大三世刚登上皇位3个月，而奥匈的外交大臣也换为新任命的海默尔。新的三帝同盟与1873年的三帝同盟有所不同，它不是一个空泛的新神圣同盟，而是有具体条约内容限制的中立协定。当缔约国之一和第四国（土耳其除外）发生战争时，另外两个缔约国应保持中立；缔约国承认禁止各国军舰通过海峡的原则，并要求土耳其遵守这一原则；俄国接受奥匈合并波、黑两省的权利，奥匈不再反对保加利亚的合并与扩大。三帝同盟协定使德国暂时达到了孤立法国的目的，并协调了俄奥关系，稳定了东邻的局势，也促成俄、英之间的对立。这是俾斯麦外交的一个意外胜利。但是同盟的基础是脆弱的，俄、奥在巴尔干的矛盾不可能从根本上消除，沙皇也不会长久地容忍德国在中欧霸权的确立。在国际范围内各种不确定因素的冲击下，三帝同盟是一个不巩固的同盟。
正当三帝同盟还在谈判之际，意大利因与法国争夺突尼斯的失败，也开始向德奥集团靠拢。意、法之间的矛盾在一定程度上是俾斯麦造成的。在柏林会议期间，英、法曾达成一项协议，法国承认埃及为英国的势力范围，而英国则同意法国占领突尼斯取得补偿。俾斯麦支持这个协议，他希望把法国的兴趣部分地从阿尔萨斯—洛林转移到非洲去。但是法国占领突尼斯就同意大利发生了冲突。突尼斯与意大利的西西里岛隔海相望，互为掎角，具有重要的战略和经济地位。早在1880年就有1万名意大利移民居住在突尼斯。法国占领突尼斯后，迫使意大利调整对外政策，向德奥集团发出结盟的呼吁。从1881年秋天起，意大利就积极同两国进行秘密谈判。这种努力于1882年5月20日导致了德、奥、意三国同盟的建立。这个同盟的目标直指法、俄两国，一旦与之发生战争，三国届时将相互援助。
继意大利之后，罗马尼亚也要求加入德奥联盟体系。罗马尼亚在柏林会议上被迫把肥沃的比萨拉比亚割让给俄国，心怀怨愤，为了阻止俄国在巴尔干进一步扩张，积极要求与德、奥结盟。1883年10月30日，罗马尼亚与奥匈在维也纳签订同盟条约。同一天，德国声明加入，于是又形成德、奥、罗三国同盟。到80年代前期，俾斯麦已完成为孤立法国所需要的联盟体系。这个体系由三个三国同盟构成，即德奥俄三帝同盟、德奥意三国同盟和德奥罗三国同盟。三个同盟所构成的联盟体系标志着俾斯麦欧洲结盟体系的高峰。这个体系使德、奥形成坚固的合作轴心，也保留了通往彼得堡的合作道路，同时也在地中海和爱琴海争取到新的盟友，俾斯麦已真正成为欧洲列强音乐会的指挥者。但是，这个同盟体系又是充满矛盾的。两个三国同盟的基调是反俄的，而三帝同盟既不能从根本上调节俄、奥在巴尔干的矛盾，也没有给德国放手对法国行动的自由，因而从某种意义上讲，俾斯麦没有从根本上达到自己的外交目的。
1885年至1886年发生了保加利亚危机。保加利亚人民通过革命推翻了土耳其总督，实现了南北领土合并，并在英、奥的支持下，驱逐了沙俄势力，俄国由此丧失了自柏林会议以来的政治地位，俄奥矛盾再度激化，三帝同盟已名存实亡。此外，俄国的反德情绪也在日益增长。1887年6月，三帝协定期满，沙皇拒绝延续，并在国内开始限制德国工业品输入。与此同时，法德矛盾也进一步激化。1886年7月14日，法国新任国防部长布朗热利用国庆日举行盛大的阅兵式对德发出战争挑衅，以后，新的军备建设进一步加强。面对这一形势，俾斯麦决定放弃三帝同盟，与俄国单独缔结所谓的《再保险条约》。1887年6月18日，德、俄经过一番“谅解”，签订了新的双边条约，相互保证以中立态度对待缔约国同第三国的战争。但是这个条约同德奥同盟条约是相互矛盾的。俄国想利用这一条约来打击奥匈，德国则想利用它来进攻法国。双方“同床异梦”，而且彼得堡从一开始就不打算受制于这一条约。1888年12月，俄国从法国银行家手中获得第一笔借款5亿法郎，第二年又成功地取得7亿法郎和12亿法郎两笔借款，从此法国资本家成为沙皇政府的债权人，这种财政关系为法、俄结盟打下经济基础。俾斯麦也曾通过公布1879年德奥同盟条约，并加强与英国的联系，来向俄国施压。到1889年年初，德俄关系已下降至最低点，德国军界已在考虑同两大强邻（法、俄）同时作战。法、俄结盟阴影的再度出现以及英德结盟的前景渺茫，都标志着俾斯麦的大陆政策已走到尽头，他在国内的政治地位也开始发生动摇。
俾斯麦执政初期，德国对海外殖民一直持谨慎态度。这是因为在他的外交战略中，大陆政策处于中心地位，他不愿在德国处于两面受敌的威胁下，为了殖民地冒同英国发生冲突的风险。但是，从80年代起，随着工业化的飞速发展，德国急需为工业品寻求原料和销售市场。“没有一块殖民地”的德国资产阶级开始向宰相施加压力，要求国家保护海外殖民事业。所以到80年代中期，俾斯麦不得不改变看法，接受德国商人海外殖民的请求。
1883年，不来梅大商人阿道夫·吕德里茨在西南非洲的安格腊·贝昆那地区，从当地的霍屯督部落酋长手中“购置”了一块商业殖民地。据推测这一地区蕴藏着丰富的金刚石矿，而英国殖民者也正从南非向这一地区扩张。于是吕德里茨就向俾斯麦请求予以保护，并要求建立一个德国的保护国。俾斯麦立即向外交部发问：英国对这一地区是否有领土要求？英国外交大臣对此迟迟不予回复，声称要先征求南非殖民政府的意见。直至9个月后，俾斯麦才从伦敦得到回音，说从安格腊至好望角之间约1000公里长的地带，均为英帝国合法的领地范围。俾斯麦对此极为恼怒，他在答复中要求英国解释上述要求的理由。在仍然迟迟得不到英国答复的情况下，他于1884年4月24日电令德国驻开普敦总领事通知英国殖民当局该地区已处于德国占领之下。这是德国第一块殖民地，即西南非洲，包括库内内与奥兰治之间约5万平方公里的土地。