3月21日，俾斯麦带着国王兄弟卡尔的信件只身来到柏林，希望觐见国王，能说服他让军队占领首都，摧毁街垒，包围革命群众，但未获成功。以后他又到波茨坦拜会王储威廉亲王的王妃奥古斯塔，希望在王妃的配合下以亲王之子名义接管政府，但仅受到冷冰冰的接待。两天后，国王骑马来到波茨坦安抚那些在巷战期间服从命令撤出柏林的军官，并向他们强调了他对“好柏林人”的强烈信任。至此，俾斯麦已完全失望。他在新召开的联合邦议会发言指出：“过去是被埋葬了，而使我比你们当中的许多人更加痛心惋惜的是，在国王自己把泥土投在它的棺材上以后，世上竟没有一种力量能够重新把它唤醒。”讲到这里俾斯麦激动万分，没有结束讲话就大声啜泣着离开了讲坛。在1848年，俾斯麦就是以这种忠君观念来表达他对革命的仇视，对国王软弱态度的痛惜。但是，俾斯麦的忠诚表现未能得到应有的报偿。当1848年11月9日，弗兰格尔将军发动军事政变，在柏林恢复旧的统治秩序时，俾斯麦看来很有希望在新政府中担任某一大臣职务。路德维希·冯·格拉赫等保守派也竭力主张任命俾斯麦为大臣，以奖赏他在革命期间的非凡表现，但是被人们指责犯有多种错误，却有知人之明的国王弗里德里希·威廉四世却用一条奥妙的眉批拒绝了这一建议：“只有在刺刀横行无忌的时候才任用。”这句话表达了国王对俾斯麦的基本看法。
未能获得一官半职的俾斯麦在11月底回到舍恩豪森自己的妻女身边，但他并不气馁，他知道任用他的时机尚未到来。怀着这一信念，1849年年初，他全力投入争取被选入新的下议院的战斗。竞选的辛劳使他疲惫，也使他感到满足，因为他获得了成功。在有四百多人参加的庆祝宴会上，这位新议员因为频繁地与人握手，右手的所有肌肉都感到酸痛。但三天以后，选举他的人当中，有几位窗户被人打破，也有几位遭到无端的殴打，而他却在2月26日安静地坐上下议院自己的座位。
新议会的核心议题是德国的统一，但俾斯麦关注的是保护和增强普鲁士的地位。当被他长期蔑视的法兰克福全德议会派遣32名议员到柏林向弗里德里希·威廉四世奉献皇冠的时候，俾斯麦同普鲁士下议院的容克们一道联名上书国王，要他不要无视全德议会的劝进请求。但当国王不打算当一个“人民恩赐”的皇帝时，他却坚定地站在国王一边，并攻击依照这部宪法所虚构的统一。当国王任命外国人拉多维茨创立一个由小德意志诸侯组成的普鲁士联盟来与奥地利对抗时，他却以避免对全德宪法的承认，公开反对这个计划。而出人意料的是，他虽嘲笑拉多维茨组建普鲁士联盟的做法，却又接受了联盟在埃尔富特召开的议会为他保留的席位。1850年夏，当普、奥两邦关系紧张，奥地利以恢复德意志邦联来同埃尔富特联盟对抗的时候，俾斯麦力主同奥地利开战。但是，当普鲁士在沙俄的压力下在奥尔米茨与奥地利达成妥协而全普鲁士都视为奇耻大辱的情况下，俾斯麦却认为这是明智的选择，并以生动有力的反战演说全力支持内阁的政策。俾斯麦变化无常的政治立场给人们留下了他毫无原则的印象。有时候，容克认为他是本阶级的一名叛徒；有时候国王也把他视为敌人；有时候他先无礼地凌辱然后又抚慰尊严的哈布斯堡王室；有时候他与自由主义者、民主主义者甚至社会主义者交朋友，但转过身又与他们为敌。开始他发动战争，尔后他又坚持要求和平。如同变幻不已的魔术师的权杖，他的政治策略使人难以捉摸，也常遭到误解。其实他是第一流的“现实政治”实践家，而不是轻率的、毫无原则的政治赌徒。他念念不忘的是维护容克的利益，并使普鲁士国家变得强大，后来才逐渐形成建立一个新德意志联邦的设想。他一次次不尚空谈的演说，都影响了普鲁士的现实政治，并奠定了自己在政治活动中的地位和威望，一次新的升迁机会开始向他招手。
1851年4月，当在法兰克福重新成立的邦联议会要求普鲁士任命一位具有外交才能的政治发言人的时候，长期推崇俾斯麦的格拉赫兄弟再次出面向国王举荐这位性格坚强的新议员。犹豫不决的国王几经踌躇，最后违背自己的意愿把这项重任交给了俾斯麦。消息传来，除了报刊上的讽刺挖苦，连普鲁士亲王一想到由一位“后备军少尉”承担如此重任也叹息不已，但国王没有收回成命。从这时起至1859年止，俾斯麦担任这一外交重任达8年之久。在这8年中，他通过广泛的外交活动积累了丰富的政治经验，并对欧洲的国际形势有了更深入的了解。克里米亚战争以后，他开始形成与法国，特别是与俄国结盟，孤立和有选择地打击奥地利，谋求一种不受邦联和奥地利约束的独立的普鲁士政策的战略意图。这是俾斯麦政治立场逐步发生改变的重要转折，他开始抛弃宫廷党保守政治原则的最后残余，放弃了早年反对德国统一和亲奥的立场，接受了欧洲强权政治的观点，力主利用不断增长的民族主义为君主政体服务，争取在普鲁士的领导下，部分满足资产阶级的利益要求，最终实现德国民族统一。
但是，俾斯麦的雄图大略对格拉赫兄弟、曼陀菲尔首相以及可怜的弗里德里希·威廉四世来说，已经太革命了。他们只会赏识俾斯麦的政策，但不会接受他的政策。这种状况随着1857年10月国王得了中风，他的弟弟普鲁士亲王接管政权变得更没有希望了。普鲁士亲王威廉接管政权时已是60岁的老人，他是一位守成的君主，对政治有着固定的看法。他把俾斯麦当作一个具有很大破坏性的“学童”（俾斯麦当时已42岁），认为俾斯麦对奥地利的挑战性姿态会毁掉普鲁士的前程，反对把邦联议会作为普、奥“冷战”的舞台。1858年11月，这位摄政王在秉政一个月之内就开始对极端保守派的政府进行了清洗。两个多月后，一位叫乌泽多姆的新代表被派驻法兰克福。忐忑不安的俾斯麦尚不知自己的新岗位在哪里。1月29日他获悉自己将成为普鲁士驻俄国的公使，这本来相当于一次晋升，但俾斯麦并不感到高兴。8年来谋取高位的苦心所得微乎其微，更为重要的是他的雄心壮志受到了冷落。在他的政治生涯中，他还从来不曾这样远离过事件的中心。“我被打入涅瓦河畔的冷宫！”在越过柏林和圣彼得堡之间白雪皑皑的平原时，俾斯麦这样喃喃自语。
与俄罗斯冰天雪地的严寒气候有所不同，俾斯麦在俄国宫廷受到十分热情的接待。沙皇及其首相哥尔查科夫对俾斯麦十分敬重，不久他就成为彼得堡沙龙里的宠儿。亚历山大二世把俾斯麦视为一位家族的大使，俾斯麦还通过与威廉的妹妹、俄国皇太后富有情感的交谈不断加强俄、普之间的友谊。他曾同一些名门望族一道到俄国南方去旅行；他也曾同沙皇一道站在皇家检阅台上，检阅一支4万人的队伍。哥尔查科夫十分信任这位明智、迷人、表面上十分谦恭的普鲁士公使，把他视为“未来的大人物”，常同他在打开了的中欧地图前面进行无休止的交谈。
“俄国无论做什么事都是大规模的”，他通过参加俄国人的猎熊活动和盛大阅兵，对于这个仍在酣睡的大国所具有的广大、雄厚和专制传统有了深刻的印象。俄国是狩猎者的天堂。无论是隆冬持枪漫步于一望无际的雪原，还是在初夏穿越青草芳香的森林，猎熊总是一种充满挑战和野性的自然生活。当猎者击中的一只大熊，尚未倒地死去而用两条后腿撑地，前身直立起来向人怒吼的时候，动人心魄的壮观场面就出现了。人与兽之间面对面的冲突以及俄国猎人在险境中所表现出的超常胆略和勇武，使热衷于参加这项活动的普鲁士公使受到了震撼。由此联想到阅兵中俄国士兵所表现出的战斗士气，他感受到这个民族所具有的魄力和强毅。这种潜意识的影响，使他在以后30年间一直对这位东方巨人保留着敬畏的态度。他长期的亲俄倾向，大多来源于出使期间对这个神秘的辽阔国度的直接感受。
然而，俄罗斯漫长冰冷多雪的冬天不免使他感到厌烦，他惦念早已春暖花开的德国。事实上，气候的影响不是主要的，他真正关注的是柏林政治气候的变化。他雄心未泯，他清楚地知道出使圣彼得堡不是他的最终归宿。他的事业在柏林。1859年岁末，一场大病袭击了身心疲惫的俾斯麦。由于久治不愈，呼吸困难，他开始怀疑自己能否继续奔向锦绣前程，但到了新的一年，他的身体和政治本能恢复了。当2月末传闻摄政王正在物色一位新的外交大臣时，刚刚走出死亡之谷的俾斯麦便匆忙赶回柏林去了。
但是，摄政王还不信任他的驻俄大使。虽然他愿意征求他的意见，并在4月初两次召见俾斯麦，但后者所鼓吹的俄普合作、使柏林对维也纳显示真正的独立的观点，让威廉感到十分不安。俄、法之间的合作态势，莱茵河畔的普鲁士领土有可能受到新波拿巴主义侵略浪潮威胁的现实，使他回想到1813年至1814年的情景。尽管1859年奥地利在法意联军打击下已处于十分虚弱的地位，他仍不愿冒修改外交政策的风险去实现普鲁士的独立地位。这样，在柏林滞留近11个月的俾斯麦一无所获地回到圣彼得堡。他的宏图大略受到了第二次挫折。
重返俄罗斯的俾斯麦变得心灰意冷，郁郁寡欢，但并未完全放弃希望。1861年年初，国王弗里德里希·威廉去世，摄政王宣告登基，成为国王威廉一世。新王决定恢复臣属对他“宣誓效忠”的古老传统，选择在东普鲁士的柯尼斯堡举行加冕典礼。这一逆时代潮流的古怪想法遭到一些进步大臣的辞职抗议。陆军大臣罗恩趁机向国王进言，建议从彼得堡召回俾斯麦授予要职，以支撑危局。但当俾斯麦再次返回柏林时，威廉国王又改变了想法。似乎王后奥古斯塔的影响起了作用：俾斯麦被视为一个极不可信、“反复无常”的人，让这样的人待在首都会使人感到不舒服。于是国王只让他草拟一份关于德意志问题的备忘录，这份文件在7月底在巴登巴登呈交国王，这就是所谓的“巴登巴登备忘录”。俾斯麦在这份文件中充分论证了利用德意志人民日益增长的爱国主义情绪，成立一个把奥地利代表排除在外的“关税同盟议会”的主张。这个文件似乎是俾斯麦以往主张的发展，它没有引起国王的重视。在当年10月的柯尼斯堡加冕礼上，俾斯麦出席了这一仪式，并同国王进行过交谈，但国王只字不提这份备忘录。11月1日，俾斯麦满怀失望地回到圣彼得堡，看来，至少在表面上他仍然一事无成。他在给妹妹的信中写道：“三年前我还可以当一个有用的大臣，现在我一想起这点，就觉得自己好像是一个跃跃欲试的有病的马术家。”
但是戏剧性的效果很快发生了。3月中旬，一封来自王宫的电报召他回国，但没有透露他今后的任用。他花了一个多月的时间在圣彼得堡向继任者移交工作，直到5月10日才回到柏林。他对国王的意图仍然捉摸不透，若不是确信有罗恩的支持，他会觉得自己的前程又岌岌可危了。
5月22日他得到通知，他被派往巴黎去当公使，月底之前他已奉命搬进巴黎的使馆。俾斯麦雄心勃勃的政治抱负第三次遭到挫折，但他并未完全失望，他以极大的耐心等待着新转机的来临。在巴黎，他更为深入地了解了他早年曾到过的法国，并对拿破仑三世的为人及其战略意图有了透辟的了解。这为他尔后在普法战争中做出明快的判断提供了条件。在巴黎，他还接受邀请渡过英吉利海峡去参观伦敦万国博览会，实际上他是想考察英国的政治舞台。20年来他还没有再去过英国，也没有同威斯敏斯特的任何大人物进行过外交上的接触。这一次他受到帕麦斯顿首相和罗素外交大臣的接见，也同他最钦佩的保守党领袖迪斯累里进行了促膝长谈。迪斯累里保留着对这位不凡客人的良好印象，他有关“对奥地利进行清算，解散德意志邦联，在普鲁士的领导下使德国获得民族统一”的雄图大略，曾引起这位保守党领袖的震惊。会见后的当天晚上，迪斯累里深有感触地说道：“你们要提防这个人，他说到也会做到。”
1862年7月至9月，返回巴黎的俾斯麦利用休假的机会到法国西部进行了一次回归大自然的旅行。在那里，由于他与俄国驻布鲁塞尔大使尼古拉·奥洛夫亲王夫妇的相遇及其友谊，他又恢复了25年前对自然和异国女性那种柏拉图式的激情，以至于他又一次把公务抛到九霄云外，以几个星期的旷职行为陪同这对夫妇东去普罗温斯尽情游览。然而当各种奇异的浪漫想法向俾斯麦袭来的时候，陆军大臣罗恩的来信把他唤回现实的世界。他开始意识到决定他政治前途的时刻已经到来，15年来他刻意追求的政治权力已近在咫尺。9月13日，他在阿维尼翁与奥洛夫夫妇依依惜别，然后经日内瓦返回巴黎。由于国王与议会在3年兵役期问题上已形成僵局，深感失望的财政大臣海特和伯恩斯托尔首相已相继提出辞职，威廉一世也示意他正在考虑退位。危急关头，罗恩急速向俾斯麦拍了那份著名的电报：“速回，危机在继续。”俾斯麦已不能再推迟返回柏林。