两个德国成立后各自依附于北约和华约两大军事政治集团，在美、苏的操纵下，它们各自把柏林视为自己的国土。联邦德国《基本法》规定：柏林是联邦德国的一个州；民主德国宪法宣布：民主德国定都柏林。从地理位置上看，柏林位于民主德国境内，它距联邦德国和民主德国边界还有176公里之遥。然而，联邦德国与西柏林在政治、经济等方面有着非常密切的联系，极力想把西柏林与联邦德国融为一体。以美国为首的西方三国十分重视西柏林的地位，把它视为与苏联争夺欧洲的“前线城市”，宣称保证联邦德国和西柏林的安全。随着联邦德国和民主德国紧张关系的加剧，柏林问题成为双方矛盾斗争的焦点。
1953年爆发的“6·17”东柏林事件平息后，西方三国柏林驻军司令强烈谴责苏军用武力造成了柏林公民的伤亡，并抗议对东、西柏林居民自由往来的限制及对不法分子的惩处。民主德国和苏联认为，“东柏林事件”是西柏林占领当局培植的特务势力进行破坏造成的。同时，西柏林为民主德国外逃人员提供了方便的“安全”地带，从这里逃到联邦德国的人员大约有150万人。大量人员外逃造成民主德国劳动力和专业人才严重缺乏，给经济带来重大损失，苏联千方百计想把西方三国赶出柏林。1958年11月27日，苏联政府照会美、英、法三国政府，宣布取消柏林的四国共管地位，建议把西柏林变成一个独立的政治单位——“非军事化自由城市”。赫鲁晓夫当天举行记者招待会，他把西柏林比喻为“一个毒瘤”，现在建议把西柏林变为“一个非军事化的自由城市”，是一种“无痛的切除手术”；如果西方不同意这一建议，把坦克开到柏林，用武力来保卫其地位的话，苏联的火箭将要“自动发射”。西方三国和联邦德国复照苏联，拒绝了苏联的建议，认为“赫鲁晓夫的‘自由城市’建议必然破坏西柏林的自由”。美国宣称要“不惜用武力”保卫柏林，“华盛顿准备采取核战争的手段来保卫柏林”。苏、美互相对立的强硬态度，使柏林的气氛骤然紧张起来了，从而爆发了持续3年左右时间的“第二次柏林危机”。
由于美国在柏林问题上毫不退让，赫鲁晓夫被迫让步，双方同意就柏林问题进行会谈。1961年6月3日，美国新任总统肯尼迪和赫鲁晓夫在维也纳会晤。肯尼迪指责苏联的威胁导致了柏林危机的发生，没有就柏林问题、缔结对德和约问题达成协议。随后双方又进行武力威胁。在此情况下，为了阻止民主德国人员逃往西方，以及防止西方对民主德国的颠覆活动，苏联建议民主德国在东、西柏林之间和民主德国其他地区与西柏林之间修筑“柏林墙”。1961年8月13日，苏联和民主德国出动大批武装警察、军队和坦克，对西柏林边界线实行封锁，开始沿西柏林边界构筑“柏林墙”。“柏林墙”的建筑先后花了4年时间方告完成。“柏林墙”的建筑，又加剧了柏林的紧张局势，双方大有剑拔弩张之势。面对以美国为首的西方三国在西柏林不断进行军事演习，进行战争威胁，赫鲁晓夫又被迫让步，宣布不急于解决西柏林问题和缔结对德和约。西方盟国对筑墙后仍保留西柏林通道的畅通，也没有触犯西柏林占领国的利益，因而对筑墙也没有进行任何反对。“第二次柏林危机”用一道墙的办法解决了。
两德关系除柏林问题外，还有一个德国统一问题。在整个50年代，民主德国外交事务的注意力主要是谋求解决德国问题，即反对联邦德国加入西方集团和重新武装，努力争取盟国早日缔结对德和约、在和平与民主的基础上实现德国的重新统一，建立一个有主权的、民主的、和平的全德临时政府。1950年11月30日，民主德国总理格罗提渥致函联邦德国总理阿登纳，希望在“缔结一项和约，以及恢复德国的统一”问题上，德国人民要“相互谅解”，并建议“在两个政府之间就成立一个全国立宪议会问题进行讨论”。鉴于美国积极准备武装联邦德国，并将其拉入西欧防务体系，德国统一面临困难的局面时，民主德国政府于3月14日向全体德国人民发出号召，争取实现全民投票，反对西德重新军国主义化，争取缔结对德和约和成立全德立宪会议。联邦德国政府也一直坚持德国要重新统一。只是由于受西方盟国的影响，阿登纳在德国统一问题上所遵循的原则是：“自由先于统一”，“不能以脱离西方范围和放弃欧洲一体化的成就为代价来换取统一”。由于联邦德国完全倒向西方，从而妨碍了德国问题的解决。以美国为首的西方九国签订了《巴黎协定》和联邦德国议院批准《巴黎协定》之后，德国统一问题逐渐陷入僵局。尽管如此，联邦德国也一直没有放弃德国统一的旗帜，一直拒绝从国际法上承认民主德国，并希望用其强大经济实力把民主德国统一过来。
民主德国虽然一直到1959年还不断发表声明和建议，表示愿意缔结和约和实现德国的统一，但自“柏林墙”建筑之后，美、苏“冻结”德国问题，但民主德国也一步一步地紧闭了通往统一的大门，逐渐放弃了德国统一的旗帜，认为提出两个德国实现统一是“不现实的”。随后，民主德国的外交活动主要是谋求联邦德国及西方大国从国际法意义上承认民主德国是一个独立主权国家。1962年3月，民主德国统一社会党总书记乌布利希发表声明，同意赫鲁晓夫提出的关于苏联“将不坚持在1961年12月31日以前缔结对德和约”的观点。1967年4月27日，乌布利希在党的“七大”上明确指出：“社会主义的民主德国同帝国主义的联邦德国联合当然是不可能的”。随后，民主德国坚持两个德国的观点，主张两个德国之间相互承认，并要求联邦德国从国际法上承认民主德国。1968年3月25日通过的民主德国新宪法规定：“在平等的基础上建立和维护两个德国的正常关系和合作，是民主德国的民族要求”。在1971年民德党的“八大”上，昂纳克甚至提出民主德国是“社会主义民族”、联邦德国是“资本主义民族”的两个德意志民族的观点，两个民族“水火不相容”，因此德国不存在重新统一的问题。
“柏林墙”建筑之前，尽管两个德国在美、苏的操纵下，在德国统一问题上存在较大的矛盾和分歧，但毕竟都没有拒绝讨论德国统一问题。“柏林墙”建成之后，虽然给民主德国暂时创造了一个和平的环境，促进了民德经济的发展，但却进一步加深了德国的分裂和两个德国的紧张关系。两个德国不但停止了讨论德国统一的话题，而且双方死死关闭了互相交流的闸门，形成了互相对立的局面。除了上层彼此不接触、不往来之外，民间接触也十分困难。“柏林墙”只有7个过境站，实际上阻断了东、西柏林及西柏林与民主德国其他地区的一切交通联系，使两国骨肉同胞相互不能正常往来。不少民主德国公民出于各种原因，冒着生命危险非法翻越“柏林墙”，逃亡流血事件经常发生。人口200多万的西柏林变成了一座“孤岛”，西柏林与联邦德国之间的联系也仅仅只借助于3条空中走廊、4条公路、4条铁路和3条水路。不难想象，“柏林墙”给两德人民带来了多么大的精神痛苦和灾难！
虽然自基辛格大联合政府开始对苏联、东欧实行的“松动政策”的同时，开始对民主德国实行“小步子政策”，寻求与民主德国政府进行对话，并就双方一些具体问题进行讨论和合作，但仍拒绝从政治上承认民主德国。在60年代末至70年代，东、西方关系进一步缓和的大背景之下，1969年上台的联邦德国总理勃兰特，正式推行“以接近求转变”（WandeldurchAnnaherung）的“新东方政策”。在其发表的政府声明中首次承认德国存在着两个国家，并用“德意志民主共和国”这一正式名称来称呼民主德国，强调必须阻止德意志民族继续分离地生活下去，要尝试通过一种正常的并存关系达到一种合作关系。他尽管承认了民主德国，但拒绝从国际法上加以承认，认为两个德国“彼此不是互为外国，它们之间的关系只能是特殊性质的关系”。这就是他的“一个民族，两个国家”的理论。但民主德国仍然坚持联邦德国必须从国际法上承认民主德国。1970年3月，两德领导人在埃尔福特举行会谈，双方同意要努力改善两德之间的关系，但民主德国总理维利·斯多夫强调“两个主权国家”，“是不能合而为一的，因为对立的社会制度不能合而为一”，要求在普遍承认的国际法原则和准则的基础上，达成双方尊重主权平等、领土完整和边界不可侵犯性、互不干涉内政等内容的“平等关系条约”。而勃兰特拒绝了民主德国的建议，强调两个德国“有责任维护德意志民族的统一，不互为外国”。由于双方意见分歧，会谈没有成功。同年5月，两德总理在卡塞尔会谈，也没有取得突破性进展。
随后，民主德国对联邦德国的政策受到东、西方缓和的越来越大的压力。联邦德国推行的和平外交攻势和经济外交，逐渐改善了与东欧国家的关系。苏联从60年代末起，由于中、苏关系的变化等原因，也更为迫切希望实现欧洲东、西方的缓和。1970年，联邦德国与苏联签署了《莫斯科条约》，与波兰签署了《华沙条约》，美、苏、英、法四大国也于1971年达成了关于柏林问题的《四方协定》。国际大环境不允许两德关系继续停滞不前。1971年，埃里希·昂纳克上台后采取了更为灵活的政策。《四方协定》签订后，民主德国分别与联邦德国和西柏林就实施《四方协定》的细则进行了一系列会谈，并签订了一系列协定。《四方协定》生效后，两个德国开始就签订一项基础条约问题进行谈判，终于在1972年12月签署了《关于德意志联邦共和国和德意志民主共和国之间关系的基础条约》（简称《基础条约》）及其“附加议定书”。条约明确规定双方“在平等的基础上发展相互之间的正常的睦邻关系”，双方遵循联合国宪章中确定的目标和原则，特别遵循主权平等，尊重独立自主和领土完整、自决权、维护人权和互不歧视的原则，用和平手段解决双方的争端，放弃使用武力或以武力相威胁。同时，还规定双方将在关系正常化的过程中处理实际的和人道方面的问题，促进经济、科技、交通、法律、邮电、卫生、文化、体育、环境保护及其他方面的合作，在双方政府所在地互设常驻代表机构。双方保留在民族问题上的分歧，在《基础条约》中写明“不损害双方对原则问题，包括民族问题的不同看法”。联邦宪法法院在对《基础条约》的裁决中，也强调不把民主德国视作外国，没有放弃重新统一的目标。
《基础条约》奠定了两德关系正常化的基础。为落实条约两德就一系列问题签署了协议，并对多方面的交流和合作做出了具体安排。双方在经济、科技、文化、体育、医疗、环境保护、交通和通信以及家庭团聚等方面的交流、合作，都有了较大的发展。双方都放宽了对人员往来的限制，从而使两德间人员的往来大大增加。从联邦德国和西柏林前往民主德国和东柏林访问的人数，1970年为250万人次，70年代后期达到每年800多万人次。从民主德国前往联邦德国和西柏林访问的人数也大幅度增加。两德间的直通电话线路1969年只有34条，到1978年已增加到了440条。两德贸易从1969年到1975年增长了一倍。联邦德国为促进两德贸易发展，多年来将其作为德意志内部经济关系来对待，使民主德国对联邦德国的贸易享受欧共体内的优惠待遇。从1968年起联邦德国又定期向民主德国提供无息贷款。70年代中期，施密特就任联邦德国总理，此时西方正受到经济危机和滞胀的影响。但是，施密特政府决定继续实行“新东方政策”，并尽量运用经济杠杆来促进两德关系的发展。
70年代末和80年代初，东、西方关系又趋紧张，因而影响了两德领导人的互访，两德关系也经受了严峻的考验。但是，两德并没有放弃已经开始的对话和关系的改善。从80年代开始，两国谋求领导人之间的访问。1981年12月，联邦德国总理施密特应邀首次访问了民主德国。会谈发表的联合公报宣称，两国决心“再也不允许在德国的土地上发生战争”，“双方均意识到自己对于保障欧洲和平承担的重大责任”。在这次会谈中，施密特向昂纳克发出了访问联邦德国的邀请。只是由于“寒冷的国际大气候”，昂纳克的访问才被再三推迟。科尔出任联邦德国总理后，继续推动两德关系发展。1983年，美、苏中程导弹谈判破裂，东、西方关系再度紧张。苏联对两德关系发动了猛烈的批评，并指责联邦德国有“军国主义”、“复仇主义”和“日耳曼民族主义”倾向，想破坏民主德国的社会主义制度。1983年，因苏联的反对，昂纳克取消了原计划对联邦德国进行的访问。然而，联邦德国大批政要却纷纷前往民主德国访问，为两德关系加温，与昂纳克及民德政要接二连三地会见，推动了两国关系的发展。1983年，两德领导人在参加苏联领导人安德罗波夫的葬礼时进行了非正式的会晤。1984年9月，在苏联对两德关系的一片抨击声中，昂纳克再次取消计划中的联邦德国之行。1985年3月，两德领导人又利用在莫斯科参加契尔年科的葬礼之机，举行非正式会晤，再次确认两德为“命运共同体”，两德要在《基础条约》的原则下继续发展睦邻关系，有责任防止在德意志土地上再次发生战争。
与此同时，两德间的经济交往和人员往来达到了一个新高潮。联邦德国利用其经济优势，积极加强两德经济联系，以影响和加强与民主德国之间的关系。1983年，联邦德国政府决定为以巴伐利亚银行为首的一个银行团向民主德国贷款10亿马克提供风险担保。1984年，联邦德国又决定向民主德国提供为期5年的9.5亿马克贷款。1985年，两德签订新的《无息透支贷款协定》。两德还恢复或进行了文化、科技交流和合作的谈判，签订了新的协议。民主德国方面也做出了积极的回应，如拆除两德边境部分地段上设置长达13年之久的自动射击装置，取消原来对15岁以下的联邦德国儿童入境每天必须按民主德国汇率兑换7.5马克的规定，降低了联邦德国退休人员入境所必须兑换的金额，首次允许民主德国公民移居联邦德国与家人团聚或同外国人结婚，延长了联邦德国居民访问民主德国可以逗留的期限。
戈尔巴乔夫上台后，推行主张缓和东西方关系、支持东欧社会主义国家“改革”的“新思维”思想，放松了对东欧的控制。在这一背景下，两德关系终于有了突破性进展。1986年2月，民主德国部长会议主席辛德曼率代表团访问了联邦德国，这是自1949年以来民主德国访问联邦德国的级别最高的代表团。双方再次表达了维护和平、促进缓和、发展两德多方面的关系的愿望。1987年9月，民主德国领导人昂纳克终于实现了他对联邦德国的正式访问。这次访问尽管没有消除两德对于民族、德国统一等问题的不同主张，但双方都从现实出发，赞成发展和扩大现有关系，继续加强经济合作和较高政治级别的接触。双方领导人进行了范围广泛的会谈，签署了几个关于双方在环境保护、防止辐射和科学技术领域进行合作的协定。昂纳克的访问受到了国宾待遇，表明联邦德国实际上承认了民主德国的国际地位。这次访问是两德关系发展史中的一个里程碑。
自《基础条约》签订以来，两德关系得到迅速改善和发展。它不仅对欧洲的和平做出了贡献，而且促进了两德的德意志人民的民族亲情和认同感。这种亲情和认同感，为德意志民族的最终统一奠定了重要的思想基础。