好心人的收留
奥地利女王玛丽娅·特蕾莎继承了哈布斯堡的家族传统，很有音乐和戏剧天分。作为神圣罗马帝国的统治者，她却也要为奥地利的生存而努力。奥地利周围的列强，一个个都虎视眈眈，随时准备挑起事端，发动战争。因此，特蕾莎唯有以百倍的勤奋、坚定的信念去迎接挑战。因此，她不能像以前的君王一样花许多钱在音乐上，但她却极力邀请一流的艺术家到维也纳，在音乐学院教书，并在宫廷演出。
奥地利的贵族和显要都以王室为榜样，竞相成立乐队，而且乐队都具有非常高的水平。
从1750年起，奥地利的中产阶级也开始对音乐感兴趣，他们效法“巴黎音乐会风潮”的模式，成立了公众音乐会，不久就风靡全国。
海顿虽然在维也纳生活了十年，但他的生活圈子非常狭窄。昔日他那美妙的歌喉也已经失去了，他所接受的教育又不足以担任任何一种乐师职位。他衣衫褴褛，外表不吸引人，因为一直过着与世隔绝的生活，他不太适应外面的世界，举止害羞而笨拙。
这样一个穷困的年轻人能做什么？他不敢妄想他的父母能帮他。或许他应该遵从母亲的期望，去担任天主教的圣职。尽管海顿天生就有虔诚的信仰，他却从未考虑过成为一个教士。
海顿希望成为一个音乐家，一个真正的作曲家，而不是一个普通的乐手——一个在豪门里听候主人使唤、演奏主人喜欢的室内乐的乐手。那只会浪费他的时间，使他无法达到他渴望的艺术成就。但是，海顿也非常明白，对于他要走的音乐之路而言，他现在的基础是多么不牢固。他需要一位好的乐理老师，或者至少要有充足的时间去练习。摆在他面前的只有一条路：以零星的音乐工作来养活自己，然后用剩余的时间和精力去学习和积累音乐知识。这是一条漫长而艰辛的路，一条穷困的路，但却能引导他达到最终的目的。
这位年轻的音乐家在离开圣史蒂芬教堂的那天晚上，甚至不知道晚上要去哪里过夜。幸运的是，他遇到了一些好心人，尽管这些人的境况也不比海顿好多少。
海顿在寒冷的街头徘徊时，意外地碰到了约翰·斯班格勒，他是教堂的歌手兼音乐教师，靠着一份微薄的薪俸生活。虽然斯班格勒和海顿并不很熟悉，当他知道海顿的遭遇后，还是立即邀请海顿到他家去住。斯班格勒在维也纳的集市租了一处小阁楼，和他的太太及一个九个月大的男孩住在那里。
幸亏有了斯班格勒的收留，海顿才不至于流落街头。
整个冬天，海顿都寄居在斯班格勒的家里。为了生活，海顿逐渐和社会有了接触，他在舞会上演奏，为各种乐器谱曲，他以极低廉的学费收学生。他也参加小夜曲的演奏。
像意大利人一样，奥地利人非常喜欢晚上的露天音乐会，所以海顿抓住了这个大好机会，不但赚了一些钱，也吸取了很多民俗音乐的养分。这种音乐也是莫扎特、贝多芬、舒伯特、勃拉姆斯等人的灵感来源。
在这种情形下，海顿熬过了冬天。到了春天，海顿知道，是离开的时候了。在斯班格勒狭小的阁楼里，他无法专注地进行练习。还有，斯班格勒的太太又怀孕了，等小孩出生以后，这里就会更拥挤了。
发奋学习
1750年的春天，为了摆脱生活的困扰，海顿和一群朝圣者一起前往在玛丽亚采尔的圣母教堂。这个时候，海顿的声音已经稳定下来，能够运用自如了。他向教堂唱诗班的乐长推荐自己，说自己曾是圣史蒂芬教堂的唱诗班成员，接受过八年训练，希望准许他加入唱诗班。
海顿寒碜的外表使人无法相信他，那位乐长显然是把他当成了游手好闲的小混混，他粗鲁地把海顿赶走了。海顿不肯死心，偷偷跑进教堂的合唱团，从领唱的手中抢来乐谱，字正腔圆地唱起独唱的部分。这是个相当有难度的唱段，但是海顿唱得非常专业，而且歌声完美得使“全体团员都屏息静听”。
乐长为自己不能慧眼识人而感到惭愧，于是邀请海顿和他住一个晚上。这天晚上，他们聊得非常投机，海顿又在那儿住了一个星期。这段时间里，海顿总算能大快朵颐，美美地吃饭了。
回到维也纳时，海顿精神饱满、充满信心，身上还有一些玛丽亚采尔的音乐家给他凑的钱。这次，他的运气不错。一位名叫安东·布赫尔茨的维也纳商人决定帮助这位年轻人深造，无条件地借给他150个金币。
靠着这笔钱，海顿可以安然地离开斯班格勒夫妇，自己搬出去住了。当然，他选择了最便宜的地方，地点在维也纳古老的圣米迦勒教堂附近。那是一幢老房子的一个阁楼，房间很小，在里面转个身都不容易，而且屋子里光线昏暗，漏雨又漏风。和海顿一同住在阁楼那一层的，还有一个厨师、一个印刷学徒和一个侍者。
在这个地方，海顿终于有了他渴望已久的安静的学习环境，他还拥有一架被虫蛀了的旧钢琴。他晚年回忆起这段生活时曾说：“每当我坐在那架旧钢琴旁边弹奏时，我快乐极了，连最幸福的国王我也不羡慕。”
在这间阁楼里，海顿继续自学音乐。随着对他人作品的熟悉，海顿开始产生了自己作曲的冲动。他在1750年初曾写过一部《F大调弥撒曲》，作品虽然有些稚嫩，但中间仍闪烁着天才的光芒。
现在，海顿要开始补充他在乐理知识上的不足。海顿买了几本书，包括法科斯的《对位法进阶》、马提松的《完美指挥》，以及科纳的《数字低音指导》。他仔细研究了这些书，对书中的技巧和理论加以融会贯通，融入到自己的创作中。
比这些书更重要的，是海顿发现了菲利普·埃马努埃尔·巴赫（约翰·塞巴斯蒂安·巴赫的第三个儿子）的六首钢琴奏鸣曲，这为他开启了一个新世界。
埃马努埃尔·巴赫的作品对他产生了强烈的吸引力，他已经熟悉音乐上陈腐的术语，如今他发现了使他深受震撼的曲子。海顿后来说道：“凡是熟识我的人，一定已经发现，我从埃马努埃尔·巴赫那里学到了很多。我非常用心地去了解和学习他。”事实上，除了莫扎特以外，没有哪一个作曲家比这位巴赫家的大师对海顿影响更深。
虽然菲利普·埃马努埃尔·巴赫使海顿展开了新视野，他仍很自然地维持着他和奥地利古典音乐的密切关联。在1752年，他开始了第一次大胆的尝试。
羽翼渐丰
虽然海顿认为教授音乐只是“一种惨兮兮的糊口的方式”，但是它却在他的事业上扮演了重要的角色。也许海顿的运气好，在那幢老房子的三楼，住的是著名的意大利作家梅塔斯塔齐奥。1730年，梅塔斯塔齐奥获得了哈布斯堡的桂冠诗人的荣誉。除了写诗，他还为亨德尔、格鲁克这样的大作曲家写过脚本。
这位诗人和一位西班牙朋友马丁尼兹全家合住在一间公寓内。马丁尼兹是西班牙教廷大使典礼的大臣，他非常注重两个女儿的教育，大女儿玛丽安娜更是他的掌上明珠。当时，梅塔斯塔齐奥兼任玛丽安娜的文学教师，马丁尼兹也花了很多心思培养女儿在音乐方面的才华。不知什么时候，梅塔斯塔齐奥注意到了海顿。也许是在一个安静的夜晚，海顿弹奏钢琴的声音传到了诗人的耳朵里。总之，梅塔斯塔齐奥把海顿推荐给了玛丽安娜的父亲。海顿开始担任玛丽安娜的钢琴老师。
海顿整整教了玛丽安娜三年，她父亲供应他食宿，以此作为学费。毫无疑问，玛丽安娜是个非常优秀的学生，海顿自己也获益不浅。
玛丽安娜渐渐长大成人，并成了杰出的钢琴家、歌唱家和作曲家，当选为著名的巴塞罗那爱乐学会的会员，受到特蕾莎女王的赞美，甚至莫扎特也和她合作表演她创作的二重奏。此外，海顿从文雅的梅塔斯塔齐奥身上学到了不少礼仪方面的东西。
给玛丽安娜当老师还有另一个重要收获，就是认识了意大利音乐家尼科洛·波尔波拉。波尔波拉是玛丽安娜的声乐老师。通过和波尔波拉一起教学，海顿学到了不少东西。同时，他也非常谦虚好学，深得波尔波拉的喜欢。几次出去访问演出，波尔波拉都把海顿带上，让他为自己伴奏。
虽然这位性情暴躁的意大利人动辄胡乱骂人，甚至动手，但是他还是经常帮助海顿修改作品，并教他意大利语。三个月后，海顿离开这位音乐大师时，他的歌唱技巧和意大利语都有显著的进步，他的意大利语写得几乎和德文一样好。而且，他学到了作曲的基本精髓。
逐渐地，海顿开始进入维也纳的音乐圈。美丽的图恩伯爵夫人在听到海顿的一首奏鸣曲后非常喜欢，就托朋友向海顿转达了自己的问候，并表示如果海顿方便，可以随时去拜访她。当海顿真的站在她面前时，她吓了一跳。当时的上流社会习惯了以貌取人，难道这个身材矮小、皮肤微黑、脸上有水痘斑痕、小腿短粗的年轻人，就是那首优雅可爱的曲子的创作者吗？但是多看几眼后，伯爵夫人发现海顿天庭饱满，深灰色的眼睛散发出和悦忠厚的光芒，伯爵夫人很快打消了疑虑，不再介意这个年轻人笨拙的举止和破旧的衣服。
当图恩伯爵夫人确定眼前之人就是海顿后，就开始向海顿学习钢琴和声乐。对于海顿来说，这是非常重要的转折点，因为图恩家族和当时许多优秀的音乐家都有联系，他们可以大力提携海顿这个默默无闻的作曲家。
在一次室内音乐会上，海顿结识了热爱音乐的卡尔·芬伯格男爵。男爵邀请海顿到他在万因哲尔的别墅，参加室内乐团的演出。在那个温馨的小城堡里，海顿度过了一段快乐的时光。那里山清水秀，风景十分美丽。
芬伯格的乐队很小，只有四个人，两个小提琴，一个中提琴和一个大提琴，但这是一支小而精的乐队。经过海顿的安排，每一个声部都得到了相当的独立性。在此，海顿写了他第一首弦乐器四重奏，广受赞赏。
从这时起，海顿的生活不断改善，他的知名度也慢慢扩大了，他也提高了教音乐的费用，这并没有把学生吓跑，还有很多人争相邀请他去演奏。尽管每天如此忙碌，海顿还是创造了不少作品。在1755年一年时间里，他就写了17首弦乐四重奏。
1758年，芬伯格男爵将海顿推荐给波西米亚的莫尔辛伯爵。莫尔辛伯爵十分欣赏海顿的才能，聘请他担任自己宫廷的乐长兼作曲家。除了地位，海顿在经济上也向前迈了一大步。莫尔辛伯爵除了免费提供食宿外，每年还发给他200个金币的年薪。
公爵和他美丽的妻子都是酷爱音乐的人，他们拥有自己的乐队，乐队大约16个人，他们夏天在波西米亚演奏，冬季则在维也纳演奏。这项职务为海顿打开了一条路，使他得以在音乐上大步前进。
海顿十分珍惜这份安定的工作，每天从早到晚努力工作。在这里，海顿写下了他平生第一部交响乐。他的《第一交响乐》在1759年演出，莫尔辛伯爵邀请了很多贵族来捧场，包括声名显赫的大贵族保罗·安东·艾斯特哈齐亲王。这次演出博得了如雷的掌声，聚精会神指挥着的海顿根本不知道，他此后30年的命运已经在此刻注定了。保罗·安东·艾斯特哈齐亲王认为，这个叫海顿的年轻作曲家应该名扬四海。
盲目的婚姻
毫无疑问，海顿的不懈努力有了丰硕的收获。在维也纳，他终于获得了一席之地。现在，他总算可以松一口气，认真考虑一下自己的终身大事了。
海顿爱上了自己的学生特丽莎·凯勒。凯勒的哥哥是圣史蒂芬大教堂的一个小提琴手，他的父亲约翰·凯勒是一个假发制造者。显然，海顿没有得到这位小姐的青睐。特丽莎因为家里笃信宗教，后来也去修道院当了修女。海顿为她的加入圣职仪式谱写了一首E大调的管风琴协奏曲，这部作品与他在1756年所写的《为女王欢呼》，是他现存最早的作品。也许这些早期的作品里有太多的个人情感成分，因此都被他仔细地保存着。
海顿依旧到凯勒家里拜访，当他开始为莫尔辛公爵服务，经济状况大为改善时，约翰·凯勒自然想要把家里的大女儿许配给这位前途无量的年轻艺术家。玛利亚·安娜已经31岁了，她完全没有妹妹的美貌。不知道凯勒家是怎样向海顿施加压力的，但是他们成功了，这位作曲家娶了一个最不合适的伴侣当妻子。
海顿的盲目和被动使人大惑不解，因为他有敏锐观察人性的能力。而且有许多事实证明，海顿待人处世很圆滑很有技巧。最大的可能是，海顿和莫扎特一样，由于婚前受到了刺激，所以才会草草结婚。莫扎特曾热恋歌唱家阿蕾西亚·韦伯，却被她抛弃，莫扎特就娶了韦伯的妹妹康斯坦茨。
海顿大概是觉得他需要结婚，既然他不能娶到真正喜欢的人，那么和谁结婚都无所谓了。因此，尽管玛利亚·安娜比他大三岁，长得不好看，不讨人喜欢，对音乐也没有兴趣，在1760年11月26日，他还是和她结婚了。
海顿犯了一个严重的错误，也许是他一生中最大的错误。他希望婚姻为他带来一个安静舒适的家和几个可爱的孩子，他的愿望没有实现。玛利亚·安娜不喜欢操持家务，更不能生孩子。海顿特别讨厌她的奢侈浪费，但是，最使海顿恼火的，就是妻子对他的工作毫不感兴趣。只要有钱花，她并不介意她的丈夫是一位艺术家还是一个补鞋匠。海顿太太对丈夫的劳动一点也不尊重，她甚至会拿丈夫的乐谱手稿做烤蛋糕的衬纸，或者作为卷发纸。
玛利亚·安娜想必也在受着妒火的煎熬，她不能忘记，海顿爱的是她那美丽的妹妹，因为直到1801年，海顿着手写遗嘱时，还念念不忘他的初恋情人。
因此，海顿太太最大的爱好除了想方设法惹丈夫生气，还有就是变着花样花钱。她总是没完没了地找她的丈夫要钱，然后花个一干二净。
毫无疑问，夫妻两人从婚姻中领受的一切，必须有一个发泄的途径。海顿太太只能在教会里寻找到精神寄托，把她的爱和虔敬全心全意地奉献给上帝。海顿则逃到了自己的音乐小天地里，在那里寻找真正的安静。