1877年7月2日黑塞出生于德国南部席瓦本地方的小镇卡尔夫，父母都信仰虔诚，他是次子。席瓦本地方曾产生过伟大的剧作家席拉，以童话闻名的赫夫，与以诗人扬名天下的赫尔达林和梅里克。这个文人辈出的地方，自古以来政治较为落后，但在文学、哲学以及神学的精神领域中却出现了许多杰出的人物。
父亲约翰涅斯·黑塞是巴鲁特地区的俄裔德人，和母亲的祖父赫尔曼·肯德尔特一样，青年时代参加瑞士的传道团前往印度传道，后因健康欠佳而回国，担任肯德尔特的助手，从事宗教书籍的出版。不久，和肯德尔特的女儿，当时是未亡人的玛丽结婚。母亲是法裔瑞士人，具有音乐才华，感受力敏锐。父亲聪明而善良，给人求道者的孤独感觉。继承父母血统的黑塞，幼小时即对音乐感兴趣，后来也追求宗教思想，不仅对希腊、拉丁的思想，甚至对印度、中国的智慧，以及日本的禅产生浓厚的兴趣，可以说其来有自。
4岁时由于父亲工作的关系，迁居到瑞士的巴塞尔市。在巴塞尔，家的后面就是广袤的原野，在接近大自然，和动物、植物交朋友的同时，也帮助他培养丰富的想象力。未来的诗人——黑塞早在这样的环境中打好了根基。1886年，一家人再度回到德国的卡尔夫。黑塞9岁时进入拉丁语学校就读。
想要继承父亲的圣职，成为优秀的牧师，就必须参加每年夏天在威尔丁堡州举行的“州试”。为突破这个难关，黑塞被送到第一流的杜宾根拉丁语学校。通过州试的人允许到有传统的墨尔布隆神学预备学校求学，而且能以公费资格进入大学，并保证日后可以终身担任牧师这项圣职。
1891年7月，黑塞14岁，果然通过了州试，9月进入墨尔布隆神学预备学校，开始过寄宿生的生活。这在《在车下》（心灵的归宿）中有详细的叙述。入学后不久，他受到自己“内部刮起的暴风”的袭击，逃出宿舍，结果当然是告别了神学校。这是因为他产生了“除了做诗人之外，别的什么也不做”的强烈欲望。
黑塞对青春的困惑与流浪于焉开始。在神学预备学校之后，转读高级中学，然后又遭禁闭和退学，于是又到商店当学徒，在机械工厂见习，有4年多的时间辗转更换工作，但不论做任何事都不顺利。虽然如此，他也没有放弃学习。现在且让黑塞本人来说吧。
“自从学校生活不顺利的15岁开始，我就积极自我进修和修养。在父亲家里有祖父的大量藏书是我的幸福，也是我的喜悦。那是放置很多古书的房间，其中有18世纪的德国文学与哲学。从16岁到20岁之间，在大量的稿纸上我写了很多初期的习作，在这几年的时间内，看完泰半的世界文学，也耐心学习艺术史、语言、哲学等。借此弥补正常的研究，就收获而言，与一般常人相较，可以说有过之而无不及。”（《我的小传》）
1895年秋天，黑塞辞去机械工的工作，到大学城杜宾根的赫肯豪书店当见习生。在这里一面承受孤独与失意，一面努力读书和写诗，这样过了3年的岁月。22岁时，自费出版第一本诗集《浪漫之歌》。当然没有得到任何回响。接着出版散文集《午夜后的一小时》，共印了600本，但一年之内只卖出了53本。可是最了解诗人的还是诗人，利鲁克立刻注意到这本散文集的年轻作者，并写书评推荐。
那年秋天，他转到巴塞尔的莱席书店任职，两年后就在这家书店出版诗文集《赫尔曼·洛雪尔——青春时代》。然后到意大利旅行，接触古老的艺术和文化，开始对现代社会采取批评的态度。1902年，他能在“新进德国抒情诗人”的系列中出版《诗集》，全得归功于诗人卡尔·布塞的美意。在这本《诗集》里包括了著名的《雾中之歌》。他准备将这本值得纪念的《诗集》献给母亲，然而在出版之前母亲却去世了。
1904年，黑塞所说的“文学上的第一个成功”终于来临。他的第一部长篇《乡愁》由柏林费舍书店出版，使他一举成名。这本小说以新鲜的文体和生活感情，生动地描写大自然，激起很大的反响。黑塞和前年在意大利旅行时认识的巴塞尔著名数学家的女儿，擅长钢琴的玛莉亚·佩诺利结婚，迁居到波登湖畔的小渔村凯恩赫芬。
这样在“安稳和愉快中度过好长一段时间”的湖畔生活，创作出为教育的压力而痛苦的悲剧长篇《在轮下》和《美丽的青春》，以及追求人类幸福真谛的长篇《生命之歌》等重要作品，此外也写出中短篇集《此岸》等佳作。可是，与生俱来的流浪性格与婚姻生活产生的困扰，使他想再度去旅行。
从1911年夏天开始的旅行，目的地不是当初计划的向往之地印度，而是去马来半岛、苏门答腊、锡兰等亚洲殖民地。在这些地方当然不可能有古代印度的精神。失望之余在年底回来后，移居到瑞士首都伯恩郊外，开始撰写长篇《艺术家的命运》，描写和比自己大9岁，而且有精神病的妻子玛莉亚的婚姻生活。
1923年，他取得瑞士国籍，同时和玛莉亚夫人正式宣告仳离，翌年1月和瑞士女作家的女儿露蒂·布恩卡结婚，这次的婚姻也没有维持多久，3年后宣告结束。然后在1931年和奥地利美术史研究家妮侬·杜鲁宾结婚，同时接受朋友好意提供的蒙达纽拉郊外的住宅，迁居到该地。这个新居被称为黑塞之家，妮侬夫人在以后三十多年里和丈夫共同生活，彻底扮演着“支撑者”的角色。
1932年，德国国内已由希特勒建立起政权，开始所谓纳粹的暴力政治。这个暴力也影响到黑塞的著作。他被视为“不受欢迎的作家”受到德国出版界的排斥，他的生活逐渐陷入艰苦之境。这段时间内，给予他帮助的就是继承柏林费舍书店的贝塔·兹尔堪普。
这个时期，在鲁加诺湖畔的蒙达纽拉山庄的庭园和果园里，可以看到黑塞大清早就戴着草帽整理庭园的草木，或清扫落叶枯枝。黑塞将这些工作视为对神的奉献，是以司祭的心从事这项工作的，可是，他的妻子却戏称他是“烧炭的人”。在这栋山庄里，除了黑塞夫妇之外，最重要的家人是一只聪颖的猫，主人称它为“豪杰”，疼爱有加。猫的孤独可能对黑塞的心产生莫大的影响。
不过，他并不是独善其身地在野蛮和破坏、杀害等满布血腥的纳粹政治下的黑暗时代过着隐居生活。实际上，他就像“人类的园丁”，在这孤独的山庄生活中，把对混沌现世的强烈批判，以及对精神乐园的向往都表达在巨著《玻璃珠游戏》中。这部小说费时十余年，直到1942年4月才告完成，翌年，在瑞士出版前后二卷。他的挚友托马斯·曼，看过这本书以后，对和他正在执笔的《浮士德博士》在内容上有共同点感到十分惊讶。
他很早就热爱歌德的《威廉的修学时代》，对德国浪漫派诺巴里斯的《蓝花》、霍夫曼的《黄金壶》，以及艾新道夫的诗与小说等特别亲近。非常注重传统的黑塞，有段时期被看成是新浪漫主义派不是没有理由的，可是想到他本来是从拥护一个人格和个人出发，从各个角度去探讨人性与批判的时代，更应该把他看成是写实主义作家。