羊祜是西晋著名的战略家、军事家和政治家，出身汉魏名门士族。从他起上溯九世，羊氏各代皆有人出任二千石以上的官职，并且都以清廉有德著称。羊祜祖父羊续汉末曾任南阳太守，父亲羊衜为曹魏时期的上党太守，母亲蔡氏是汉代名儒、左中郎将蔡邕的女儿，姐姐嫁给司马懿之子司马师为妻，声势显赫。羊祜十二岁丧父，孝行哀思超过常礼，侍奉叔父羊耽也十分谦逊恭谨。
后来羊祜与王沈一起被曹爽征用，王沈劝羊祜应命就职，羊祜用“委质事人，复何容易”予以婉拒，王沈便独自应召。公元249年，司马懿发动高平陵之变，诛杀曹爽，夺得军政大权。政变后，司马懿大举剪除曹氏集团，与曹爽有关的很多人遭到株连。王沈因为是曹爽的故吏而被罢免，遂对羊祜说：“真后悔当初没有听您的话啊！”羊祜却安慰他说：“这种事情不是一开始就能预料的。”羊祜就是这样谦逊，有先见之明，但从不显示夸耀。
司马炎受禅代魏后，羊祜有扶立之功，被任命为中军将军，加散骑常侍，改封郡公，食邑三千户。羊祜坚持不受公爵，因此司马炎封羊祜为侯爵。
晋武帝司马炎素有吞吴之志，以羊祜都督荆州诸军事、假节，并保留散骑常侍、卫将军不变，出镇襄阳。因为经略荆州有功，他被晋武帝加封车骑将军，开府如三司之仪，羊祜上表坚决推辞：“我听到陛下的恩诏，让我获得等同三公的地位。我入仕才十几年，在朝内外任职，每次都能得到重用。人的智力不可能一时间有如此的进步，不能总是得到这样的恩宠，因此我日夜诚惶诚恐，把荣华富贵当做忧患。古人说：‘如果一个人的德行没有达到令人折服的地步而得到高位，那些有真才实学的人就不会入朝做官；如果没有功劳的人获得丰厚的俸禄，那些有功的人就会得不到鼓励。我身为外戚，却总是碰到好运，本应警戒自己。陛下屡屡降下诏书，给我过多的荣耀，实在让我不能承受。现在很多有才能的人都没有获得高位，而我的地位远远超过他们，这怎么能使天下人没有怨愤呢？因此希望陛下收回成命。”
公元277年，晋武帝下诏封羊祜为南城侯，设相的官职，与郡公同级，羊祜再一次发挥谦逊本色，坚决推辞。
每逢晋升，羊祜都十分诚恳地退让，因此名德远播，朝野尊仰，都认为他应该居于宰辅之位。羊祜谦让不受，不管任何时候、任何地方，始终清廉俭朴、谦逊谨慎。被羊祜推举提拔的官员前来答谢，羊祜也总是避而不见。有人认为羊祜太过谨慎了，羊祜却说：“古人训诫说，入朝与君王促膝谈心，出朝就要佯装不知——这我还怕做不到呢！不能举贤任能，有愧于知人之难啊！况且我在朝廷签署任命，官员却跑到我家门口拜谢，这是我不应该得到的。”
羊祜曾经与东吴陆抗两军对峙，使者互通往来，陆抗称赞羊祜的德行气量，即使是乐毅和诸葛亮也不能超过。陆抗曾经生病，羊祜赠送他汤药。别人大多劝谏陆抗勿用，陆抗说：“羊祜岂能是毒害别人的人？”当时谈论的人认为是华元、子反又出现了。陆抗常常告诫士卒说：“羊祜一味推行仁德，我一味推行暴政，这样没有交战我们已经输了，应该各自保住界限，不要去追求小的利益。”孙皓听说边境上讲和，就责问陆抗，陆抗回答说：“一个乡里，不能够没有信义，更何况是大国呢？不这样做正是彰显德行，对于羊祜没有什么伤害。”
公元278年，羊祜病逝，举国皆哀。晋武帝亲着丧服痛哭，时值寒冬，武帝的泪水流到鬓须上结成了冰，并如此评价羊祜：“羊祜素来谦让，志不可夺。人虽然逝世了，但谦让的美德仍然存在。这就是伯夷、叔齐之所以被称为贤人，季子之所以保全名节的原因啊！”
荆州百姓在集市之日听到羊祜的死讯，罢市痛哭，街巷悲声阵阵，连绵不断。就连吴国的守边将士听闻羊祜死讯，也为之落泪。
羊祜的谦逊仁德流芳后世。荆襄一带的百姓为了纪念羊祜，特地在他生前喜欢游憩的岘山上刻下石碑，建立庙宇，按时祭祀。由于人们一看见石碑就会忍不住伤心落泪，杜预（由羊祜推荐给晋武帝，后吞灭东吴）因此称之为“堕泪碑”。荆州人为了避羊祜的名讳，把房屋的“户”改叫“门”，另把“户曹”也改为“辞曹”。
华元、子反：华元为春秋时宋国大臣，子反为楚国大臣。楚宋交战之时，两人为使，均向对方如实说出本国情况，被后世奉为楷模。