羊祜是东汉重臣蔡邕的外孙，晋景帝司马师的献皇后的同母弟。他虽然出身于官宦世家，但为人清廉谦恭，毫不奢侈骄横。
羊祜年轻时曾被荐举为上计吏（地方至京上计簿将地方全年人口、钱、粮等上报朝廷的官员），州官四次征辟他为从事、秀才，王府也请他做官，他都辞谢不接受。晋武帝司马炎称帝后，因为羊祜有辅助之功，被提拔为中军将军，加官散骑常侍，封为郡公，食邑三千户。但他坚持辞让。后来又因为他都督荆州(今湖北襄阳)诸军事等功劳，加官到车骑将军，与三公的地位相同。羊祜上表坚决推辞，他说：“我入仕才十几年，就官居显职，因此昼夜为自己的高位诚惶诚恐，把荣华当作忧患。我身为外戚，事事都遇好运，理应警诫受到过分的宠爱。但陛下屡屡降下诏书，给我太多的荣耀，使我怎么能承受?如何能心安?现在有不少贤德俊才之士，如光禄大夫李熹高风亮节，鲁芝洁身寡欲，李胤清正朴素，都未能幸运获得高位，而我无德无能，地位却超过他们，这怎么能平息天下人的怨望呢?因此乞望皇上收回成命!”对于羊祜的上表，皇帝并没有同意。
晋武帝咸宁三年(277年)，羊祜又被皇帝封为南城（属江西省）侯。羊祜历仕二朝，大权在握，许多政治上的大事，皇帝都要同他商讨定夺。而羊祜功高不盖主，权重不妄为。他筹划的谋略大计和议事的手稿，过后都焚毁。凡是他所举荐晋升的人，他从不张扬，被荐者并不知道是由他举荐。有人认为他这样做未免过于慎密了，羊祜却说：“入朝与君王促膝谈心，出朝则佯称不知。这是古人的训诫，我还只恐怕做不到呢!在朝廷签署任命，官员到私门拜谢，这是我所不取的。”
羊祜的女婿曾劝他培植自己的亲信，身边要有一批拥戴自己的人。羊祜听后毫不接受。他告诫儿子们：“臣子树立私恩必然会违背公义，你们应该懂得我的心意。”
羊祜平时清廉俭朴，衣服被褥都用素布，他将所得的俸禄全都用来周济族人、赏赐给军士，家无余财。他临终留下遗言，不让把南城侯印放进棺柩。羊祜妻托付外甥齐王司马攸上表，遵从羊祜遗愿，不接受侯爵级别的殓葬。晋武帝下诏说：“羊祜一向谦让，志不可夺。身虽死，谦让的美德却依然存在，遗操更加感人。这就是古代的伯夷、叔齐之所以被称为贤人，廷陵季子之所以保全名节的原因啊!现在我允许恢复原来的封爵，用以表彰他的高尚美德。”
（见《晋书·羊祜传》）
赞曰：功高盖世未居功，不做侯王拒郡公。
俸禄济贫能有几，土衣素布两相融。
※诗作者：余文祥
