羊侃，字祖忻，泰山梁甫人，少年时有奇才，身高八尺，爱好文史，广泛阅读书籍，尤好《左氏春秋》和《孙吴兵法》。刚成年时随父亲在梁州讨伐氐族立功。北魏正光年间，任别将。当时秦州有羌人莫遮念生占据州城造反，自称帝，派遣他的弟弟莫遮天生率部众攻克歧州，接着进攻雍州。羊侃被任为偏将，隶属肖宝寅前往讨伐，他藏身在坑壕中，伺机一箭射死天生，天生部众也随即溃散。因功升为使持节、征东大将军、东道行台，兼领泰山太守，进爵为钜平侯。
起先，他的父亲有南归的志向，常对他几个儿子说：“人生哪里可以长久留在异乡，你等可以回到南方去。”到此时羊侃想以河济地区投降南朝以实现父亲的志向。但是羊侃的堂兄，兖州刺史羊敦知道后，在兖州阻拒羊侃。羊侃率领三万精兵袭击他，未得成功，于是筑十余城守着，并派使者到梁朝。梁朝宣布，对羊侃的奖赏与元法僧相同，并派遣羊鸦仁、王弁率领军队去接应，李元履运送粮食和武器。北魏皇帝听说后，派使者去授予羊侃骠骑大将军、司徒、泰山郡公，长为兖州刺史。羊侃斩了使者，北魏大惊，命令行台尚书左仆射于晖率领数十万军队，还有高欢、尔朱阳都等部队相继而至，包围羊侃十余圈，羊侃城栅中矢已用完。伤亡惨重，而南朝梁的军队还没有来到，于是在夜晚突围而出，边战边行，跑一昼夜才出北魏的境界。到了渣口，还剩有一万多人，二千匹马。快进入南朝境内，士兵们都整夜悲伤地唱家乡的歌，羊侃对他们说：“你等怀念故土，按理就不能随我来南朝，现在去留就由你们，可在这里分别。”各人拜谢辞别而去。
大通三年，羊侃到了梁的都城建康，梁武帝下诏授给他使持节、散骑常侍、都督瑕丘征讨诸军事、安北将军、徐州刺史，他的哥哥羊默和三个弟弟羊忱、羊给、羊元都拜为刺史。不久任命羊侃为都督北讨诸军事，外出屯兵日城，刚好陈庆之行军失利，停止前进。这年，下诏任他为持节、云麾将军、青冀二州刺史。
中大通四年，下诏任使持节，都督瑕丘诸军事，安北将军、兖州剌史，随从太尉元法僧北伐。元法僧先启奏说：“我与羊侃有老交情，愿意与他同行。”梁武帝于是问羊侃作战计划谋略，羊侃详细予以陈述。梁武帝听了后说：“知道你愿意与太尉同行。”羊侃说：“臣离开北土回到朝廷，常常想为国效命，然而实在未曾愿与元法僧同行。北人虽然认为臣是吴人，而南人已经称臣为北虏。今与法僧同行，还是北虏之间同类相角逐，非但违背我一向的心愿，也使北方少数民族轻视汉人。”梁武帝说：“现在朝廷需要你同行。”就下诏任命他为大军司马。梁武帝对羊侃说：“军司马这官位废置已久，现在为你才设置。”行军到官竹，同行的元树在谯城作战失利，丧失了军队。回军后，授官为侍中。中大通五年，封高昌县侯，食邑千户。六年，离京出任为云麾将军、晋安太守。闽越地区有反上作乱的风气，前后太守都不能阻止平息，羊侃来到后讨伐出击，斩了他们的首领陈称、吴满等，于是郡内安定清静，没有人敢再反乱。不久，征召为太子左卫率。
大同三年，皇帝到乐游苑去玩，羊侃同时参加了宴会。当时少府上奏说新造成了一种两刃长矛，长二丈四尺，刃宽一尺三寸，梁武帝赐给羊侃一匹马，命他试舞。羊侃拿矛上马，左冲右刺，英武美妙，梁武帝连连称赞。梁武帝又赋了《武宴诗》三十韵给羊侃看，羊侃立即应诏随韵作诗。梁武帝看了后说：“我听说有仁的人一定有勇，今天见到有勇的人有仁，真所谓邹、鲁遗风，孔孟英贤不绝。”大同六年，升迁为司徒左长史。八年，升为都官尚书。当时尚书令何敬容掌权，羊侃与他同在尚书省。但却没有去拜访他。有宦官张僧胤去拜访羊侃，羊侃说：“我的椅子不是阉人坐的。”竟不接见。当时人认为他正派有气节，十分赞赏。九年。离京出任使持节。壮武将军、衡州刺史。
太清元年，征召为侍中。刚好大举北伐，就任命羊侃为持节、冠军，负责监督建造寒山堰的事。经过二十天，堰建造成。羊侃劝元帅贞阳侯萧渊明乘着水势进攻彭城，未被采纳。后来北魏援兵大量到来，羊侃又反复劝萧渊明趁他们远道而来加以袭击，第二天又劝出战，都不被采纳，羊侃就率领自己的军队驻扎到堰上。后来萧渊明大军失败，羊侃摆好了战阵徐徐退回。
太清二年，重新任命羊侃为都官尚书。侯景反叛，攻陷历阳，梁武帝问羊侃讨伐侯景的计策。羊侃说：“侯景反叛的迹像早已显现，他可能侵扰南下，应该马上占据采石，命邵陵王纶袭取寿春。侯景这样进退维谷，乌合之众，自然会分崩离析迅速瓦解。”有些人认为侯景不敢马上进逼京师，因此，这个计划也就暂时搁下了，命令羊侃率领千余骑兵驻屯在望国门。侯景到了新林，朝廷马上调羊侃入京师，成为台内大都督宣城王萧大器的副手，任都督城内诸军事。当时侯景突然到来。百姓竞相入城，社会秩序一片混乱。羊侃就布置分配防卫力量，以宗室人员参杂其间。军人们争先恐后进入武库，装备自己，有关官员不能阻挡，羊侃下令斩杀数人，方才阻止。不久侯景贼军逼近京城，人心惶惶不安，羊侃假称得到了城外射入的书信，内说：“邵陵王萧纶、西昌侯萧渊藻的援兵已经到了附近的路上。”大家才稍稍安定。贼军进攻东掖门，纵火焚烧，火势很盛，羊侃亲自领兵抵抗，他在门上凿空，往下浇水，火终于扑灭。他又引弓射杀数人，贼军才退走。诏加羊侃侍中、军师将军。有诏书命令送金五千两，银万两，绢万匹，赏赐给战士，羊侃辞谢不受。他自己带来的部队千余人，都用私产加以奖赏。
侯景军用尖顶木驴攻城。因上蒙湿牛皮，木石铁火都难破坏，羊侃作雉尾炬，除用枯草缚扎处，上还装铁箭头，用油浇浸，烧着后掷到木驴上，凿穿牛皮，就烧毁了木驴。贼军又在东西两面垒起土山，比城高，城中人惊骇万分，羊侃命挖地道直到土山下，把土挖空，山就塌下了。贼军又制造了登城楼车，高十多丈，想在车上对城内射箭，羊侃说：“车太高而城外沟虚，它来必然倒下，可躺着看它倒，不必防备。”等车一移动后果然倒下，大家都佩服羊侃的预见。贼军多次进攻不能胜利，就把京城团团包围起来。朱异、张绾主张开城出击，梁武帝问羊侃，羊侃答道：“不可以。贼军多日攻城，因攻不下，所以团团包围，目的是想诱降城中的人。现在出击，如果出去人少，不足以打败他们；如果人多，一旦失利，自相践踏，城门狭，桥小，必然伤亡惨重，这是向敌人示弱，不是宣扬王威呀。”但这意见没有被采纳，梁朝派出千余士兵出城作战。还未及交锋，就望风逃回。果然在争上桥时纷纷落水，死了一大半。
在此前，羊侃长子羊侃被侯景所抓获。侯景把他带到城下给羊侃看，羊侃说：“我把全宗族的人都用来报答圣上的大恩，还恨不够，哪里还计较一子，希望你早点把他杀了。”过几天侯景又抓他到城下，羊侃对羊侃说：“我以为你早已死了，你还在呀，我以身许国，誓死与敌作战，终归不会因为你而动摇我的进退。”说完拿起弓来射。贼军都被羊侃的忠义所感动，并不加害于羊侃。侯景派遣仪同傅士哲呼羊侃说话，他说：“侯王远道而来问侯天子，为何闭门拒绝，不及时进纳？尚书是国家大臣，应该启奏朝廷。”羊侃说：“侯将军在奔走逃亡之后，归顺国家，朝廷把重要的城市方镇委任给他管理，不知什么原因，使他忽然起兵？今天他驱使一些乌合之众，来到王城之下，掳掠马匹饮淮河水，向王城中射箭，岂有作为臣下而这样做的？我受国家的大恩，应当禀承皇帝的决策。扫荡反叛的逆贼，不能够轻易听你的花言巧语，开门迎接盗贼。请你回告侯王，望他及早好自为之。”士哲又说：“侯王奉事天子尽心尽力，不被朝廷所知道，正想当面启奏天子，以清除奸臣。既然在军中任职。故而带兵来到京师，怎么能说是造反呢？”羊侃说：“圣上君临四海五十年，聪明而有智慧，没有一件事能瞒得过他，有哪一个奸臣可以在朝廷上？要想掩饰错误，希望你不说假话。而且侯王亲自高举大刀，进攻城门宫殿，事奉君王尽臣下之节，有这样做的吗？”士哲无言可答，于是说：“在北方的日子里，久仰你的风采和谋略，恨平生不能和你相叙，请你脱去战袍，让我好好看你的风采。”羊侃就脱去了盔甲，傅士哲瞻仰了很久才离去。羊侃就是这样被北方人所钦佩和羡慕。
后来下起大雨，建康城内土山崩坏，贼军乘虚而入，战士们苦战不能退敌人，羊侃下令多掷火，使城成为火城用来阻断贼军的路，与此同时，在城里再筑城，贼军无法前进。十二月，羊侃遇病死于合城中，时年五十四岁。下诏给东园的棺材，布和绢各五百匹，钱三百万，赠官侍中、护军将军，又赐给一部鼓吹乐队。
羊侃少年时勇猛非凡，臂力惊人，所用的弓达到十余石。曾经在兖州的尧庙的壁上行走，上到四丈高，横行了七步。泗桥上有几个石人，长八尺，大十围即五尺，羊侃抓住它们互相击撞而碎。
羊侃生活豪华奢侈，懂音乐，曾自己创作《采莲》、《棹歌》两首歌曲，别具新意。姬妾在一旁侍侯。十分奢靡。有个弹筝人陆太喜，其弹筝的鹿爪长七寸。跳舞人张净琬，腰围只有一尺六寸，当时人都说他能站在人手掌上跳舞。又有一个孙荆玉，能反腰贴近地面，咬到席子上的玉簪。皇帝赏赐的歌手王姚儿，东宫也赏赐歌手屈偶之，都是能唱美妙动听的歌曲，一时无人可比。最初到衡州，在两只小船上造起三间通梁水斋，上面装饰了珠玉、有彩图的锦，和华丽的屏风，还有歌女和舞女，船解缆后趁潮前进，面对着水波饮酒作乐，两岸的观看者拥挤不堪。大同年间，北魏使者阳斐，与羊侃在北方时曾是同学，有诏书命羊侃请阳斐宴会，参加的还有宾客三百余人，宴会上的饮器都是金玉等所制作。有三部女乐队奏乐，侍侯的婢女达百余人，都手拿着金花烛。羊侃不能饮酒，而善于与宾客应酬，他整天陪伴着宾客，与他们一样时醉时醒。羊侃性格宽厚，有气量，曾经从南方回到涟口，设酒宴，有一个叫张孺才的宾客，醉后在船中引起火灾，连带烧了七十余艘船，被烧金银和帛不可计数。羊侃听说后，都不介意，命令酒宴不要停止。张孺才既惭愧又害怕，逃走了，羊侃派人安慰他并叫他回来，对待他像起初一样。
