杨国忠的出现，李林甫的灾星到了，所谓一物降一物，恶人还须恶人治，李林甫终于遭遇到一个与其同一德性的真正对手。
杨国忠也属于爬虫类，他靠的是他的堂妹杨玉环的得宠和一身善为主子樗蒲（色子游戏）制造气氛的本事。杨国忠刚进朝廷的时候，李林甫并没有把他放在眼里，这个人整天傻呵呵的看不出有什么野心。杨国忠早知道李林甫是朝中老大，讨好皇帝之外，他不忘巴结李林甫，李林甫陷害太子李亨的行动，杨国忠就积极参与其中，充当急先锋。让李林甫失算的是，貌似憨厚的杨国忠原来心机颇重，不几天便换取了唐玄宗的宠信，地位不断攀升，大有与他分庭抗礼之势。
自从感受到来自杨国忠的威胁，李林甫开始厌恶并处心积虑地想挤走这个人。还是那条原则：“凡才望功业出己右及为上所厚，势位将逼己者，必百计去之。”凡是才能业绩比他强，深得天子厚爱并对自己的权势构成挑战的人，李林甫一定要想办法将其从天子身边撵走。杨国忠对此心知肚明，只是他像李林甫的“不见容色”一样，表面上也装作两人心无芥蒂。杨国忠兼领剑南（川蜀）节度，南蛮多次北犯，李林甫认为这是个机会，可以将杨国忠从皇帝身边支走。他启奏玄宗，南蛮侵边，请杨国忠赴蜀中任所去吧。玄宗虽然同意了杨国忠前去，但对这位爱卿终有些依依不舍。杨国忠看穿了这是李林甫给自己使的暗招，无奈皇帝已诏命前往，动身之前他来给玄宗辞行，哭哭啼啼担心被李林甫所陷害；杨贵妃也出面为之求情。唐玄宗安慰杨国忠说：你去蜀中督军，朕掐着手指等你回来，回来就任你做宰相。李林甫听到天子这话，心里一下子凉了半截，这不是弄巧成拙了吗？急火攻心，李林甫病倒在床。
入冬时节，李林甫的病不见好转。唐玄宗要赴骊山华清池去，命李林甫随驾，他只好拖着病躯，随驾来到骊山。也许是一路车马颠簸、也许是林甫心情抑郁，病情更加沉重。唤来当地的巫医探视，巫医讲：见上天子一面病就会减轻。——这个巫医看来名不虚传，打眼便知李林甫病的病根，他太担心失宠了，见见天子，安慰安慰就好了。唐玄宗闻此说，心想这有何难，朕便去慰问一下李相，被左右侍从以担心沾染病人晦气硬给劝住。无奈想了一个变通的法子，皇帝让人把李林甫抬到华清池院子里，天子登上降圣阁，远远地上下都能望见。玄宗在楼上手持一面红丝巾，向李林甫打招呼，李林甫起不了身，只好让人代为拜谢天子。病入膏肓的李林甫，在为帝王的恩宠和不舍的权力作最后的挣扎。没想到第二天，杨国忠就从蜀中跑了回来。杨国忠兔死狐悲、假模假式地来到李林甫病榻前安慰，李林甫一见杨国忠，便知大势已去，利用这最后一点时间，何不做个顺水人情。他挤出几滴眼泪，掏心窝似地交待杨国忠：我去后，大人您就接替相位吧，费心了。十几天后，李林甫永远地闭上了他那一对狡黠贪婪的眼睛。朝廷赠他太尉、扬州大都督，安排仪仗、棺木，由儿子们护送其灵柩回长安，灵车到达京师平康坊李林甫家时，才对外发布讣告。
杨国忠做了宰相，把持了朝政，翻过年不等李林甫安葬，就着手算账。他指使手下，到唐玄宗面前诬告李林甫，称李林甫曾与外族将领阿布思秘密拟定反叛计划，“诱林甫亲族间素不悦者为之证”，诱使李林甫家族中向来对其有怨言的人来作证，——杨国忠玩这一套“欲加之罪何患无辞”的把戏，较前辈李林甫毫不逊色，且显然“青出于蓝”。
一切权臣不过都是天子豢养的走狗，是玩于帝王鼓掌中的宠物，李林甫也不例外，已做故人无可再用的李林甫，遭皇帝遗弃是必然的，即使李隆基怀疑杨国忠对李林甫是构陷，站在他大唐皇权的利益上，他也宁信其有，因为此时唐皇帝需要杨国忠这只猎犬，哪里再会顾及李林甫那只死猫。
唐玄宗得到告李林甫的状子，表现得异常惊讶和气愤，立即下诏，全部剥夺李林甫身上的官禄爵位，废作庶人；李岫兄弟几个一律贬谪岭南，近亲、党羽五十多人统统流放；劈开李林甫的棺椁，取出含在嘴里的珠玉、剥下金紫朝服，换上一具薄板小棺，按庶民葬礼草草埋了；籍没其所有家产。
所谓恶有恶报，李林甫靠阿谀奉承、投机钻营，“位极台辅，不惧盈满”，权倾朝野尚不知足；“生既唯务陷入，死亦为人所陷”，活着挖空心思害人，死了便难逃被别人陷害的下场。——冥冥之中，苍天是公正的。
