李适之在牛仙客死后与李林甫同时担任案相。这个新上任的宰相办事果断，很有才干。他认为李林甫没有真才实学，因此每做一件事，总不把李林甫放在眼里。李林甫表面上不露声色，暗中却总想要陷害李适之。

有一天，李林甫见着李适之，亲亲热热地打过招呼，然后说:“华山里有金矿，如果开采出来，国家就会富足起来。可惜皇上还不知道这事，您为什么不去向皇上提个建议呐？”

李适之一听，心想倒也是，开采金矿是件好事。于是，他马上去见玄宗，建议开采华山的金矿。

等到玄宗对李林甫提起这事时，李林甫故作惊讶地说:“这是谁出的主意?华山是关系到陛下命运的风水宝地，哪能随便乱挖?开采金矿是小事，破坏了陛下的风水那可就是大事了！”

京玄宗听了两个宰相的话进觉得还是李林甫对自己忠心，而且考虑问题周能。于是,玄宗召来李适之，当面训斥了一顿，并要他以后奏事时，先同李林甫商量。

李适之被李林甫捉弄了一番，两人更加结下了怨仇。不久，李林甫诬陷李适之与人结帮谋反，把他免去相位，贬官到了边远的地区。没几天，李林甫索性派人逼着李适之喝毒药自杀了。

李林甫制造了很多冤案，害死了不少人，他的冤家对头也就越来越多了。着到这种情形，李林甫的儿子感到非常担心，打算劝劝父亲。有一次，父子俩在后花园里散心。李林甫的儿子用手指着正在干活的役夫，对父亲说:“父亲大人久在相位，结下的怨仇布满天下。万一有一天大祸临头，恐怕想做个役夫也办不到了。”李林甫不高兴地说：“事情已经这样，那又怎么样呢？”

尽管李林甫对儿子的话感到不高兴，但细细琢磨，觉得儿子的话也有道理，确实，自己的冤家对头太多了。他越想越感到心惊肉跳，坐卧不宁，似乎觉得那些冤家对头已经派遣了刺客来到了他的府中。于是，李林甫连忙吩咐手下的官吏们加强戒备。

墙壁修了一重又一重，门栓加了一道又一道，李林甫还是感到不放心。他看看墙壁，担心刺客能把它挖穿，就在墙壁中加了木板，这样挖起来就会有动静。他瞧瞧地面，又觉得刺客能掏个地洞钻进来，赶紧又在地面上铺了大石块。到了夜晚，李林甫更是草术皆兵，一闭上眼睛，就好像刺客已经到了身边。为了安全，他一晚上要换好几个睡觉的地方，就连他家里的人也常常找不着他的踪影。

当宰相的总要出门办事，哪能老躲在家里呢?每逢出门时，李林甫总要随身带着一百多人做警卫，把沿途遇到的人们，不论是当官的，还是老百姓，统统撵到一旁，以防其中混有刺客。