李林甫是在开元二十二年(公元784年)时开始担任宰相的，在那之前，官任更部侍郎。他是怎样当上宰相的呢?当时，玄宗十分宠爱武惠妃。削尖脑袋往上钻的李林甫便去走了武惠妃的门路。时间不长，果然升官做了宰相。

当了宰相之后，李林甫为了独掌大权，首先把刚正不阿的张九龄排挤出了朝廷。接着，经过他的推荐，玄宗任用牛仙客做了宰相。

李林甫特意推荐无能的牛仙客做宰相，就是为了自己能够独断专权。可是，朝廷中偏偏却有那么几位大臣不听李林甫的话，时常给玄宗上书提意见。李林甫对这几个人恨透了。

这一天，李林甫召集大臣们开会。会上，李林甫干笑了几声，阴阳怪气地说:“如今皇上圣明，做臣下的凡事按着皇上的意思去办就行了，哪还用得着多说话呐?各位大臣难道没有看到宫廷的那些仪仗马吗?平时它们吃的草料相当于三品官的体禄，身份多么尊贵!遇到宫廷典礼时，它们只要老老实实地站在那儿就行了。如果它们不合礼仪地乱叫了一声，马上就会被撵出宫廷。到了那时，再要想吃三品草料，可就不可能了!”李林甫言下之意就是说,谁要是再敢给皇帝上书提意见，就会得到同乱叫的仪仗马一样的下场。

会后不几天，有一位大臣又给玄宗写了封奏章。李林甫得知后，大为恼火。为了杀鸡给猴看，李林里甫下令把那个大臣撵出了朝廷，降职做了地方官。从此以后，朝廷的大臣们为了保住自己的乌纱帽，谁还敢多嘴?

由于李林甫善于察颜观色，总是顺着玄宗的心意办事，玄宗对他也就越来越信任了。到了后来，玄宗成天光顾着玩乐，干脆就把朝政大权全部委任给了李林甫。

李林甫的权力越来越大，总怕有人同他争权夺利。他最担心的有两种人正一种是才能声望比他高的人，另一种是比他更受玄宗宠信的人。对于这两种人，李林甫千方百计地设法除去。不过，这个老奸巨滑的宰相很会耍花招，暗地里虽然准备下毒手，当面却说得比蜜还甜。当时的人们都说他“口蜜腹剑”——“嘴皮上抹着骗人的蜜糖，肚子里藏着害人的刀剑。”

有一次，玄宗偶然想起一个人来，对李林甫说:“严挺之现在在哪儿啊?他是正个可以重用的人材。”说起严挺之，李林甫大吃一惊，连忙装糊涂说:“是啊，严挺之现在在哪儿呢!我去给陛下打听一下吧。”