“拾遗”是谏官，主要职责是向皇上提意见。不过历史上有几个皇帝听得进不同意见呢?一不小心，谏官自身随时都有获罪的危险，所以凡是谏官多半采取敷衍态度，或者是察颜观色，顺着皇帝的意愿，不痛不痒地“谏”几句了事。可是，杜甫决不是这类看风使舵的人，他喜欢讲实话，认为既然当了谏官，就应当尽到职责。

一天，满朝文武大臣都聚集在朝堂上。肃宗帝对群臣道:“众位爱卿，有事出班启奏，无事退朝。”话音未落，旁边走出一位大臣，诬陷房馆终日只知寻欢作乐，不理朝政。还诡称，最近查得董庭兰常常收人贿赂，作为朝官和房琯会面的媒介。应该追究这件事和房琯的关系，治以应得之罪。

“启禀陛下”，御史大夫、河南节度使贺兰进明也乘机道:“现在正是我大唐中兴的时机，应当任用贤才，面房琯崇尚虚名，大言无当，且多树私党。陛下重用他，他却不忠于陛下，应尽速免去他宰相之职。”

“陛下重用他，他却不忠于陛下”，这话肃宗帝已是第二次听说了。前些日子，贺兰进明从河南来到凤翔，被任命为代理御史大夫、河南节度使，他入宫谢恩时，肃宗帝惊讶地说:“我对房馆说拜爱卿为御史大夫，怎么会是什么‘代理’御史大夫?”贺兰进明听了，便怀恨房馆。他灵机一动，对肃宗帝说:“陛下重用房馆，房馆却不忠于陛下。”肃宗帝间他这话怎讲，贺兰进明回答说:“前些日子圣皇(指玄宗帝)接受了房琯的建议，任命永王璘为山南东道、岭南、黔中、江南西道(包括今湖南、湖北、广东、广西、贵州、江西等地和安微南部)节度使，负责经营长江流域其他储王，也都分守重镇；却让陛下为朔方、河东、河北、平卢等地(包括今宁夏、山西、河北、辽宁、吉林、黑龙江一带，以及黑龙江以北的一些地方)节度使，负的是恢复黄河流域的使命。黄河流域如能恢复，天下统一，自然最好，但从当时形势来看，北路的恢复比较困难，希望渺茫；南路的经略就大有把握，至少可以维持到南北朝时代的局面。因此房琯的建议，对圣皇很忠，而对陛下却不忠。”贺兰进明看见肃宗帝在微微点头，就振作精神进一步说“而且房琯又让他的私党辅佐诸王，掌握兵权，房琯的用意是诸王中任何一人得天下，他都不会失宠。从这看来，怎么能说房琯忠于陛下呢?”

当时肃宗帝听了这一番挑拨的话，默然不语。房琯本是玄宗帝的旧臣，很有声望，肃宗帝非常信任他，许多国家大事都要和他商量了才决定，但由于贺兰进明的诽谤，肃宗帝开始对房琯不满了。