开元四年冬天要姚崇被免去了相位，宋璟接替做了宰相。

姚崇初任宰相时，玄宗对他很信任，什么事都要首先和他商量。有一次姚崇病倒在床，玄宗连忙派遣使者去探望他的病情。还没等这批使者回来，玄宗又派出了第二批使者。紧接着，又是第三批、第四批...一天之内，玄宗竟然派了几十批使者去探望姚崇。

可是,没过几年，玄宗就对他不大满意了。姚崇有两个儿子，也在朝廷做官。他们经常借着父亲的名义办坏事。人们看在宰相的情面上，当面不说什么，背地里却在说闲话。这些话传到了玄宗的耳朵里。听得多了，玄宗心里就结下了一个疙瘩，总觉得姚崇有私心。

后来，又遇到了这样一件事。姚崇手下的亲信赵诲接受了别人的贿赂，事情发觉后，玄宗亲自查问，并把赵诲关进了监狱。姚崇前去求情。玄宗火了，心想:“姚崇对自己的儿子纵容不管，还包庇犯了法的亲信，这还得了?你来求情，我偏不留情！”随即下达了一道命令，把京城的所有犯人全部赦免释放，唯独把赵诲打了一百棍子，发配到了南方。

姚崇是个聪明人，看到这情景，感到皇帝已对自已不大信任，这样下去，总有一天要被罢官，不如急流勇退。于是，他接连写了几封奏章，要求辞去相位，并建议由广州(辖境在今广东省境内)都督(地方军政长官，相当于总管)宋璟继任宰相。

玄宗接受了这个意见，免去了姚崇的相位，给他另外封了一个高级官职，并派人到广州接来了宋璟。

宋璟为人正直，勤奋好学，很有骨气。原先他就担任过宰相职务，是后来因为反对太平公主被免了职，从此做了几年不得志的地方官。

在担任广州都督期间，宋璟办了不少好事。当时，广州境内的老百姓住的都是茅草房，很容易发生火灾。宋璟教他们学会了烧砖烧瓦，盖起了砖瓦房。火灾大大减少了。