白居易上任以后，就这样日日夜夜忙了三个半月,才初步理出个头绪。除了审理了一大批积案以外，还按照他以往从政的惯例，削减了过多的官员和过繁的科条，对摊派赋役不均的现象，进行检查修正，尽盘使百姓在一定限度内能够减轻一些负担。

尽管如此，白居易心中仍旧矛盾重重，正如他自已说的:“一家五十口，一郡十万户。出为差科头，入为衣食主。”身为刺史，总归不过是朝廷派出的一个“差科头”，不断向人民催捐征税，遇到水旱灾荒，赋税不能减轻，又不忍心去搜刮百姓，岂不是自寻苦恼?再说，自己一家，连妻子、儿女(在江州时生一子名叫阿崔)总共不过三口人，但因为做了刺史，投来门下寄食的亲属竟达四五十人之多，自已究竟为谁终日忙碌呢?想到这些，退居和归隐的思想又占了上风。

由于过度劳累，白居易身体终于支持不住了，不久便染上了眼疾。在一次公务中，又不慎坠马受伤。病中，他忽然做了一个梦，梦见自己被贬到岭南，在泥泞的道路上蹒跚而行，醒来时仍觉不寒而傈。这时，诗人又想到，今天身为刺史，说不定哪一天又会遭到贬谪，甚至被贬到比岭南更远的地方去。诗人思前顾后，最后还是决定称病休官，回到洛阳去。

宝历二年(公元826年)九月，白居易得到批准，离开了苏州。临上船那天，河岸欢送的人群扶老携幼随行十余里，苏州百姓对这位廉洁爱民的刺史依依不舍。白居易被这情景深深感动了。他的诗友刘禹锡知道此事，写了首诗相赠，诗中说:“闻有白太守，抛宫归旧溪(旧居)。苏州十万户，尽作婴儿啼(象婴儿一样哭着不忍离去)。”白居易写诗回答，深表惭愧：

为郡(担任刺史)已周岁，半岁罹旱饥。襦挎(比喻恩德)无一片，甘棠(比喻惠政)无一枝。何乃老与幼，泣别尽沾(湿)衣。下(对下)惭苏民(苏州老百姓)泪，上愧刘君(刘禹锡)辞(夸讲)。