诏书发出以后，想不到有人又投并下石，说白居易做出这不仁不教的事，不应再治理州郡，于是朝廷又追回诏书，改贬江州(今江西九江)司马。

白居易受到这样的打击，气愤至极!他说，作为一个赞善大夫，就算是贱才冗才吧，遇到国家非常之事，当日奏请皇上，说我忧国忧君，亦当之无愧，想不到竟以此获罪，“可不悲乎!”至于看花坠井事，更是无中生有，蓄意诬陷。谁都知道，他母亲向来有心疾，自从寡居以后，由于家贫，加上白氏兄弟常旅居各地，心疾越来越严重。有一次竟因忧愤发狂，用苇刀自杀，幸而被人救护未死。四年前，正是因为旧病复发，家婢看护不周，不幸坠井而死。此事当时左右邻居都为他向裴度作证。想不到，四年以后，竟又把此事翻出来，大做文章，这正如白居易自己说的，问“是非不由己，祸患安可防!”

因为是贬滴，诏书一到，必须立即启程。许多亲友都不知道，来昭园里送行的只李建一人，姻亲杨汝士赶到他家，白居易早已启程。临行间，来不及料理家务，只关照家属，随后跟来。杨汝士追了很远才得见面，匆匆话别。

白居易仍旧骑着那匹瘦弱的老马，离开了都城。他走过灞桥时，回过头来，默默地向高大的长安城阙告别，他想起二十八年前，怀着“兼济天下”的雄心，挟着崭露头角的诗篇，第一次来到长安，拜见顾况时的情景。二十多年过去了，他在长安几进几出，直到现在他才真正品味出其间的滋味:“业未就而毁已生，言无闻而谤已成。”宰相被刺，合朝震惊，不知所措，自已挺身而出，要求追查凶手，不仅无功，反而有罪，什么是忠，什么是邪?什么是直，什么是曲?人间还有没有是非?

白居易只觉得一阵晕眩，他撩起腰间玉佩贴在发烫的脸上，借着一丝清凉之感来驱散眼前四散的金星。他现在还刚满四十三岁，但已经鬓白眼花，大有退幕之感了。他勉强振作起精神，轻轻拍打着那匹瘦辑的坐骑，沿者干裂的土路，在茫茫茫晨露中艰难地向前走去。