元和六年四月，诗人又遇到了一件不幸的事:他母亲因旧病发作，家人照顾不周，不幸坠井身亡。诗人怀着无比悲痛的心情，辞官扶枢回到老家下邦。按照当时的礼教，诗人需要在故居守丧三年。

下封在渭河北岸，那里有一个偏僻的小村庄，叫渭村，村南有一渡口叫蔡渡。离蔡渡不到百步，有三四间茅屋，被树丛和竹林环抱着，这就是白居易的老家。白居易在长安作校书郎的初期，曾来这里住过。那时，他刚刚到京城做官,对前途充满着信心和希望，心情是愉快的。他每次来家，清晨黄昏都到渭水边上去散步，面对渭水，遥望南岸雄伟壮丽的华山，心胸十分舒畅。有时携着弟侄们到邻村去游玩，也颇为悠闲自在。

可是，这次重返旧居，心情却大不一样了:政治上的失意已使他灰心丧气，母亲的病故更使他倍加伤心。他把母亲的灵柩安葬以后，又赶到新郑和寒阳，把祖父白望和父亲白季庚的灵枢迁来这里。白居易办完走事，由于过度劳累，突然病倒了。谁知祸不单行，他病倒不久，唯一的爱女金銮子刚满三岁，又突然天折。诗人抱着病痛，眼看一锹锹黄土理下了爱女娇小的身躯，他的心简直都破碎了！

朝哭心所爱，暮哭心所亲;亲爱零落尽，安用身独存?几许平生欢，无限骨肉恩;结为肠间痛，聚作鼻头辛。悲来四支缓，泣尽双眸昏。所以年四十，心如七十人。包白(《自觉二首》之二)。

诗人说，他早上还在为母亲的病故而悲伤，晚上又为爱女哭泣，骨肉亲人一个个离去，;自已活着还有什么意义?!由于极度的悲痛，诗人四肢已软弱无力，双目也昏花。刚满四十的年纪，已感到如同七十岁的老人了。

在国事与家事的不断缠绕之下，诗人几乎失掉了生活和斗争的勇气。“悠悠身与世，从此两相弃。”他决定再也不过问政治，准备象陶渊明一样，过“隐居”生活了。隐居以后，生活来源怎么办?他想到陶渊明，决计自己种田。