白居易在江州住了三年，到了元和十二年十二月他突然接到诏令,任命他为忠州(今四川忠县)刺史。诗人当然是高兴的，因为刺史是掌管州郡的地方长官，职位比司马高。

一天，他来向草堂告别。他登上堂前台阶，看着那纸糊的窗户，泥抹的墙壁，简陋的陈设，一切都感到倍加亲切，一草一木都使他恋恋不舍。他自问自答道:“今后还能回来吗?要回来，一定要回来!”临走，诗人在泥壁正中题了一首《别草堂三绝句》，其中一首写道:

三间茅舍向山开，一带山泉绕舍回。

山色泉声莫惆怅，三年官满却归来。

忠州是个山区小县，地处偏僻，出产少，人民生活贫困。白居易为政清简，尽量减轻人民负担，使人民能够休养生息。他除了平日例行公事外，许多时间都化在种花植树上。诗人什么树都种，但特别喜欢种荔枝。

诗人在一首《种荔枝》诗中写道:

红颗真珠诚可爱，白发太守亦何痴。

十年结子知谁在? 自向庭中种荔枝。

荔枝是一种很难生长的植物，种下去十年以后才会有收获。所以诗人说，熟透的荔枝象红颗珍珠二样可爱，我这个白发太守(当时诗人任刺史，也称太守)也真傻，十年以后荔枝结果时，我还在这里吗?可我不管人们怎么痴笑我，我还是一心要在院中种荔枝。

诗人为什么这么喜欢种荔枝呢?

那还是在诗人刚到忠州不久，有一天，诗人正和妻子杨氏在院中引水浇花，忽然收到弟弟自行简从长安寄来一信(这时白行简已在朝中任官)，信中除了一般家常问候外，还特别说到这样一件事:一天夜晚，白行简夫妇在教孩子龟儿学诗，龟儿见人家小孩都能读《长恨歌》，他也要读。于是，白行简便一字一句教了起来。教到最后，龟儿突然提了个问题:

“诗里为什么没有写贵妃娘娘吃荔枝的事?”这一问，爸爸妈妈都笑了起来。

“这可要去问你伯父了.....”白行简笑着说，“你见过荔枝吗?”

“没见过，”龟儿说，“你们见过吗?”

这一问倒把他爸爸妈妈问住了，因为他们也从未见过。荔枝自古出产在南方，长安人很少见到，也很少有人吃过。

“那赶快去问伯父，伯父一定知道!”龟儿说着，得意地笑了起来。

白行简夫妇经龟儿一再催促，真的写了这封信来请教白居易，并要他画一张荔枝图。