苏轼闲的时候，象当年苏洵那样，躺在长椅上听儿子背书，偶尔提出一些指正或批判。他在儿子协助下，收集各种杂记，编成《东坡志林》，还完成了《书传》一书。

元符三年(公元1100年)五月，苏轼接到移居廉州(今广东合浦县)的命令,他就整理行囊，离开儋州，渡海北上。他刚到廉州，又接到移居永州(今湖南零陵县)的命令。他继续辗转北上，行至中途，十一月间，他终于得到可以自由定居的许可，流放生活才告结束。“人老家何在?往哪里去定居呢?”

“回故乡眉山去。这恐怕办不到。”苏轼翻来复去地思考着，“不然到杭州去，我深爱那里的湖山之美。噢，也不行，到杭州靠什么生活呢?”

“还是到颍昌跟子由一起生活吧!”苏轼继续思索着，当时子由也结束了流放生活，定居在他的颍昌庄田，写信叫哥哥去同住，“我们老弟兄俩感情最好，相依为命，还是在一块儿共度晚年吧!”

“也不妥当!”苏轼忽然转念，“颍昌离汴京太近，说不定会引起麻烦的。再者，我怎能把重担都压在子由肩上呢?”

苏轼经过再三考虑，最后决定到常州去，因为那里有自己的一块小庄田。第二年六月，他到达常州，暂住在东城门附近姓孙的一所房子里。

流放生活给苏轼以严重打击，他不但生活穷困潦倒，健康状况也日益恶化，能活着回来已属侥幸。他以六十多岁的高龄，从海南岛曲曲折折地奔回常州，跋山涉水，颠簸好几千里，经历一年有余，饱尝风霜雨露、流离失所的苦楚。他到江苏仪征时就中了暑，还拉痢疾。一到常州，在南方所受的瘴毒就发作了，百病丛生，卧床不起。

“我很庆幸自己能活着从南方回来，和全家人团聚。”苏轼对他的三个儿子说，“最难受的是归途中没有见到你叔父，恐怕是永别了!”

苏轼的病曾经暂时好转，此时他向朝廷上表，请求“致仕”(即退休)，与当时的政治生活一刀两断。但到七月下旬，病情极度恶化，发高烧，牙床出血，全身软弱无力。他预感到自己的大限快要到来，对三个儿子嘱咐了后事,最后还说:“我一生没有做过坏事，你们放心，我不会下地狱!”