这年七月，房子还没有盖成,惠州瘴疫流行，朝云不幸病亡，年仅三十四岁。她始终伴随苏轼，度过了黄州的苦难生活，又执意随到惠州来同受煎熬。现在她死在异乡为异鬼，苏轼是非常伤心的。他按照她的遗嘱，把她安葬在城西丰湖边的山脚下，还写了一首《悼朝云》诗和一首《西江月》词来悼念她。新房盖成前，苏轼写了一首《纵笔》诗:

白头萧散满霜风，小阁藤床寄病容。

报道先生春睡美，道人轻打五更钟。

此诗传到汴京，章淳看到，认为苏轼还生活得太舒适，就决定把他贬到更荒远的海南岛。

绍圣四年(公元1097年)二月间，新房落成，苏轼把它称为“白鹤居”，后人也叫作“朝云堂”。但刚过两个月,四月十七日,苏轼就接到移居海南岛的命令，而且限定在两日内启程。苏轼于当月十九日离开惠州，前往海南岛的儋州(今广东儋县)。由于时间紧迫，苏轼来不及收拾东西，以致把心爱的石砚也遗忘了。

苏轼路经广州，上溯西江，到达广西的梧州。在梧州附近的藤州，苏轼碰上了弟弟，子由也刚刚被贬往雷州。兄弟俩就一同南行到雷州半岛。

苏轼和苏过在雷州住了几天，不得不离去，子由陪他们到海边。临别前夕，兄弟俩和儿子们在船上过夜，但整夜都没有睡上一眼，都感到这是一次生离死别，心情非常悲哀。

“我去到海南岛，第一件事就是做口棺材，其次就是挖个校墓，死就葬在海外，尸体也不退回了！”

苏轼边泣边诉，子由等人都潸然泪下。谁知兄弟俩这次就是诀别，后来苏轼虽然回内地了，但终于未同子由再见一面。

第二天，苏轼和苏过乘船渡过琼州海峡，踏上遥远的海南岛。海风浩荡，如万马奔腾;(海涛呼啸，蜘山崩地裂;山谷传响，如钟鼓轰鸣;茫茫无际的海水，酷热难耐的矫阳，粗大茂盛的椰子林。这一切使苏轼得到一个不曾相识的新天地。