苏轼立即着手整顿军队，把贪污者盗窃者下狱治罪，大煞赌博风、喝酒风及其它歪风。他要求官兵正常操练，学习武艺。他还穿上军服，对军队进行大检阅，要求各级将校按照官阶大小排列在前，加强军队的纪律性。

他视察军营的时候，发现不少营房破烂不堪，上漏下湿，不鼓风雨。他马上带领工匠，把各处营房全面检查一遍，编造一个预算，上报朝廷，进行修盖。他还生办法改善军人的服装和伙食。

苏轼在定州，一连接到几道命令,官职一降再降，贬所一迁再迁，贬迁的理由仍是老调重谈，即“毁谤先帝”，证据就是他根据宣仁太后的口令起草的诏命。最后把他原有的一切职衔剥夺净，从北方贬到最南方的惠州(今广东惠阳县)，担任建昌军司马。绍圣元年闰四月，苏轼从定州出发前往惠州，开始了晚年的悲剧命运。

惠州在大庾岭之南，那时候人们称“岭南”为“瘴疠之地”，意思是那里气候湿热，蒸发一种瘴气，容易使人生病。苏轼当时已经五十八岁，年老多病，两眼昏昏苍苍，两手动作不灵。另外，他不会料理生活，近几年虽然官高禄厚，薪俸较多，但是他一直调来调去，也就随手花光。这次从定州赶到惠州，要跋涉四千余里，需要相当笔路费，而他几乎是两手空空。他自己觉着很可能穷死在半路上;即使到达惠州，也决没有生还北方的希望。

“生死荣辱都是命运的安排，我决定一个人到惠州去,不连累家里任何人!”苏轼强忍着悲痛对家人说。他向子由借了七千缗钱,把家人安排在他的常州田庄。“爹爹，这决然不行!我们跟您去，死也死在一起!”他的三个儿子泣不成声地哀求。

“您那么大年纪了，孤身只影，无人伺候，怎么生活!”苏轼的侍妾朝云情意深沉地说，“不管您怎么说，反正我是非去伺候您不可!”

全家人都悲泣落泪。苏轼前思后想，后来决定带上朝云和幼子苏过以及两个老女仆。临行前，他与苏迈、苏迨作了诀别，并安排了后事。