哲宗同意了他的请求。但苏轼还没赶到英州，朝廷诏命再下，继贬他为惠州安置，不得签书公事，等于恢复了在黄州时的政治待遇。
事已至此，苏轼不得不对家事做了一些安排。他让长子苏迈和二儿子苏迨到宜兴去，他在那里买的一片田产现在可以用上了。自己带着小儿子苏过，爱妾朝云和两个侍女继续南行。
在向惠州行进的途中，路过一片小树林子，“于林麓间见二道人，见坡即深入不出”。苏轼很好奇，对押送自己的使臣说：“此间有异人，可同访之。”使臣也觉得这两个道人奇怪，于是就一同进了林子，“见茅屋数间，二道人在焉，意象甚潇洒”。
二道人见苏轼等人进来，就问：“此何人？”
使臣回说：这是苏学士。
道人曰：“得非子瞻乎？”
使臣点点头说：苏轼“始以文章得，终以文章失”。
二道人相视而笑曰：“文章岂解触荣辱，富贵从来有盛衰。”
苏轼一听，点头悟道：“何处山林间，无有道之士乎？”