据《宋史》本传记载，丁大全是用了先打后拉的手段，逼迫冯去非就范。“远梦偏欺孤旅”，实指可能就是这件事。去非对丁大全的这种行径，又愤怒又好笑，同时对官场又多了一层深刻认识，更坚定了远离官场，隐居而终的决心。所以词中接下去写道：“但凭舷微笑，书空无语。”“微笑”，既是对丁大全之流嗤之以鼻，也是作者在诀别官场之后心境安详的表露。

　　“书空无语”，是用东晋殷浩的典故。《世说新语。黜免》载，殷浩被废，终日书空作“咄咄怪事”四字。书空，用手指在虚空中写字。这个典故用得很贴切，作者位虽不及殷浩，但怀抱相似，遭遇相同。作者对这种不公平的遭遇，无话可说，只有书空无语而已。寥寥数语刻画出一个经历过宦海浮沉，见识过卑鄙小人后日趋旷达的归隐者形象。因此，幽愤之情，溢于言表。

　　下片换头由映入“清镜”里满面征尘的自我形象，转入对仕途往事的回忆。“慷觑”，懒得看，实际上是不忍看。“十载”句，指词人前后算来，他的仕途“征尘”生活，也不过十年左右。“长把朱颜污”，沉痛之中，杂有愤恨，对当时官场的批判，深刻犀利。《世说新语·轻底》云：“庾公（亮，字元规）权重，足倾王公（导）。庾在石头，王在冶城坐，大风扬尘，王以扇拂尘曰：”元规尘污人！“尘污”一词，主要用它政治上的寓意，矛头直指权奸丁大全之流。经历过十年的仕途坎坷生活后，词人从形象到心境都发生了极大改变，往日的朱颜已成“尘满面，鬓如霜”，所以不忍看。容颜已然苍老，心境也不例外，对长招朱颜污“的官场和小人，词人有了无奈而深刻的体认。

　　“借箸”、“挥毫”两句，是具体回忆自己仕途生活中可兹纪念的内容。“借箸”即出谋画策，出于《史记》“青油”指军中帐幕。这里的“紫塞”，是泛指北方边塞，冯去非“尝干办淮东转运司，治仪征”（《宋史》本传），仪征地处南宋的北边境，比作“紫塞”，亦无不可。从“借箸”、“挥毫”两句看，冯去非智谋超常，所以能在公卿间出谋运策，在边塞之上倚马挥毫。可是却被罢官，“借箸”，已成陈迹，作者用“旧事不堪重举”一笔结束过去，同样寓有不堪回首的沉痛。“间阔”以下，转写隐逸志趣。人生中原本不止一种美丽，一种价值。实现仕途抱负固然值得羡慕，但如果客观条件不允许，何不纵情山水？山林之趣也值得向往啊！“间阔”、“冷落”等句，承“十载征尘”而来，对久违的“故山猿鹤”、“同盟鸥鹭”有抱歉之意，同时又开启结句的“倦游”一层，脉络井然。结句则形象而明快地写出了归隐的行动。“樯云舵月，浩歌归去”，萧洒而决绝。