第三句的“桃源”，是指陶渊明在《桃花源记》中描绘的世外桃源。其地在武陵(今湖南常德)，离郴州(今湖南郴州市)不远。武陵是避乱之地。“桃源望断无寻处”，是说作者因找不到这样的避乱之地而痛苦。秦观正是在被现实压迫得无法逃匿的情况下，才急于找到这个避难的“桃源”的。他的《点绛唇·桃源》里的 “尘缘相误，无计花间住”，写的当是同样的心情。

　　然而，“桃源”找不到，又住在远离京师的郴州旅舍里，本来 就容易产生客舍似家家似寄的思乡之情，更何况这是一个偏远的贬所。四、五二句正是着意渲染这个处所的冷峭和凄凉。王国维认为秦观的词能以境胜，把自己的心情移到景物上去，创造“有我之境”，并说：“少游词境，最为凄婉。至‘可堪孤馆闭春寒，杜鹃声里斜阳暮’，则变而凄厉矣。”(《人间词话》)还有人称“杜鹃声里斜阳暮”为“尤堪肠断”句。关于这一句，词史上有一段趣话：

　　《诗眼》云：后诵淮海小词云：“杜鹃声里斜阳暮。”公(黄庭坚)曰：“此词高绝。但既云‘斜阳’，又云‘暮’，则重出也。”欲改“斜阳”作“帘栊”。余曰：“既言‘孤馆闭春寒’，似无帘栊。”公曰：“停传虽未必有帘栊，有亦无害。”余曰：“此词本模写牢落之状，若曰帘栊，恐损初意。”先生曰：“极难得好字，当徐思之。”然余因此晓句法不当重叠。——《苕溪渔隐丛话》前集卷五十句法重叠当然不好，问题是“斜阳暮”三字不但不重复，还可以从中想见明晰的时间顺序和丰富的内涵——作者由于心事重重.月夜不眠，想到在现实中欲归无路，理想中的仙境又无处寻找.感到“孤馆”格外冷落。白天无所事事，又担心夜晚来临。眼看太阳从偏西到没落，难熬的月夜又将周而复始。正在作者为即将降临的夜晚发愁时，耳边又响起杜鹃“不如归去”的凄厉之声。试想这是多么难堪的境况，正与一个被贬谪的诗人的心境相吻合。在《点绛唇·桃源》里，有“烟水茫茫，千里斜阳暮”句。同一个“斜阳暮”，在同一个作者的作品中反复出现，可见对其有爱之不舍的心情。《野客丛书》(卷二十)的作者王梆说得好：“《诗眼》载，前辈有病少游‘杜鹃声里斜阳暮’之句，谓‘斜阳暮’似觉意重。仆谓不然，此句读之，于理无碍。谢庄诗曰：‘夕天际晚气，轻霞澄暮阴。’一联之中，三见晚意，尤为重叠。梁元帝诗：‘斜景落高舂’。既言‘斜景’，复言‘高舂’，岂不为赘?古人为诗，正不如是之泥。”这种解释很有说服力。