第二年，少游因受党争牵连，贬出京城，出任杭州通判。朝华是一个坚贞烈性的女子，坚持随少游一道南下。行程刚刚到达淮上，少游便以“妨碍修真”为由，坚决地遣归朝华。并立即派人赶回京师，叫来朝华的父亲，把朝华带回京城。少游作七绝《再遣朝华》：“玉人前去却重来，此度分携更不回。肠断龟山离别处，夕阳孤塔自崔嵬。”真切地表达了少游复杂而沉痛的心态。

　　在大约一年的时间内，少游纳朝华、遣朝华、再遣朝华，这其中是是非非、曲曲折折，可能有着许多不为人知的故事。世人本来也没有什么议论，这毕竟是少游的家事，别人无须、也不好怎么说三道四。但是，在发生少游与长沙义娼的事情后，却招致了许许多多的质疑。

　　长沙义娼是一个很有传奇色彩的爱情故事：长沙郊外，有一个艺妓，“生平酷爱少游词”，每得一篇，就亲手抄录，反复咏唱。后少游南迁，经过长沙前往拜访。少游看见茶几上有一本《秦学士词》，故意问道：秦学士何人也?你哪来这么多他的词呢?你会唱吗?乐府名家中你独爱秦学士，那个秦学士到过这儿吗?艺妓不知秦少游就在眼前， 回答说：那个秦学士是京师的贵人，怎么会到我这个僻陋的地方呢?即使到此，又怎么会来看我呢?少游叹口气说：你爱秦学士，只是喜欢他的词罢了，如果亲见其人，未必会这样。艺妓说：若要见到秦学士，情愿做他的侍妾，虽死无恨!少游方才道破真相。艺妓大惊，告知其母，盛装打扮后重行拜见礼，并设筵款待。当晚便留少游住下，衾枕席褥都是艺妓亲自铺设。深夜少游熟睡，艺妓才敢睡下。天刚亮，便打扮齐整，端着洗漱用具，站在帐外等待。少游十分感动，连留数日。临别，艺妓发誓，一定洁身等待少游北归。一别几年，艺妓一直信守诺言，闭门谢客。一天白日做梦见到秦少游，哭醒后料知不是吉兆，派人打听，果然得到秦少游死于藤州的噩耗。于是身穿孝服，行程数百里，赶上少游灵柩，痛哭气绝而亡。一个普通的艺妓，竟然因为爱少游词进而爱其人，最终竟为之殉情，其情感天动地，故世人称之为“长沙义娼”。对这位义娼，少游感念至深。据考证，少游传世不多的词有好几首就是专门为她而作的。