早年的少游，曾因事系狱，并且案情特别重大，关在诏狱(奉诏命关押犯人之所)里。据少游自述：“观自去岁入京，遭此追捕，亲老骨肉亦不敢留。乡里治生之具，缘此荡尽。”今其事已不可考，或者与所谓的“獧薄”有关。

　　南宋王灼《碧鸡漫志》云：“张子野、秦少游，俊逸精妙。少游屡困京洛(首都)，故疏宕之风不除。”把他与前辈词人张先并列，认为他俩都是私生活不太检点，常流连于声色场所的疏宕超奇之士。他的这种疏于检点的生活作风，引起了道学家朱熹强烈的愤慨。朱熹学承濂(周敦颐)洛(程颢、程颐)，对东坡这一脉的诗性人格，非常看不过眼。他说，东坡的那一套思想，那一套治国方略，假使真能实行，大宋朝也未必能向好。他认为，跟着东坡的，全是有名的轻薄之人，行为失检，这其中秦少游又最糟糕。朝廷诸大臣，信任东坡，对东坡举荐的人，一点也不加以磨勘详察，要是这些人都聚集在朝廷之上，天下何由致太平?朱熹说东坡自己作风便不谨慎，跟着东坡的人也像他一样，岂不是把天下事弄得一团糟吗?幸好东坡掌握权力时间无多，很多败坏朝政的事还来不及做出来，加上后来新党小人用事，更加糟糕，才显出东坡不坏。

　　还没有完，朱熹接着又说，东坡上台不多久就排废了许多端人正士，而接引来朝的都是不自律的人。就说秦观与黄庭坚吧，这二人虽然懂得向上，还是太自由散漫了。又道，东坡总是骂王安石，王安石固然有问题，但是假如苏轼做了宰相，引得秦观、黄庭坚这一队人进来，坏得更猛。