陆游的祖上本是世代务农，到高祖一代以科举发家，之后的祖父、父亲一辈，许多长辈都考中科举。陆游作为陆家的传人，有责任有义务参加科举并考中进士。并且，陆游的父亲此时已然赋闲在家，虽然还挂了一个提举洞霄宫的名头，可不过是领取一份微薄的俸禄，完全没有权力。振兴陆家的希望，就完全寄托在陆游的身上。

　　陆游如此沉湎女色，不务正业，让父母焦虑不安。母亲疼爱儿子，不忍心责备陆游，就多番找到唐婉训话。唐婉本也是官家千金，从小也任性娇纵，对姑妈(婆婆)的警告未免有些不放在心上。一来二去，唐氏就对自己这个侄女兼儿媳妇渐渐不满，最后变成水火不相容，必驱之而后快。

　　另一个原因，可能是唐婉不孕。古人多希望“早生贵子”，像陆游续娶王氏，次年就生了一个大胖小子。可唐婉婚后两年多，肚皮竟然一点消息也没有。这在古代可是“七出”之首的严重罪过。在唐婉和陆游离婚之后，唐婉再嫁，可婚后多年，依然无子。事实确实可能是唐婉不会生育。

　　于是，唐婉就有了两大罪名：让陆游倦于科举，影响仕途;婚后三年不孕，不能传宗接代。最终，陆母下令，将唐婉驱逐出陆家家门。

　　陆游不敢反对母亲的命令，可又不忍心伤害唐婉，于是，淳厚朴实的陆游也玩了一个小小心眼。唐婉离开陆家之后没有回到娘家，陆游在山阴找了个偏僻的地方，租了一栋宅院，金屋藏娇，让唐婉住了下来。可是，纸包不住火，不知怎么，消息还是被母亲唐氏知道了。唐氏很有心机，先让人把陆游叫去，说家中有事，然后带上许多丫环仆妇赶到那个宅院，亲手把唐婉给揪了出来。之后，陆母直接安排车马，把唐婉送回临安娘家。