质疑这种关系的人指出，根据《宝庆续会稽志》记载，唐琬的父亲唐闳是山阴(今浙江绍兴)人鸿胪少卿唐翊之子，而陆游的母亲则是江陵(今属湖北)人唐介的孙女。这两个地方相距遥远，两家虽然都姓唐，但并没有宗族血缘关系。既然唐琬的父亲唐闳与陆游的母亲不是兄妹，那么陆游与唐琬也就不可能是表兄妹了。

　　但这种考证所依据的材料有限，而且方志的记载未必可靠。而关于唐琬是陆游表妹的说法，却是源远流长。

　　据南宋周密《齐东野语》记载：“陆务观初娶唐氏，闳之女也，于其母夫人为姑侄。”即明确说明唐琬为陆游母亲的侄女，这样陆游与唐琬自然是表兄妹了。南宋的陈鹄在《耆旧续闻》中也有这样的记载，其中说到唐琬是陆游的表妹，二人结婚后“琴瑟甚和，然不当母意，因出之。夫妻之情，实不忍离。后适南班士名某，家有园馆之胜。务观(陆游字)一日至园中，去妇闻之，遣遗黄封酒、果馔，通殷勤。公感其情，为赋此词。其妇见而和之，有‘世情薄，人情恶’之句，惜不得全阕。未几，怏怏而卒”。这段记载不仅说明二人是表兄妹关系，而且对他们结婚后的生活状况进行了描述，对他们分离的原因作了交待，对陆游写《钗头凤》的过程作了详细的说明。

　　由于陈鹄距陆游生活的年代较近，是属于与陆游同时而稍晚的晚辈，因而所说具有较大的可信度。另外，南宋的刘克庄在《后村诗话续集》中也沿用了陈鹄、周密的说法，认为陆游和唐琬是表兄妹的关系。后来清代所编《历代诗余》、《宋人轶事汇编》等书中，也与《齐东野语》、《耆旧续闻》等记载相一致，认为唐琬是陆游的表妹和妻子，并且因为陆母的反对而劳燕分飞，留下一段凄美的爱情故事。