家中没有了当家的男人，麻烦事接连而来。李清照的丈夫赵明诚是著名的金石学家，家境殷实，生前收藏了很多古籍文物。他死后，李清照立志要保存丈夫遗物，并完成《金石录》作为对丈夫最好的怀念。但很快就有人盯上了这些财富。宋高宗宠信的御医王继先登门，提出用三百两黄金来收买李清照保存的古籍文物。李清照没有答应。后来，社会上又流传起来李清照“颁金通敌”的传闻来。原来有人指责李清照的作品中有对金国的赞颂之意，宣称李清照通敌。当时金兵压境，朝廷本身流离不定。李清照为了证明自己的清白，携带古籍文物追赶朝廷，希望通过向朝廷献宝既为自己洗刷罪名，也保住文物不致流散。

　　李清照跨出越海，跟随朝廷的踪迹。公元1132年，南宋局势略趋稳定。李清照决定将15车藏品中的绝大部分寄存到随皇室逃难到洪州的弟弟、敕局删定官李迒那里。然而，当年年底，金兵攻陷了洪州，藏品化为灰烬。

　　再次受到沉重打击的李清照带着随身的最后一点藏品辗转到了绍兴，决定在绍兴住下来。她租赁了一位钟姓的读书人的房子，把所剩的几箱书画古玩置于卧榻之下，闲时开箱把玩。不料，一天夜里，窃贼挖墙而入，盗走了其中的五个箱子。李清照伤心欲绝，为了重获藏品，不得不公开悬赏寻物。没几天，那钟姓房东拿着十八轴画卷领赏来了。原来这一切都是姓钟的读书人主导的。他变卖了多数藏品，拿着剩下的画卷来领赏。李清照虽然知道真相，但自己是流落异乡的寡妇，无力抗争，只好花钱赎回画卷。为此，李清照还大病一场。

　　在李清照最为无助、最为愁苦的时间里，一个自称是赵明诚同学、时任右承奉郎监诸军审计司张汝舟来拜访李清照了。张汝舟对李清照嘘寒问暖，关怀备至。李清照孤身一人飘零异乡，也希望为自己的晚年寻找一个稳定的依靠，于是就被媒人“如簧之说”和“似锦之言”所打动，决定改嫁张汝舟。