然而这段婚姻持续的时间并不算长。在李白与许氏结婚十年之后，也就是在他四十岁左右的时候，许氏去世了。

　　李白作为入赘女婿，不便继续在许家养育子女。而且根据李白这一时期所作诗文判断，他与安州当地官员关系不睦，似乎还得罪了不少人。所有这些原因促使他不得不迁居他乡。许氏的去世对李白来说是一个家庭悲剧，但也成为他新生活的开始。

　　李白决定把家迁到哪儿去呢?迁到东鲁兖州地区，也就是山东兖州，时间大约是开元二十八年(公元740年)左右。天宝元年，也就是李白四十岁左右的时候，他接到了唐玄宗召他进京的诏书，所以他不得不赶紧安排、安顿他的一儿一女。李白给儿女写了一首诗《南陵别儿童入京》，就像留言一样，说：“呼童烹鸡酌白酒，儿女嬉笑牵人衣。……”我们能从这首诗里看出当时他的孩子还很小，他要走了，这一双儿女笑着牵着他的衣服，还不太懂得父亲要离开家，不太懂得悲伤。那么许氏去世以后，李白的家庭生活是怎么安排的呢?

　　有一段时间，他把儿女安顿在了安徽的宣州，后来又托人将子女接到东鲁兖州，直至李白在李阳冰家去世之前，他的子女一直在东鲁地区。

　　关于他这一段时间的感情生活，魏颢在《李翰林集序》里谈到了这点，这也是我们现在能依据的很重要的一条材料，他说：“白始娶于许，生一女一男，曰明月奴，女既嫁而卒。又合于刘，刘诀。次合于鲁，一妇人生子曰颇黎。”什么意思呢?李白最初娶许氏，许氏给他生有儿子伯禽，女儿平阳，“明月奴”很可能是伯禽的乳名，这一点后面我们会谈到。“合于刘”，是指李白在许氏去世之后，曾与一刘姓女子住在一起。值得注意的是，这里没有说李白“娶”刘氏，说明李白与刘氏不过是一种准婚姻关系、同居关系。“刘诀”，后来两个人分手了，刘氏没有生育子女。“次合于鲁一妇人”，李白后来又在东鲁与一名女子同居，这位东鲁女子给李白生育了一个孩子，取名颇黎。最终，李白娶了第二任正式夫人宗氏。