但是，祸不单行，许家老员外夫妇相继而亡。
许大郎争家产
之后许府门里就少了安宁，不是小俩口在闹矛盾，而是半路里杀出个程咬金来。许氏的堂兄闹着要继承叔父家的家产，理由是堂妹是嫁出去的女儿泼出去的水，并没有资格继承许家的遗产。
白兆山 李白纪念馆
许老相国父子俩一生做官清廉，并没有多少遗产可继承，只有数十亩土地和一个三进大院，还有凡夫俗子瞧不起的万卷藏书、许大郎对藏书不感兴趣，说那些书不能吃也不能喝，他把目光集中在土地和房产上。许氏全力以赴，据理力争，认为：她不是嫁出去的女儿、李白是招上门来的女婿，就是许家的儿子，就应该有继承财产的权利。
许大郎胡搅蛮缠不讲理，说李白没有改姓许，他的一双儿女平阳和伯禽也并不姓许，就不是许家的人，因此不予承认。他欺负堂妹是个女流之辈，人单势薄。两兄妹闹得势不两立。许氏身体本来就虚弱，这样一闹，身体更加差劲，气得心口疼痛，而得了病久治不愈。
安陆李白紀念館中李白在安陆娶妻生子雕像
李白外游回来，面对此事，尽管也很生气，但显得很豁达，他奉劝妻子说：“我对钱财的事，向来看得极淡，钱财本来都是些身外之物，生不带来，死不带去。我所信奉的是：天生我才必有用，千金散尽还复来。对于你这个耍无赖不讲是非的堂兄，咱们惹不起他，难道还躲不起他?我看你干脆就把我这个入赘女婿的身份变一变吧?”
“怎么个变法?”
“咱们干脆离开这个家，离开安陆，去另外找个地方安家，就算你出外嫁给我，好吧?”
“你说得倒很容易，不当家不知柴米贵，破家值万贯哩。你是一个穷书生，重立个新家谈何容易?这又不是吹糖人，吹口气就出来了。”
“俗话说：在家靠父母，出门靠朋友。就连要饭的都有几个穷朋友嘛。”
“那你说咱们去哪里?”
李白吟诗图
这时李白有想回西蜀老家的打算。离家已经十二年了，恐怕父母都老了很多。携妻带子回乡，父母一定会非常高兴。可是转念一想自己还是个布衣身份，怎么有脸见家乡父老呢?还是再等一等过些时候吧。思来想去，李白想到了一个地方：去东鲁任城(今山东济宁市)，那儿有孔巢父、韩准、裴政等五位朋友，他们会帮忙给我们安下个新家的。
“好吧，我就依你了。”
迁居任城
许氏夫唱妇随地决定了出走。可是，许氏一想起就要离开这个生她、养她的老家，不由得就热泪盈眶了。李白用手巾替妻子拭干眼泪，极力安慰她说：“夫人，这十年来你为我吃尽了苦头。我名义上是许家上门女婿，实际上却像个流浪汉长年在外漂泊，很少回家，就是回家小住，也是好酒贪杯，时常长醉不醒。这个家，全靠你全力撑持，就是卖尽了你的金银首饰，也毫无怨言。我一个堂堂七尺男儿，虽有千首诗篇，却也换不回柴米油盐，真是愧对于你呀！”
“别说了，谁让我是你的妻子呢?谁叫我们是恩爱夫妻呢？”
“夫人，我写有一首《赠内诗》，你愿意听吗?”“
当然愿意！妾身洗耳恭听。”李白当下在夫人耳边吟诵了起来：
三百六十日，日日醉如泥。
虽为李白妇，何异太常妻?
诗中，李白把自己比作后周时的太常周泽。周泽每天在皇宫中打更，让妻子天天晚上在家中独守闺房。许氏说：“夫君，我成为你的妻子并不后悔。你长年累月在外，四方游历，是想行万里路、读万卷书、拜万人师，为了找寻写诗的材料。你爱酒如命是把酒当作了诗的灵感和发酵的引子。喝的酒越多，写的诗也就越多，你就更加名扬天下。总有一日，老天爷会开眼，让伯乐发现你这匹千里马的。”
“生我者父母，知我者夫人也。”李白得到妻子如此的安慰与支持，连喝酒成癖的坏习惯妻子也不反感，真是人生得一知己足矣。他激动得一把抱起妻子在屋里转了一大圈。
“别让人家看见，当心叫儿女们发现。”
“看见怕什么?我就是要叫孩子们知道，他们的爹爹是多么地喜欢他们的妈妈嘛。”
夫妻俩会心地一笑，达成了共识。第二天李白就找许大郎交谈，提出许家的一切财产他都愿意放弃，只要全部藏书，以及妻儿随身的行李就可以了。
许大郎为人刁钻，这次蛮不讲理争夺叔父家产，本来理由和底气都不足，只想胡搅蛮缠能分到一半就心满意足了。现在竟然想不到能全部获得，真是天上掉下了大馅饼，他假装不好意思地说：“多谢老弟慷慨无私，这，这怎么行呢?你和妹子一家人还要生活，我看还是咱们平分吧。”
“不必了，不必了。俗话说，好男不吃分家饭，好女不穿嫁时衣。人人都有一双手，我们是饿不死的。”
“那我也就不客气了。”许大郎说完，心里美滋滋地。
很快，李白就带着家人和书童丹朱、丫鬟荷香，以及几大车书籍，东迁到东鲁任城。他在孔巢父等朋友的帮助下，在城内的一条僻静小巷内购置了一个小院落居住了下来。
