不几年后，父亲战死在外，尸骨未归。那时他才刚几个月大，而守了寡的母亲倒是的确得到了那位节度使所给予的一笔不菲的抚恤银两。

本来，靠着父亲战死所换来的抚恤，至少也足够他们孤儿寡母的母子俩暂时过上几年吃饱穿暖的日子的，然而，母亲娘家的幼弟迟迟不能娶妻，他的外祖父母自然不可避免地垂涎上了女婿的抚恤银。

母亲心软，怎么也不能不管娘家父母幼弟的苦苦哀求，何况那时外祖父母他们嘴上说的十分好听呢。

他们说，这笔银钱虽然暂时“借”给他们一用，但是他们绝不亏待女儿，可以让女儿带着嗷嗷待哺的外孙回到娘家住，往后吃用都靠娘家的爹娘，也算是给女儿和外孙一个安身之所了。

于是母亲便选择取出了家中近乎所有的这笔积蓄，给她娘家的弟弟新盖了两间屋舍，娶来一位贤惠能干的媳妇。

不出所料的，她幼弟新婚两三个月后，新弟媳似乎看她带着孩子白吃白住赖在娘家十分不快，逐渐排挤着要撵她出去。

她娘家的爹妈只好又哄她说，如今新媳妇进门，还没替你弟弟生养过孩子，咱们姑且忍一忍她，否则恐她一气之下跑了，这可如何是好？待她把孩子生下，料她不能再跑了，我们就不必怕她，到时候再将你和外孙儿接回来住。

母亲无可奈何，只好空着手带着他离开了他的外祖家。

离开娘家又身无分文的母亲想要重回婆家，找婆家的公婆和叔伯们庇佑，但是她的婆家人见她把自家男人的抚恤都白白送给娘家的兄弟花了，对她也很不待见，也将她赶了出去。

那一年的天时又很不好，遭了一场蝗灾，北地州郡多是饿殍满地，母亲带着才八九个月的他，别说是沿街乞讨了，就是想要寻一份闲工赚两个家用钱，也无处去寻。