哺乳期是丈夫是应该照顾妻儿的，不管不问应该受到谴责，但还够不上遗弃罪。根据司法实践经验，遗弃行为情节恶劣是指：由于遗弃而致被害人重伤、死亡的;被害人因被遗弃而生活无着，流离失所，被迫沿街乞讨的;因遗弃而使被害人走投无路被迫自杀的;行为人屡经教育，拒绝改正而使被害人的生活陷一危难境地的;遗弃手段十分恶...劣的(如在遗弃中又有打骂、虐待行为的)等等。根据你的情况，如果关系破裂无法修复，你可以到法院起诉他负担孩子的抚养费。当然，和为贵，如果通过亲戚调解，他愿意承担责任更好。