“儿子才四个月大，”，男方不得起诉离婚。你如果起诉离婚，法院会调解和好。调解不成，法院会依法对是否准予离婚和子女抚养做出判决。哺乳期的孩子应该判决随你一起生活。“女儿三岁了，一直都是在我家”，如果对方不坚持扶养，也可能随你一起生活。