如果你丈夫只有这一套房子，且搬出后确实生活困难，那么他不卖房，法院也是不会强制执行的，所以他说的有一定的“道理”，但是这不是他逃避责任的理由，他应及时支付孩子的抚养费，如果不支付可以要求法院从他的工资中每月扣除，如果发现他还有其他资产也可进行执行。