可以找男方协商变更抚养权或者起诉到法院，要求法院判决抚养权的归属。需要说明的是，抚养未成年子女是父母双方的法定义务，不管双方怎么协商，都是要承担抚养费到18岁成年的。你以前的做法本身是有问题的，男方出轨，属于有过错方，男方应该是少分夫妻财产的，你不应该净身出户，即便是男方抚养孩子，你只需要分担自己所...需要的抚养费就行了。即便是你净身出户，协议你不用抚养费，这仍然免不了你应该承担的法定抚养义务。