有抚养权的女方无其他子女，男方有子女，女方肯定是被优先考虑的。除非双方能达成抚养关系变更的协议，或者女方存在不适合继续抚养几种情形，男方才可能要回抚养权。