可到法院起诉，要求变更抚养权。但要有证据证明，孩子与男方生活不好，更适于女方抚养，如果孩子已满十周岁，还要考虑孩子的意愿。