1、在某些特定的情形下，对方当事人仍然可以要回抚养权。 2、民法通则18条规定，监护人不履行监护义务或侵害被监护人合法权益，应当承担责任，造成被监护人财产损失应当赔偿。人民法院可以根据有关人员或有关单位的申请撤销监护人的监护资格。 3、上述法律规定所体现的有关人员就包括未取得监护权的孩子父方或母方，...以及其它对孩子负有抚养义务的祖父母、外祖父母等孩子的近亲属。有关单位指的就是民政机关等基层组织。因此，在依法取得孩子监护权的一方当事人，出现不履行抚养义务或严重侵害被监护人，或者出现丧失抚养能力的情形下，对方当事人有权依法申请撤销该监护人的监护资格，并本着对未成年子女成长负责的态度，请求人民法院判决撤销当事人监护权的同时，将监护权变更为己方所有。 司法依据《中华人民共和国民法通则》16条、18条