不可以开除，但辞职不算公司过错。没辞职公司就要交保险，公司要交公司承担的部分，个人交个人承担部分。如果你公司让你全额（公司+个人）承担。你可以拿劳动合同，社保记录，去劳动监察大队告发公司，申请赔偿并补缴

第四十二条 劳动者有下列情形之一的，用人单位不得依照本法第四十条、第四十一条的规定解除劳动合同： （四）女职工在孕期、产期、哺乳期的； 上述法律规定，一般是指劳动者在没有违反以下条件的基础上不能开除。 （一）在试用期间被证明不符合录用条件的； （二）严重违反用人单位的规章制度的； （三）严重失...职，营私舞弊，给用人单位造成重大损害的； （四）劳动者同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或者经用人单位提出，拒不改正的； （五）因本法第二十六条第一款第一项规定的情形致使劳动合同无效的； （六）被依法追究刑事责任的。 第二点，上社会保险应该是用人单位在职工入职时办理的。除养老保险和医疗保险是需要职工分担的，工伤保险应该是由企业承担。