你们没有领取结婚证，不是合法夫妻，现在想离婚，可以先开一个婚姻证明，你们先协议离婚，争取孩子的抚养权，协议不成可以起诉离婚。