他的行为违背道德，但并未违法，因此你的损害赔偿要求无法得到法律支持。劝你果断离开他，过去的当做教训，好好开始新生活。