Fel att avvakta med att flytta ihop

Jag tycker att din oro verkar högst befogad. Flytta inte ihop under de omständigheterna.
Det kommer inte att bli bra för dig, och inte för dina barn.
Ta hand om dig själv istället. Bästa sättet att göra det är nog att avsluta relationen. Du måste tänka på dig och din familj. 
Det är inte roligt att upptäcka att man blivit utnyttjad, men det låter som att han utnyttjar dig totalt.