jag orkar inte, vet inte vad jag ska ta mig till...

Nej, lämna, släpp aldrig in honom i din nya lägenhet. Vill du ha förändring så måste du ta avstånd från denna man. Du måste försöka för ditt barns skull och självklart för din egen skull.
Visa tydligt att det är över och inte finns någon chans att ni ska bo tillsammans igen. Berätta för någon om din situation. Du behöver ha folk runt om dig som hjälper och stöttar dig.