Frånvarande pappa

Hej! 
Har två barn med en man som jag var tillsammans med i 12 år. Han har ett väldigt explosivt temperament där han blivit arg ifall jag inte städat tillräckligt, slagit sönder möbler, bankat huvudet i väggarna och skriker svordomar titt som tätt. Han har aldrig varit fysiskt våldsam mot mig. Försökte avsluta relationen för två år sedan vilket slutade med hot om att han skulle säga till rätten att jag är galen, han skulle ta allt ifrån mig och ta med barnen till landet där han bor. Efter ett år lyckades jag, och då visade det sig att han träffat en ny minst ett halvår tidigare. Han skrev över vårdnaden till mig helt utan invändningar till slut.
Nu till umgänge, han har försökt köra bil med barnen fast han druckit 5 starköl, låter dem åka utan bilstol, har aldrig tagit en natt eller morgon med dem. Han vet ingenting om barn. När han kommer hit, ca 4 veckor per år så får han bo hos oss då jag inte vill släppa kontrollen. Han ringer bara när det passar honom och blir arg om vi inte svarar. Vad ska jag göra? Jag vågar inte söka hjälp då jag är livrädd att det blir en orosanmälan och de ringer honom. Han själv tycker ju att han är en fantastisk far. Vet inte om det är rimligt att han ska få bo här när han får mig att må jättedåligt. Gör allt för barnen, de är 7 och 4.