Hjälp!! Han vill ta mitt barn ifrån mig

Jag har ensam vårdnad av mitt barn som är 4 år gammal.
Under det första året så var barnets pappa med i bilden, det andra året var han där till och från och nu de senaste två åren har de inte träffats eller haft annan kontakt alls, vilket varit pappans val. han missbrukar alkohol och droger och har blivit dömd för misshandel av mig, och suttit i fängelse för det, han har även flera andra misshandelsdommar och andra dommar i sitt register.
Nu två år senare, när mitt liv är på topp så hör han av sig och säger att han ska kontakta advokat ang gemensam vårdnad eller umgänge.

Vad ska jag göra?! Va kommer hända?! Kan han ta barnet ifrån mig bara sådär?! Vi har ju ett liv, vi har en vardag , och han har tidigare valt att inte delta i det , är så rädd för hur detta ska påverka mitt barn ..