Kan min man vända det mot mig?

Hej.
Min man och jag har en tuff period. Han blir alltid arg och förolämpar mig genom att säga att jag är dum i huvudet, hotar mig med det ena och det andra osv. Hade varit skönt att åka iväg en vecka eller två för att vara ifrån varann och tänka, men min släkt bor 90 mil bort och skulle jag åka iväg med vårt barn tror jag att han skulle vända det mot mig, "du tar vårt barn ifrån mig" offerkofta stilen. Vi är gifta och har gemensam vårdnad, om jag bara drar, kan han vända det mot mig på något sätt? Det är inget alternativ att jag åker utan vårt barn då min man jobbar och inte kan vara hemma (1 år är barnet o går ej på förskola ännu)