Ex-man hårdhänt mot barnen

Hej! 
Jag och min exman har varit skilda i ca 2 år. Våra gemensamma barn, 7 och 9 år, bor vv hos mig respektive honom. Han har ny sambo och bonusbarn. 
Nu till problemet: Han är i min mening för hårdhänt mot barnen samt använder nedvärderande ord till de. Han tar tex tag hårt i nacken på sonen, har kastat en sko på honom vid ett till fälle osv. Vad gör jag? Har försökt prata med ex-mannen, men han lyssnade inte när vi var gifta så än mindre nu. Dottern vill hellre bo mer hos mig för hon tycker det är jobbigt hos honom men det tycker ej ex-mannen som inte tycker barnen "ska få vinna". För min del har jag de gärna mer men vill framförallt få till en fungerande vv-situation där barnen behandlas med respekt och kärlek i båda hemmen. Hur går jag till väga? Tips?