Bryta interimistiskt beslut?

Så vitt jag förstår utifrån all googling och även advokat-kontakt jag haft (2 olika) så är det i praktiken så att endast umgängessabotage kan ge vite (dvs att man tar barnen när det inte är ens tid). Umgängesvägran ger inte något straff men däremot kan det ju ge den andra föräldern ökad chans att få vårdnad, större del av boende etc om det är det man vill. Man anser inte att det ligger i barnets bästa att tvinga en förälder till umgänge i Sverige. Jag är inte i exakt denna sits men en annan knivig sits och har därför lagt mycket tid på att ta reda på fakta i denna fråga. Båda  advokater jag pratade med sa att tvinga till umgänge går ej. Mitt problem är att min ex-man tar barnen precis när det passar honom, oavsett vems vecka det är eller vad jag planerat, men vill sedan att jag ska ta ansvaret så fort det inte passar honom oavsett vems vecka och oavsett vad jag då har planerat.