Pappan vill inte lämna ut sin adress

För att göra en lång historia kort och inte lämna ut för många detaljer:

Jag har ensam vårdnad om två barn i lågstadieåldern. De har umgänge med sin pappa varannan helg. Han är inte folkbokförd på den adress där han egentligen bor (hur jag vet det är inte relevant), jag vet vilken stad det gäller men inte adressen. Han har vägrat att lämna ut den adress där han egentligen bor, och där barnen befinner sig under umgänget. Jag vill gärna ha adressen, bara för att kunna veta var de är helt enkelt, framför allt om det skulle hända något. Hämtning och lämning sker hemma hos mig, och jag har aldrig varit hemma hos honom där han bor nu (han har flyttat runt en del).

Hur ska jag göra? Visst måste jag kunna få veta var barnen är, rent juridiskt, då det är jag som är ensam vårdnadshavare? Det handlar ju inte om att jag vill bråka eller så med honom, bara kunna vara trygg i att veta var barnen är. Någon som har något bra förslag?