ångrar att jag skrev på om var barn ska vara skrivna

Jag ångran att jag skrev på var min son ska vara skriven.
Detta gjordes i juni i år och han flyttade 60 mil bort.
Enligt den andra föräldern skulle han komma ner varannan vecka och jag godkände detta då.
Det har visat sig att jag inte träffar honom. Har träffat honom 3- 4 gånger på 6 månader och jag är nu rädd att jag tappar kontakten med honom.
Kan jag ångra att jag skrev på och få honom skriven hos mig igen ?
Han var skriven hos mej före den andra förälderns flytt.