Barnen vill flytta till pappa

Halloj, ska försöka göra en lång historia kort. 
Mina två äldsta barn har jag med en annan man, denna mannen var manipulativ, utnyttjade mig, stal från mig och höll på med andra bakom min rygg. Han har undvika att ha sina barn fram till för 5 år sen nu ca, då jag träffade min sambo och då började han ta dom varannan helg, oftast med mycket tillkommande klydd. Han har flyttat runt massor, behandlar sin nuvarande sambo som han behandlade mig och bytar jobb konstant. Han har trots allt det fått bra kontakt med barnen genom de senaste åren och igentligen vill dom vara hos oss varannan vecka men nu har han flyttat till en annan stad och eftersom dom känner att dom vill vara med honom mer så har dom och pappa kommit fram till att dom vill flytta dit. Mitt problem I detta här nu är att jag har bett om att dom ska få en prövaperiod först hos honom vilket han har haft tid att fixa men inte gjort det, han tycker dom ska flytta dit direkt, byta skola och alltihop direkt och jag vet inte vad jag ska göra. Borde jag gå med på detta? Han säger också att är dom inte nöjda så kan dom ju vara där skolåret ut och såfall flytta tillbaka, så det är ju inte att han inte kommer låta dom komma tillbaka men jag är delad, ska jag gå med på det eller är det för osäkert?