Känns så rätt men är det fel?

Hej! Jag har precis gått igenom en skilsmässa med min man, han har flyttat ut ur min lägenhet. 
Vi har två barn tillsammans och vi kommer inte överens om hur dom ska vara, vem osv. Jag vet att han inte lämplig att ha våra barn på heltid som han vill för han blir elak. Våran äldsta son har autism nivå 1 och 3 åringen har svårt med talet. 
Ex mannen blir arg, skriker, tar tag i barnen hårt, kallar dom dumma saker och jag liter helt enkelt inte på honom. Han har anmälningar innan hos socialtjänsten. Kommer göra allt för att mina barn ska få det så bra som möjligt och jag är deras trygga punkt. 
Jag har inte älskar den mannen på minst 6 månader men har varit en vana. En gammal vän "flamma" skrev till mig och vi har pratat mycket och det känns så konstigt för vi klickar så otroligt bra! Jag känner mig trygg, säker, han gör mig lycklig,glad och har den pirrande känslan i magen. Jag kommer inte inleda någon relation nu men är rädd hur min ex-man kommer reagera om han får veta. Barnen har inte träffat honom. Men min familj säger att han kan använda detta för att få ha våra barn på heltid och han kommer försöka förstöra allt. 
Ska jag vara orolig och bryta med min vän eller kan jag fortfarande ha han i mitt liv, jag och ex-mannen har barnen varannan vecka.