Flytta ihop med en ny man

Hej!
Jag har ett barn (6 år). Jag och barnets far beslutade att gå isär för ca 1½ år sedan. Efter ca 4 månader så träffade jag en ny man. Det var inget jag sökte aktivt efter, utan det "bara" hände. Både jag och den nye har varsitt långt förhållande bakom oss och med egna barn. 
Efter ca 3 månader beslutade vi att träffas med varandras barn, som vänner. Alltid gick fint och barnen funkar bra ihop. Vi fortsatte umgås då och då, men vi vuxna var aldrig mer än vänner när barnen var med så att säga. Efter ytterligare 4 månader förklarade vi för barnen att vi var kära och de tyckte de var spännande.
Mitt ex som (vad jag vet) har inte inlett någon ny seriös relation. Han var från början okej med att jag träffat en ny, men sakta men säkert började han tycka att jag prioriterade fel. Att jag skulle vara mer ensam med mitt eget barn, vilket jag verkligen försöker tänka på. Då mitt barn är varannan-vecka barn är det viktigt med extra uppmärksamhet. Men exet verkar ha svårt att förstå. Han tycker saker går för fort och börjar ogilla mig allt mer.
Nu har vi varit tillsammans mer än ett år och planerar att flytta ihop vilket jag berättat för mitt ex. Han blev vansinnig och sa att han kommer söka ensam vårdnad. Är det verkligen möjligt?? Han menar att vårt barn är otrygg hos mig och att jag inte lyssnar på barnets vilja. Men jag har pratat med barnet och som är helt ok med det här. Han har så roligt när han är här (framförallt med min nyas ena barn). de leker så bra ihop.Samtidigt har jag dagar när det fortfarande bara ska vara jag och mitt egna barn.
Men det är klart det blir en omställning från att ha varit ensambarn till att få bonussyskon. Dock tycker jag vi har jobbat på en mjuk övergång med att prov-bo osv.
Barnen delar sovrum och har ett gemensamt lekrum, vilket oxå fungerar bra vad jag märkt. Men detta menar mitt ex är en osund miljö?

Jag försöker prata med mitt barns far men han vill inte diskutera. Han vill bara vara arg. Hur ska jag nå fram till honom?
och viktigare hur ska jag tänka inför framtiden? Hur ska jag få exet att förstå att mitt barn är glad och nöjd hos mig?