Han har börjat kräva nattumgänge

Har en dotter på 2 år vars pappa inte haft något större intresse i hennes liv, vi hade från början gemensam vårdnad. Men efter massa möten på socialtjänsten så sa han att han inte längre ville ha gemensam vårdnad och överlät hela på mig. Sa även till soc att han inte har särskilt stort intresse för vår dotter. Efter denna tid kan han från att träffa henne hos mig,plus ignorera henne i månader. När dom ser surfar han mest på mobilen eller sover på min soffa. 
Han har aldrig erbjudit sig att hjälpa mig och de få gånger jag bett honom om hjälp, har han varit här,men då har även mormor fått rycka in. För han vet inte vad han ska ge vår dotter att äta, ligger åter på soffan och sover eller glor i mobilen.
Efter mötet på soc när han skrev över vårdnaden på mig, så sa även soc klart ocjvtydligt till mig och honom att nattumgänge är uteslutet. Då hans boende är väldigt stökigt och han knappt äger några möbler,förutom en säng, databord, datatol, köksbord utan stolar och ett soffbord men ingen soffa.
Han säger som sagt var nu att han ska fixa sin lägenhet och ha vår dotter minst 2 dygn i veckan.
Jag får ont i magen av oro då jag anser att han inte klarar det. Underlag från soc finns ju kvar. Men detta är ju nöt hon var bebis. 
 Och han säger att jag inte kan neka honom.
Vad gör jag nu? Och kan jag fortfarande rätta mig efter vas soc sa när vår dotter var bebis?
Han får absolut träffa henne som tidigare men jag litar inte på att han kan tillgodose alla hennes behov.