Fel att avvakta med att flytta ihop

Jag och min särbo har varit i ett förhållande i två år och bor nära varandra. Jag har två barn och han har ett barn från tidigare. Nyligen har han ställt ett ultimatum om att vi måste flytta ihop innan slutet av året, annars ser han ingen framtid för oss. Jag känner mig osäker på detta, inte minst på grund av hans svartsjuka och kontrollbehov, vilket gör att jag tvivlar på om vi verkligen skulle klara av att bo ihop. Jag är även delvis sjukskriven för ångest och utmattning, vilket gör att jag har ett stort ansvar för mina barn, jag hämtar ett av dem direkt efter jobbet och den andra lämnas till mig av deras pappa, eftersom det är lång väg att åka och jag inte har egen bil. Särbons barn, som är 7 år, hämtas och lämnas mellan 8 och 17, men han har möjlighet att vara mer flexibel med sitt jobb, vilket han inte använder. I de flesta fall kommer han hem till mig efter jobbet för att äta middag, då han säger att han inte hinner göra något annat. Dessutom jobbar han extra varje helg, vilket innebär att hans barn ofta är hos mig istället. Jag känner att han inte avlastar mig på något sätt, utan verkar tänka mer på hur han själv ska tillbringa så lite tid som möjligt med sitt barn, utan att ta ansvar för andra åtaganden. Jag måste också ta hänsyn till att ett av mina barn har en svår utvecklingsstörning, vilket gör att mina egna krav och ansvar är ännu större. Nu säger han att hans barn behöver en kvinnlig förebild när hen är hos honom, och att det skulle bli bättre ekonomiskt om vi flyttade ihop, så att han slipper jobba extra. Jag känner bara mer och mer att det inte finns några fördelar för mig och mina barn med att flytta ihop, i alla fall inte i nuläget. Jag undrar om jag är fel i mina tankar om detta, eller om min oro är befogad?