Måste jag låta han stanna ?

Hej.
Jag berättade för min man igår att nu har bägaren runnit över och att det är slut mellan oss, jag vill ta ut skilsmässa och att han ska flytta snarast.
Saken är den att han har ett väldigt begränsat kontaktverk.. jag vill att han ska vara ute tills imorgon men han vägrar och säger att jag inte bara kan kasta ut honom.. Och han tänker inte be om hjälp från sin familj eller kompisar att någon av dom kan ta in honom till sig tills han hittat något eget ( vilket kommer bli svårt då han går på a-kassa ). Måste jag låta honom stanna här hemma ?
Jag klarar psykist inte vara i hans närhet, det är inget alternativ att jag ska flytta på mig då vi har en bebis och vi är förnärvarande boende hos min mamma pågrund av hans arbetssituation och att jag är föräldraledig.
Hur är det med det? Kan jag kräva att han inte kan bo här mer ?