Är jag bara egoistisk som vill ha egentid ibland?

Min sambo har två barn sedan innan som är här varannan helg. Vi har bott ihop i 7 år så vi har en stabil relation (för det mesta) och jag och barnen har också en bra relation till varandra. Sambon har alltid velat att jag är hemma när barnen är här så vi kan vara ihop som familj, vilket jag alltid har ställt upp på av kärlek till honom och till barnen, men ibland känner jag mig kvävd av det. Han blir sur om jag planerar saker för mig själv de helger som barnen är här, även om det bara är att träffa nån kompis, gå en promenad, åka o träna eller vad som. Vill jag åka iväg över en natt så får jag börja bearbeta honom månader i förväg. Jag vill dock poängtera att min sambo i vanliga fall inte är den kontrollerande typen, vi har ett väldigt jämlikt förhållande och frågar varandra när det gäller det mesta. Men just när det gäller att umgås med barnen så tycker jag att jag inte alltid MÅSTE träffa dem, det är trots allt inte mina barn och kommer aldrig att bli, medan han tycker att jag borde vilja vara med min familj så fort jag får chansen. Det är jag också för det mesta, men jag vill samtidigt inte vara tvungen att säga nej till att göra saker som tex åka iväg med kompisar/släkt på tjejträff bara för att det råkar inträffa på en "barnhelg". Och det handlar om en-två ggr per år så det är inte ofta.
Jag vet inte hur jag ska få honom att förstå för han blir bara arg och besviken när jag försöker ta upp det. Han tycker att jag är egoistisk och lite blir han svartsjuk också för att jag vill göra något annat. Han säger att jag "får" göra som jag vill men att jag måste tänka på hur det påverkar vår relation, sen att jag känner mig instängd och förbjuden att göra som jag vill är enligt honom fel inställning av mig.
Någon som har tips?