Känner mig trängd av bonusbarnet

Behöver verkligen rådgivning.

Bor tillsammans med min sambo och varannan torsdag - söndag har vi hans son.
Vi bor i min lägenhet och där har vi även sambons hund som han hade innan vi blev tillsammans. 

Vårt förhållande är hyfsat färskt, vi blev tillsammans i januari och blev sambos i juni/juli. Jag har hela tiden haft inställningen att hans son inte kommer vara något problem, jag har själv inga barn men är väldigt glad för barn och har en lillebror i samma ålder som mitt bonusbarn. 
Jag har en tendens att bli avgudad av kompisars barn och jag avgudar dom tillbaka lika mycket, ställer gärna upp som barnvakt om dom behöver komma ifrån lite och så vidare. 

Därför kände jag att fan, detta kommer inte bli några som helst problem, snarare mysigt. 

Men nu har allt vänt. Jag vill inte att min sambo ska prata om sin son när vi är själva, jag går och irriterar upp mig dagarna innan vi ska hämta sonen, jag stänger in mig 100% när sonen är där och blir lite gladare samma dag som vi ska lämna honom, för då vet jag att vi ska få vara själva. 
Hans son är egentligen inte speciellt krävande men extremt uppmärksamhetssökande, jag och min sambo får inte sitta bredvid varandra i soffan utan sonen måste sitta imellan, vi får inte ligga bredvid varandra i sängen utan sonen måste ligga mellan oss. Vi får inte kramas får då pratar sonen på som bara den och ropar efter pappa. Sitter vi i bilen och pratar ber sonen oss vara tysta för det gör ont i hans öron, men han själv kan prata hur mycket som helst. Och jag blir så fruktansvärt irriterad. 
I början tog min sambo inte ansvar för detta, men vi pratar väldigt mycket och han lyssnar på vad jag säger. Min sambo har erkänt att han har svårt att säga till sonen då han inte vill riskera att sonen inte ska vilja vara hos oss mer. Men det har absolut blivit bättre.

Jag känner inte igen mig själv för jag brukar vara så glad för barn och jag har så dåligt samvete för jag förstår ju att sonen känner av att jag är irriterad, och det har jag egentligen ingen rätt att vara för han är bara ett barn. 
Jag själv har växt upp utan pappa och vet hur viktigt det är att man som bonusförälder är välkomnande mot partnerns barn och så vidare. 

Men jag kan verkligen inte lösa det och jag kommer inte underfund med mina negativa och irriterade tankar. 

Just nu känner jag att jag aldrig kommer komma överens med barnet och det krossar mitt hjärta att se sonen dra sig längre och längre bort från mig, och jag vet ju att det är mitt fel.

Hur gör man????? Hjälp