Brukar bonusföräldar umgås med sina bonusbarn?

Jag är i liknande situation där min sambo inte lägger ner någon ensam tid med min son som är 11 år och min sambo resonerar som så att "man har bara egen tid med sina biologiska barn". Själv gick jag gick in med 100 % redan från början och gjorde allt även med hans barn tills jag höll på att gå in i väggen, och fick säga nej till en hel del saker. 
Det har nu gått 5 år sedan vi blev en familj och min sambo och fungerar bra ihop förutom när det gäller barnen. Min son är avundsjuk på hans son som får kramar och uppmärksamhet och han kan bli lätt irriterad och arg på hans barn. Jag har tagit upp detta med min sambo men han tror inte det är anledningen. Min son har varit ledsen i skolan pga att inte få uppmärksamhet av min sambo, det fick jag reda på idag. (har ensam vårdnad om min son).
I alla fall så kommer vi i dagsläget bli särbo eller separera helt.