Hämta/lämna bonusbarn långt bort

Hej!

Jag är sedan några år tillbaka tillsammans med en man som har sitt barn (6 år) varannan helg. Detta barn bor ca 3 h ifrån oss enkel resa och det är vi/han som sköter hela transporten fram och tillbaka fredag & söndag. 

Jag har svårt att knyta mig an till barnet då jag dels inte har några egna, och anser det vara väldigt jobbigt med att åka fram och tillbaka, vilket i sin tur gör att barnet blir "jobbigt". Jag studerar också i en väldigt intensiv skola där jag går heltid samt har väldigt mycket studier vid sidan av som tar mycket tid och energi.

Min man anser att det är lite av min skyldighet att följa med som sällskap att både hämta och lämna, varav jag anser att det inte är mitt ansvar och borde vara bättre att han åker själv så att inte min relation till barnet blir lidande. Är inte så lockande att åka kl 18 en fredagskväll för att komma hem mitt i natten och göra samma resa igen på söndagen. 

Mannen är väldigt upprörd över att jag inte vill följa med och jag blir upprörd över att jag mer eller mindre "bör" åka med när jag egentligen inte har något ansvar. 

Kan tilläggas att det är jag som sköter mycket hemma med barnet. Även detta försöker jag sluta med för att mer vara en extra vuxen.

Tycker ni att det är jag som är trångsynt och elak som inte vill följa med? Är det mitt ansvar? Detta blir ett återkommande bråk som tär på vårat förhållande..