Sonen vill inte träffa sin pappa

Ska försöka skriva så bra som möjligt för att ni ska kunna hjälpa på bästa sätt

Jag har en son på 5,5år, som jag har ensam vårdnad för.

Under första levnadsåret så träffade pappan honom ca 10 gånger. 
1-2 år fanns pappan inte där alls, inga samtal, inget umgänge.
2-3år, började ses, jag fick vara med vid varje umgänge då sonen inte kände honom, vi sågs varje söndag ca 5 timmar
3-4år vi började umgås lite oftare, jag lät dom vara själva en stund, umgänget funkade men ibland dök han inte upp
4-5 år, Pappan flyttar till annan kommun. Pappans dotter flyttade närmare honom vilket gjorde att sonen ville vara där när systern var där. Vi började med varannan helg. Allt funkar fint så länge syster är där, annars är det kaos.Han vill inte dit, han vill enbart träffa sin syster.
Idag: Vi bor ca 30 mil ifrån pappan, sonen vill inte ha någon kontakt, vill ej ses om inte syster är där.

Lite kort. vi flyttade i somras till ny kommun då jag och pojkvännen ville bli sambos. Pappan till sonen  tyckte att det var bra då han vet om hur min familj behandlat mig under väldigt lång tid, så han tyckte detta var det bästa för mig och sonen. 
Vi kom fram till att ha umgänget var 3dje helg, vilket jag har hållt. Men sist så skulle pappan komma hit då sonen ville visa hur vi bodde och jag och pappan har en bra relation idag (vänner). Pappan kom inte, skylde på alla andra att han inte kunde komma m.m. 
Sonen har som sagt alltid varit negativ till att åka till sin pappa om inte systern är där. Systern vill tyvärr inte till sin pappa. han visar inget intresse i sina 2 barn. 
Han ringer dom aldrig, har gör inte så mycket med dom, dom har inte roligt där helt enkelt.
Nu har vi kommit dit att sonen inte heller vill till sin pappa. när jag frågar varför säger han 
pappa sitter bara med sin telefon
kollar bara på tv
är i källaren
leker aldrig
Vi gör inget hos pappa 

Samma sak säger syster. (har kontakt med mamman)

Jag ber er om råd, vad ska jag göra?
Pappan ringer aldrig för att kolla hur något är, aldrig hur han mår, dagis, träning m.m. Det kan gå flera veckor innan vi pratar. Frågar jag sonen om han vill till sin pappa så säger han " om min syster är där". Och hon är inte där längre.

Ska man tvinga honom till sin pappa? han känner ju att han inte får uppmärksamheten, dom går inte ut och leker (pappan är rädd för sånt, folk kan ju se honom (hans ord)) Sonen sitter mest framför tvn eller får leka själv..

Samtidigt som jag vill att umgänget ska fungera så vill jag inte tvinga sonen till något han inte vill. 
Det gånger han har varit där har han ringt varje fredag och gråtit och sagt att han vill hem igen, han vill inte vara kvar! 

Något som varit i samma sits och kan ge råd?

/ Förvirrad mamma