Umgängesavtal? Hjälp!

Jag och min 5 åriga sons pappa separerade när sonen var ca 6 månader (2009).
Från det har vi i regel haft växelvis boende. Men under perioder from 2010/2011 har jag mått väldigt dåligt och då under dessa perioder (ca 1-3 mån) inte kunnat ha sonen och fick våren 2012 diagnosen bipolär sjukdom och blev medicinerad.
Dessa perioder då jag mått såpass dåligt att jag inte kunnat ha sonen, som fram till ett år sedan återkom med ca 6 månaders mellanrum, har han bott hos sin pappa. Däremellan har vi börjat umgänget med 1 dag/veckan och successivt utökat till varannan vecka.  
Våren 2013 slutade jag helt med mina mediciner, då jag själv (samt min läkare) tvivlar på att jag faktiskt är bipolär och har sedan dess mått väldigt bra, utan någon som helst dipp eller tecken på att jag skulle vara bipolär, står även på kö för ny utredning.

I början av hösten 2013 påbörjade jag och min sons pappa samarbetssamtal hos familjerätten. Han ville ha ensam vårdnad och jag ville fortsätta ha gemensam vårdnad samt återfå växelvis boende. Vi hade vårt sista samtal i nov 2013, där vi fick rekommendationer, på pappans förfrågan, att utöka umgänget ännu en gång i februari 2014. 
I dagsläget är sonen hos mig varannan fredag eftermiddag till måndag förmiddag. 
Nu är vi inne på mars och jag har tagit upp frågan med pappan kring att utöka umgänget och nu vägrar han att gå med på det., trots rekommendation från familjerätten.
 
Nu överväger jag att, tyvärr, ta detta vidare för att få ett juridiskt bindande avtal gällande umgänget då vi verkligen inte kan komma överens själva. 
Ni med erfarenhet i liknande situation, hur stor är chansen att få igenom ett avtal gällande växelvis boende, med successiv utökning ifrån dagens umgänge? Tex att lägga till 1 övernattning/varje till varannan månad tills växelvis är uppnått.

Otrevliga svar undanbedes!