Handskrivet avtal angående barn giltigt?

Jag fick vår fastighet på villkoret att jag aldrig ska höra av mig till fadern igen o fortsatte betala lånet o andra räkningar, det var hans villkor. Vi skrev även på ett handskrivet papper om att han aldrig kontakta mig eller dottern. 
Är det giltigt? Eller jag kan i framtiden få skit för att han inte träffar dottern trots att hans villkor var att jag aldrig ska höra av mig igen? Han har de senaste 3 månaderna inte haft dottern och inte heller hört av sig om hur det är. Innan dess kunde han avbryta överenskommelser till och från pga att det var jobbigt att gå upp tidigare o lämna henne på förskolan en gång/veckan för hon går på förskola 20minuter bort.  Han har sina andra barn på heltid.

Angående fastigheten är det bodelningsavtal som är underskrivet, som är utskrivet genom jurist. Däremot står det i pappret att han ska betala hälften tills det är verkställt hos banken. 

Han vill aldrig att jag kontaktar honom igen, så då kan jag inte heller gå via familjerätten o prata. 

Finns det något jag kan åka dit för? Jag är så förvirrad

Anonym(jur)
Jag vill ha bostaden, så jag gick med på att fortsätta betala alla räkningarna och lånet mot att jag aldrig ska höra av mig till honom.
Vi har nu fått in rutiner med dottern och vardagarna, vilket var tufft i början. Jag ville att han skulle träffat henne några gånger i veckan, men när han klargjorde att han inte ville det mer och har dessa två åren kommit och gått ur dotterns liv så valde jag att fortsätta som om han inte finns. Klart att jag hade velat ha ett fungerande umgänge, hade underlättat för mig också.

Pratat med FR och de säger att jag ska bara avvakta och inte kontakta honom, eftersom att han varit tydlig med att han inte vill att jag kontaktar honom. Jag har fortfarande kontakt med släkt på dotterns pappas sida, så jag kommer fortsätta hålla kontakten med dem.

Anonym(Jur) 
Han har skrivit under bodelningsavtal om att jag får hela fastigheten. Jag kommer betala allt, fast det står i avtalet att han ska betala hälften tills banken genomfört o ändrat så jag står på hela lånet. Ska lämna alla papper till banken i veckan.