Hur kan jag få mer tid med honom?

Jag har nyligen skaffat en "älskare" han är ca 20 år äldre än mig, har fru och barn och är en äkta familjefar. Hans fru vet att jag finns och allt går bra, däremot har vi svårt med att hitta tider och få det att funka mellan oss. Jag är singel, har inga planer på att han ska flytta in eller att jag ska flytta till honom, jag jobbar och är upptagen på vardagar men fri på helger och det är lite tvärtom för honom. Han är mer flexibel på vardagar än han är på helger. 

Har ni någon erfarenhet?