Konstigt beteende av man.

Jag skulle göra tvärtom. Gå dit när du vet han är där, så kan han springa iväg. Rätt åt honom. 
Följer han efter dig med bilen, så kör så långt ifrån hans bostad som möjligt och stanna sedan. Stannar han också så vänta ut honom. Hans förlust. 
Ser du honom vid potatisen i affären, fråga om han trivs på gymmet.

Han kommer nog att byta gym snart. Du ska inte ändra på ditt beteende.