Kommer min sons relation till min släkt påverkas?

Man brukar säga att barn bygger minnen ifrån 4 är. Så även om det låter tråkigt att inte träffas så kommer han inte minnas dom nu ändå. Min dotter på 2 träffar sin farmor och farfar ungefär 3 ggr om året och är lika blyg varje gång och minns dom inte.