Ska föräldern träffa barnet eller ej?

Har en dotter ihop med min exman. Under vårt förhållande så skedde psykisk misshandel både av mig och dottern, från exmannen. Dottern har varit exceptionellt konstig och jobbig. Till slut reagerade förskola tillsammans med mig och vi fick komma till bup. Dottern fick till slut en psykiatrisk diagnos som en reaktion på pappans beteende.

Dottern har bott hos mig hela tiden under de 4 år vi varit separerad. Har försökt några ggr att ha varannan helg men hon har mått så dåligt och uttrycker själv att hon inte vill vara ensam med pappa för hon är rädd att han ska vara dum/arg.

Just nu bor han i en stad långt bort och träffar dottern kanske varannan månad. Då brukar han komma hit och vi umgås.
Problemet är ju att jag far illa av hans kontakt liksom dottern, samtidigt älskar hon såklart sin pappa och saknar honom. Blir en tudelad grej.
Min fråga är nu, hur skulle ni tänkt? Hur mycket ska de ens ses? Bup tycker inte han ska vara själv med henne eftersom hon reagerar så. Frågan är dock hur bra det blir att jag är med? (Vi bråkar inte eller så. Vi är vänner men jag mår ju psykiskt dåligt pga honom också med ytterligare oro för dottern) hur gör man i dessa situationer? Någon som varit med om nåt liknande?
Vill inte att någon hoppar på mig för jag vill ju att hon ska ha en relation med sin pappa men samtidigt orolig för hennes psykiska välmående.
Hon är ofta stressad, mår dåligt, sover dåligt, blir väldigt mammig i flera veckor efter de setts. Samtidigt ser inte han att han gör nåt tokigt så svårt att säga nej också :/