Jag har ett dilemma

I somras träffade jag en kille, och i aug blev vi sambos. Han har två barn med två olika mammor. Mamman till det yngsta barnet har han haft en lång relation med och även om dem inte bodde ihop senaste två åren så har dem umgåtts varje dag och vad jag förstått umgåtts som ett par som försöker igen. Sen kom jag in i bilden. Mamman reagerade inte bra på det. Hon har varit ledsen och arg
om vartannat. Pappan får träffa barnet men inte jag. När vi flyttade ihop så skulle min sambo ha sina barn. Och lovade mamman till det yngsta att jag inte skulle vara där. Men vi hade redan bestämt att jag skulle vara där med barnen och få träffa dem båda för första gången. då bodde jag redan där. Mamman blev vansinnig när barner (4 år) berättade detta för mamman. min sambo sa inget till henne själv.
När vi flyttade ihop så sa han inget heller till henne utan hon fick reda på det av deras gemensamma kompisar. 
Hur som helst har det här blivit ett stort problem. Pappan får gärna träffa barnet men jag får inte vara med. 
I höstas fyllde det stora barnet år och jag skulle träffa det stora barnet för andra gången. Pappan ville såklart att lilla sonen med skulle komma men barnet fick inte pga jag skulle vara med på kalaset. Så vi valde att jag skulle vara med på kalaset och inte lilla sonen. 
Mamman har jag också hört vara arg för att min sambo inte betalar underhåll. Men sambon vill inte göra det förrän han får umgås med barnet och mig tillsammans. 
Han har inte betalt innan när dem träffades heller, lite småsummor bara när mamman bett om det.
Jag vet att vi kanske inte gjort allt rätt men tips på hur vi ska komma ut det här. Sambon  försökte med jurist men han tog tillbaka den. varför vet jag inte riktigt. 
Hur ska vi lösa det här?