Indraget föräldrapenning-bidragsbrott?

Hej!
Jag och min fru har två döttrar på respektive 2 och 1 år. Sedan min första dotter föddes för två år sedan så har vi haft perioder utomlands på flera månader åt gången för att låta barnens sjuka mormor se barnen och ha tid med dem. Vi hade under dessa perioder av vistelse en adress i Sverige som vi fortfarande var skrivna på, vi hade ingen aning om att man är tvungen att meddela försäkringskassan om man befinner sig utomlands och trodde att vårt barnbidrag och föräldrapenning som vi får var barnens rätt. Nu har alltså försäkringskassan dragit in vårt barnbidrag och föräldrapenning för barnen i ett sk "interimistiskt beslut" pga att de har "anledning att tro att vi bott utomlands sedan en period tillbaka som överstiger 6 mån" . Paniken av indragen inkomst fick mig att läsa på om regler och lagar via nätet och jag blev svag i benen av vad jag läste, såvitt jag förstår kallas detta för bidragsbrott  stämmer detta?
Min fru som inte kan ett dyft svenska har alltid litat på min förklaring av olika dokument från försäkringskassan och bara skrivit under med sitt namn i slutet utan att kunna läsa dem själv kommer hon också bli anklagad för grovt bidragsbrott?!?
Dokumentet med bank transaktioner, historia etc samt det interimistiska beslutet nämnde ingenstans att jag blivit polisanmäld, kan det vara så att jag endast blir återbetalningsskyldig?

Jag känner bara att jag vill spy.....jag hade ingen aning överhuvudtaget om att jag var tvungen att anmäla min utlandsvistelse eller att jag inte har rätt till dessa bidrag utomlands....snälla kan någon förklara för mig om jag begått ett brott??

MvH

Edit: både jag och frun har hittils mottagit under 200 000kr vardera.