Dreigen...wat te doen???

Bijna 3 jaar geleden gescheiden, 2 kinderen. Mijn ex is inmiddels hertrouwd en heeft een groot probleem met de hoogte van de KA. Hij heeft zelfs een advocaat in de arm genomen en op het laatste moment de rechtzaak afgeblazen en zijn we overeengekomen dat de hoogte van de KA ongewijzgd zal blijven. Wel heb ik daarbij toegezegd dat ik bereid ben de kinderen om de vrijdag naar hem toe te brengen (150 km enkele reis) Terwijl hij daar met zijn nieuwe vrouw is gaan wonen en ik dit officieel niet verplicht ben. Na dit akkoord met onze advocaten heeft mijn ex slechts 1 maand de alimenatie betaald en vervolgens slechts de helft van het bedrag. Hij geeft daarbij aan dat hij 1 van zijn kinderen al een tijdje niet gezien heeft en dat hij ook niet de indruk heeft dat dit snel zal gebeuren. (dat mijn oudste dochter daar niet meer wil komen is zijn eigen initiatief geweest, hij gaf aan zijn weekenden niet te willen laten verpesten omdat onze oudste dochter daar niet op haar gemak was en daardoor in zijn ogen niet het gewenste gedrag vertoonde.)
Ik heb inmiddels aangegeven het LBIO te raadplegen als hij niet gewoon zijn financiële verplichting naar zijn kinderen nakomt, maar hij heeft mij nu bedreigd dat ik mijn leven niet zeker meer ben als hij ook maar 1 brief op de mat krijgt van een incassobureau of wat dan ook. Hij zal dan mijn leven heel zuur en kapot maken.
Wat moet ik doen?? Voor mijn rechten op blijven komen of voor de "veilige" manier kiezen en hem zijn zin geven, maar daardoor zelf wel in financiële onzekerheid terecht komen??