Wat mooi dat je als datascientist zo hard gaat op een sociaal onderwerp als dit. Wat drijft je?
“Tijdens mijn masteropleiding Data Science in Business and Entrepreneurship werd veel gehamerd op de relevantie van ons werk als datascientist. Persoonlijk vind ik het ook belangrijk om impact te maken. In dit geval heb ik in opdracht van het Brightlands ELSA Lab Armoede & Schulden mijn skills ingezet om een tool te ontwikkelen die overheidsteksten helpt vereenvoudigen. En ja, dat dóet ertoe. Want als informatie over toeslagen of betalingsachterstanden niet goed overkomt, lopen de schulden bij burgers soms onnodig op en neemt armoede toe.”
Je ontdekte dat ChatGPT er het beste in slaagt om brieven te vereenvoudigen; beter dan de twee andere machine learning-modellen die je onderzocht. Kwestie van een tekst invoeren waarna er een brief in jip-en-janneketaal uitrolt?
“Haha, was het maar zo. Er kwam heel wat prompt engineering aan te pas. Dat wil zeggen dat we allerlei instructies – prompts – aan het AI-model meegaven om de context te begrijpen en de juiste informatie te genereren. Dan moet je denken aan een definitielijst waarin we jargon vervingen door meer gangbare termen. Ook stopten we er informatie over taalniveaus in. Plus bestaande brieven van overheidsinstanties. Brieven die te maken hebben met zorg of financiën; precies die thema’s waarmee het in de communicatie vaak misgaat. Zo trainden we het model stukje bij beetje. Een juridisch expert en communicatiedeskundige keken mee om te waarborgen dat de inhoud overeind bleef en de in- en output taalkundig gezien klopten.”
Hoeveel leesbaarder werden de brieven die je door de machine haalde?
“Uit tests met 72 deelnemers – van jong tot oud, van hoogopgeleiden tot mensen die moeite hebben met lezen en schrijven – bleek dat de begrijpelijkheid van brieven van 60 procent naar 96 procent ging. Dit hebben we gemeten aan de hand van begripsvragen, actievragen en toonvragen: Snap je wat er staat? Begrijp je wat je moet doen? En vind je dat je op een prettige manier wordt aangesproken? Ook daarin trainden we het model.”
Klinkt veelbelovend. Maar zijn overheidsinstanties niet wat huiverig voor het gebruik van AI?
“In het onderzoek gebruikten we ChatGPT, een model van een commercieel techbedrijf. Nu we daadwerkelijk een digitale assistent aan het ontwikkelen zijn, stappen we over op een open source machine learning-model. Dat sluit aan bij de richtlijnen van de overheid. Bovendien laten we tijdens de implementatie van die assistent bij gemeenten hun eigen juridische experts meekijken. Ook andere medewerkers betrekken we erbij. Zo weten we zeker dat de assistent veilig opereert en aansluit bij de praktijk.”
Dus je kunt straks als ambtenaar lekker achteroverleunen, omdat de assistent er toch wel iets moois van maakt?
“Nou nee, bij gebruik van een machine learning-model geldt het principe: garbage in, garbage out. Staat er onjuiste informatie in de basisbrief, of ontbreekt het überhaupt aan een boodschap? Dan levert het model incorrecte output. Dus je moet nog steeds goed voor die basisbrief gaan zitten. Wat het model wél kan, is de kernboodschap naar boven halen en de structuur van een brief optimaliseren. Daarbij houdt het rekening met de doelstelling van de brief en de doelgroep die je vooraf gespecificeerd hebt. Zo kan een ‘broddelwerkje’ dat niet voldoet aan de gangbare communicatieregels toch nog een leesbare, begrijpelijke brief opleveren.”
Die je daarna, hup, verzendt?
“We benadrukken dat je als auteur van een brief of e-mail verantwoordelijk blijft. Je moet de tekst nog steeds checken. Daarom denken we erover de in- en de output naast elkaar op het scherm te presenteren. Zo laat de assistent zien wat er aan de tekst veranderd is en kun je ervan leren. Je wordt je in ieder geval bewust van de onduidelijkheden die in de oorspronkelijke brief staan.”
Ik zeg: uitrollen maar!
“Daar zijn we in samenwerking met meerdere gemeenten hard mee bezig. De komende maanden testen we de digitale assistent met communicatie- en beleidsmedewerkers: de eindgebruikers. We vragen ze een brief of een e-mailbericht te uploaden in de tool. Daarbij geven we ze de keuze: wil je de tekst laten vereenvoudigen, samenvatten of beantwoorden? Je kunt de assistent namelijk ook op een gepast taalniveau en toon laten reageren op een bericht dat je van een inwoner hebt ontvangen.”
En daarmee is alle ruis in de communicatie tussen overheid en burgers verleden tijd?
“Dat zou mooi zijn, hè! Maar in gesprek met die 72 lezers uit de testfase bleek dat zij zich behalve aan het taalgebruik ook vaak stoorden aan de inhoud van de brieven. Dat komt onder andere door de vele instanties die erin genoemd worden. En de vaak ondoorgrondelijke procedures. Met onze tool veranderen we daar natuurlijk niets aan. Wel leggen we met het vereenvoudigen van teksten de complexiteit van bijvoorbeeld het zorgsysteem en het toeslagenstelsel bloot. Daarin schuilt wellicht het werkelijke probleem. We kunnen alleen maar hopen dat we iets aan het licht brengen wat de overheid oppakt. Die is aan zet.”
Meer weten? Mail naar nadine.beksvanraaij@pna-group.com.
In het kort
Titel onderzoek: ‘Automatisch vereenvoudigen van Nederlandse teksten’ door Nadine Beks van Raaij en Frank Harmsen.
Onderzoeksvraag: In hoeverre kunnen machine learning-modellen de begrijpelijkheid verbeteren van Nederlandse brieven die worden verzonden door overheidsorganisaties?
Opvallend omdat: Beks van Raaij voortborduurde op onderzoek van de HAN en Universiteit Utrecht naar de begrijpelijkheid van brieven geschreven door overheidsinstanties. Ze zet nadrukkelijk een stap verder en draagt een oplossing aan waarvan de effectiviteit is bewezen.
