“Van onderbuik naar onderbouwd”

500 regels

Klomps: “Mensenogen waren niet meer toereikend om alle teksten te beoordelen die sinds 2017 uit klanttevredenheidsonderzoeken kwamen. We hebben toen als experiment 500 regels feedback van Rotterdammers laten analyseren op basis van een text mining-algoritme dat daar de rode draden uithaalde. De resultaten waren veelbelovend.”

Migliardi: “We zijn toen ook andere klachten, terugbelnotities en andere bronnen van feedback gaan analyseren. Tot op de dag van vandaag breiden we de databronnen uit. Zo krijgen we een steeds breder beeld van wat er volgens de Rotterdammers goed gaat en waar we kunnen verbeteren.”

Strategisch toewerken naar 30% minder ontevredenheid

Klomps: “In het primaire proces proberen we klachten natuurlijk zo snel mogelijk op te lossen. Maar het is ook goed om van een afstandje terug te kijken te naar de signalen die de inwoners van Rotterdam afgeven. We willen strategisch leren: wat gaat hier nou mis?”

Migliardi: “In 2023 hebben we samen met bestuur en de stad besloten om een flinke stap vooruit te zetten in onze dienstverlening. Binnen de opgave ‘Rotterdamse dienstverlening doen we zo’ hebben we een target gesteld: we gaan voor 30% minder ontevreden Rotterdammers in 2026.”

Klomps: “Het is heel fijn om onder de paraplu van die opgave te werken. Daarmee hebben we een breder bereik en dan krijg je ook eenvoudiger mensen in de organisatie mee.”

Algoritmes aan het werk

Klomps: “Het algoritme zorgt in feite voor een diepgaande analyse van alle tekstdata. Het is in staat om meerdere thema’s uit een tekst te halen en signalen te bundelen. Een tweede algoritme anonimiseert alle teksten. Daardoor zien we geen persoonsgegevens meer terug in het systeem.”

Migliardi: “Dat maakt het dus mogelijk om de inzichten breder te delen.”

Klomps: “Ja precies en wat zo tof is: je kunt niet alleen de overkoepelende thema’s uit de signalen zien, maar ook terugkeren naar de oorspronkelijke, geanonimiseerde teksten. Heel belangrijk, omdat we op die manier het algoritme goed kunnen blijven controleren.”

Verbetermanagers en actieplannen

Migliardi: “En dan begint eigenlijk het echte werk pas: het verbeteren van de processen.“

Klomps: “Daar hebben we in ons team verbetermanagers voor. Die onderzoeken bijvoorbeeld hoe de doorlooptijd van de aanvraag voor een rolstoel verkort kan worden. Daarnaast werkt ons UX-team onder andere aan de optimalisatie en gebruiksvriendelijkheid van onze digitale producten en diensten. En ons data-team monitort de resultaten en de beweging richting het target van die 30% minder ontevredenheid.”

Migliardi: “De rapportages die de data-analisten maken, vormen ook belangrijke input voor de actieplannen van de verschillende wijkteams. Daarnaast hebben we een samenwerking met de Ombudsmanorganisatie Rotterdam-Rijnmond.  Samen hebben we vastgesteld dat we doorbraken willen realiseren op de top 5 van de signalen die Rotterdammers geven.”

Opschalen met open source

Klomps: “Inmiddels is het succes doorgedrongen tot buiten de gemeentegrenzen. De gemeenten Utrecht en Tilburg zijn al aangehaakt en we kijken met andere overheden naar opschaling. Onder andere met het ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BZK).”

Migliardi: “Door opschaling bereik je grotere volumes signalen. Daarmee ben je straks ook in staat om de resultaten van veranderende wetgeving te volgen. Het lachgasverbod dat gepaard ging met een einde aan statiegeld op de lachgas cilinders leidde in ons dashboard bijvoorbeeld tot een enorme stijging van klachten over gevonden cilinders. Als je die signalen in meerdere gemeenten volgt, geeft het een breder perspectief.”

Klomps: “De opschaling betekent ook een doorontwikkeling van de techniek. We hebben er aanvankelijk voor gekozen om alles wat we zelf kúnnen doen, in huis te ontwikkelen. Het algoritme is alleen niet van ons, maar van een externe partij. Op dit moment onderzoeken we met de andere gemeenten en ministeries of we een open source model kunnen ontwikkelen. Zodat overheden niet steeds opnieuw het wiel moeten uitvinden, maar ook om beter samen te kunnen werken en de signalen te delen tussen organisaties.”

Van onderbuik naar onderbouwd

Klomps: “Waar we voorheen erg focus op kwantitatieve data hadden - KPI's en andere cijfers- stelt dit ons in staat om echt de verhalen van buiten naar binnen te halen. We kunnen de stem van de Rotterdammer vervolgens kwantificeren, zodat we ook kunnen zien hoe groot een probleem is en in welke mate we verbeteren.”

Migliardi: “Een collega die veel in de wijk werkt, schetste onlangs dat hij altijd management moest overtuigen op onderbuikgevoel. Nu heeft hij daar gegevens bij. We maken de transitie van onderbuik naar onderbouwd.”

Eerst de mens, dan de oplossing

Klomps: “Welke lessen andere overheden van ons kunnen leren? Nou, dat we met elkaar al heel veel weten. Alle signalen die je in de loop van de jaren hebt verzameld; benut dat. Dan voorkom je ook dat we onze inwoners te veel bevragen.”

Migliardi: “Betrek ook de juiste disciplines en doe het samen.”

Klomps: “Eens. We hebben vanaf het begin mensen betrokken met kennis over privacy en algoritme experts voor de informatiebeveiliging. Door alle disciplines goed te betrekken, kleine stappen te zetten en altijd terug te koppelen aan de organisatie wat elke stap oplevert, hebben we de organisatie kunnen overtuigen van dat het helemaal niet eng is om dit soort dingen te doen.”

Migliardi: “Evelien kan dit ook gewoon supergoed uitleggen in normale mensentaal. Zij laat zien dat het bovenal een toepassing is voor de Rotterdammers in plaats van een ICT-ding.”

Klomps: “Vooral het menselijke stukje van deze innovatie maakt dat het is omarmd. En ja, daar heb je een datagedreven oplossing voor. Het is die volgorde die werkt: eerst de mens en dan de oplossing.”

Migliardi: “Als we kunnen aantonen dat het van meerwaarde is voor de dienstverlening, dat de Rotterdammer hier baat bij heeft, dan is er sowieso heel veel mogelijk binnen de gemeente Rotterdam.”

Innovatie Barometer Overheid

Dit artikel is verschenen in het kader van de Innovatie Barometer Overheid. De Innovatie Barometer Overheid is een survey-onderzoek naar innovaties in Nederlandse overheidsorganisaties. In september verschijnt het rapport Innovatie Barometer Overheid 2025.