De Rekenkamer Utrecht vroeg PBLQ te onderzoeken hoe de gemeente in de praktijk omgaat met de toepassing en risicobeheersing van algoritmes. De centrale vraag was in hoeverre Utrecht invulling geeft aan een verantwoorde inzet van algoritmes en wat daarvan kan worden geleerd. Voor het onderzoek is gekeken naar beleid, governance, privacy, ethiek, risicobeheersing en de wijze waarop de gemeenteraad wordt geïnformeerd en in positie wordt gebracht.
Voor de uitvoering van de opdracht is een brede aanpak gekozen, bestaande uit documentanalyse, interviews en casusonderzoek. We begonnen met een uitgebreide studie van beleidsdocumenten, richtlijnen, DPIA’s en het algoritmeregister. Vervolgens spraken we medewerkers uit verschillende organisatieonderdelen, waaronder CIO‑office, gegevensbescherming, domeinexperts en proceseigenaren die in de praktijk met algoritmes werken. Daarna hebben we een diepgaande analyse gedaan van de risicobeheersing van vijf algoritmes. Bij deze algoritmes onderzochten we de doelstelling, werking, datagebruik, risico’s, beheersmaatregelen en naleving van privacy‑ en ethische normen. Daarbij werd gewerkt met een normenkader afgeleid van het Toetsingskader Algoritmes van de Algemene Rekenkamer. Door deze combinatie van beleidsanalyse en praktijktoetsing ontstond een scherp beeld van zowel de ambities als de dagelijkse realiteit, inclusief knelpunten en verbeterkansen in de praktijk.
Het onderzoek laat zien dat Utrecht duidelijke ambities heeft voor een verantwoorde inzet van algoritmes. Zo was Utrecht een van de eerste gemeenten met een openbaar algoritmeregister. Toch is de uitvoering nog niet voldoende geborgd. Interne richtlijnen worden niet altijd consequent toegepast, risico’s worden wel geïdentificeerd maar onvoldoende opgevolgd, en DPIA’s worden niet structureel geactualiseerd. Daarnaast is de informatievoorziening aan de gemeenteraad beperkt, waardoor raadsleden onvoldoende inzicht hebben in de werking, risico’s en impact van algoritmes. Bij de onderzochte casussen blijkt dat medewerkers zich bewust zijn van risico’s, maar dat monitoring, documentatie en kwaliteitsborging ontbreken of sterk afhankelijk zijn van individuele expertise van medewerkers. De Rekenkamer heeft concrete aanbevelingen geformuleerd, waaronder het verbeteren van de kwaliteit van het algoritmeregister, het versterken van risicobeheersing en het structureel informeren van de gemeenteraad. Het college van B&W heeft deze aanbevelingen grotendeels overgenomen.
Het volledige eindrapport is hier te lezen.
De Rekenkamer van Utrecht zegt hierover:
“Als Rekenkamer Utrecht wilden we dit onderzoek in samenwerking met én door een deskundig bureau uitvoeren. Deskundig, zowel op het vlak van algoritmes als op het uitvoeren van rekenkameronderzoek. Met het team van PBLQ zijn we daarin ruimschoots geslaagd. Hun brede kennis van algoritmes stond garant voor een gedegen uitvoering van het onderzoek, waarbij de uitkomsten voor Utrecht op een evenwichtige manier in de bredere context geplaatst konden worden. Met casusonderzoek naar uiteenlopende algoritmes is de vaak abstracte thematiek heel concreet gemaakt. De samenwerking is heel prettig en effectief geweest.”
