Skip to main content

Eerste Hulp Bij Algoritmes (EHBA)

Help mijn organisatie gebruikt een algoritme, wat nu? Maak je geen zorgen, blijf rustig, we gaan samen aan de slag om hiermee om te gaan. Algoritmes kunnen problemen oplossen en het werk gemakkelijker maken, maar brengen ook risico’s met zich mee. In dit artikel maken we jou wegwijs in de wonderlijke wereld van algoritmes. Dat doen we met een stappenplan bestaande uit drie stappen, ten eerste inzicht krijgen, ten tweede beoordelen en ten derde aanpassen en aanpakken.

Wat is een algoritme?

Maar nu eerst, wat is een algoritme eigenlijk? Het is een stappenplan dat door een computer of mens wordt uitgevoerd, ja het kan een zeer complex stappenplan zijn maar ook heel eenvoudig. Een complex stappenplan is het met camerabeelden herkennen van nummerborden van geparkeerde auto’s en een simpel stappenplan is het verzenden van stempassen aan inwonende. Een algoritme is een reeks instructies ontworpen om een specifieke taak uit te voeren. In de basis stop je er gegevens in (input), maakt het algoritme een berekening en komt er een resultaat uit (output). Meer geavanceerde algoritmes kunnen “zelf”-lerend zijn, in dat geval is er een terugkoppeling van de output naar het algoritme waardoor het algoritme zich kan aanpassen. Maar we maken het niet te complex, voor nu is dit voldoende. Zodoende, een algoritme is een stappenplan voor het oplossen van problemen op basis van input.

Figure 1. Visualization algorithm

Wat kan een algoritme?

Algoritmes zijn overal om ons heen. In de gezondheidszorg zijn er algoritmes die tumoren identificeren aan de hand van scans. Dat gaat als volgt: eerst wordt het algoritme getraind met scans waarop tumoren zichtbaar en gemarkeerd zijn. Zo leert het algoritme tumoren herkennen. Vervolgens herkent het algoritme zelfstandig tumoren die lijken op de afbeeldingen tijdens de training. Dit betekent dat met behulp van algoritmes nauwkeuriger en sneller allerlei vormen van kanker gedetecteerd kunnen worden, omdat een algoritme de juiste informatie uit een grote hoeveelheid gegevens detecteert. Daarnaast worden er ook tal van algoritmes gebruikt in gemeenten om deze efficiënter te laten werken. Denk hierbij aan dynamische routes voor afvalvoertuigen, zodat er niet onnodig rondjes gereden wordt in straten waar het afval al is opgehaald. Of inzicht in beschikbare parkeerplekken of oplaadpalen middels sensoren, zodat er gemakkelijk een plek gevonden wordt zonder minutenlang rond te rijden. Kortom, taken die voorheen door mensen werden uitgevoerd en zeeën van tijd kostte, kan middels een algoritme in een korte tijd geautomatiseerd uitgevoerd worden.

Goed nu weten we hoe een algoritme er uitziet en wat ze zoal doen. En nu?

Stap 1: Inzicht in algoritmes

De eerste essentiële stap is om te gaan verkennen. Begin daarom met een zoektocht door jouw organisatie. Ga per team, afdeling, organisatie na welke algoritmes er zijn, hoe de bijbehorende datastromen lopen, hoe algoritmes worden gearchiveerd en creëer hiervan een overzicht. Kortom, breng algoritmes in kaart.

Algoritmeregisters en archivering

Goed, het verkennen van de algoritmes in de organisatie dus. De gemeenten Amsterdam en Utrecht hebben hier een zeer verschillende aanpak voor gehanteerd. Beide hebben een algoritmeregister opgesteld dat inzicht biedt in de algoritmes die gebruikt worden binnen de organisaties. De gemeente Amsterdam[1] heeft een naar buiten toe gericht register gemaakt via een mooie website. Daarin zitten enkele bekendere en innovatievere algoritmes zoals een parkeercontrole algoritme dat controleert of geparkeerde auto’s parkeergeld hebben betaald of in het bezit zijn van een parkeervergunning. De gemeente Utrecht[2] heeft in antwoord op een vraag vanuit de gemeenteraad een Excel bestand opgezet met daarin een groot aantal algoritmes op het gebied van onder andere Veiligheid en Leefomgeving. Deze zijn op een basale manier beschreven en er is weergegeven of een Privacy Impact Assessment is gedaan. Deze twee gevallen tonen een smaller diepgravend (Amsterdam) en een breder oppervlakkig algoritmeregister (Utrecht). Voor een zowel uitputtende als diepgravend register moet aardig wat werk verzet worden.
Tot slot hoeft niet elk algoritme in kaart gebracht te worden, maar wel de belangrijkste. Een onbelangrijk algoritme is natuurlijk subjectief, maar het algoritme dat de lift bestuurt is een stuk minder belangrijk dan het algoritme dat de belastingopgave van burgers controleert.

Algoritmes archiveren

De Vereniging van Nederlandse Gemeenten (VNG) onderstreept ook het belang van een algoritmeregister. Volgens de VNG draagt een algoritmeregister bij aan de transparantie van en toegankelijkheid tot algoritmes. Daarbij betrekt de VNG de noodzaak voor archivering van algoritmes, omdat hiermee transparantie en verantwoording afgelegd kan worden. Het is echter voor veel organisaties niet duidelijk hoe algoritmes het best gearchiveerd kunnen worden. Zodoende publiceerden de VNG in juni van dit jaar een handreiking voor het archiveren van algoritmes[3] om gemeenten te ondersteunen bij de keuzes die zij moeten maken om algoritmes te archiveren. Het principe van “archiving by design” is hierbij noodzakelijk. Dit betekent dat er in de ontwerpfase van algoritmes al maatregelen genomen moeten worden om archivering toe te passen. Dus archivering gebeurt niet alleen achteraf.

Figure 2. Cycle of Information

Data stromen in kaart brengen
Naast het in kaart brengen van de algoritmes is het ook nodig de bijbehorende datastromen in kaart te brengen. Een datastroom is het volledige traject van gegevens, van creatie tot vernietiging (figuur 2[4]). Dergelijke datastromen zullen op dit moment op allerlei manieren bestaan in jouw organisatie. Datastromen in kaart brengen is nodig omdat algoritmes berekeningen en uiteindelijke keuzes maken op basis van deze data. Daarom is het belangrijk zeker te zijn over wat deze gegevens betekenen, hoe het verzameld is, wat juridisch kan en mag en de wenselijke bewaartermijn.

Algoritmeregisters, datastromen en archivering dragen bij aan het benodigde overzicht en de transparantie die nog te vaak ontbreken.

Algoritmes beoordelen

Nu we de bestaande algoritmes en datastromen in kaart hebben gebracht kunnen we deze gaan beoordelen. Los van de AVG en richtlijnen omtrent informatiebeveiliging zijn er ook toetsingskaders specifiek voor algoritmes opgesteld die potentiële risico’s van algoritmes blootleggen en controle op de ontwikkeling en het gebruik van algoritmes waarborgen. We richten ons hier enkel op de algoritmes, voor data governance van datastromen levert Data Management Body of Knowledge (DMBOK[5]) veel houvast. Een beoordeling aan de hand van een toetsingskader geeft duidelijk handelingsperspectief. Wat gaat er goed, wat niet, en moet er gehandeld worden of niet. Bij beoordeling is een ethisch kader verstandig, een externe blik wenselijk en een DPIA nodig. Hieronder gaan we enkele belangrijke beoordelingspunten af.

Ethische kaders
Organisaties zijn zich steeds meer bewust van de ethische uitdagingen en dilemma’s die algoritmes met zich meebrengen. Ethische kaders zijn daarom essentieel bij de inzet van een algoritmes, omdat deze grote maatschappelijke impact kunnen hebben Er is dan ook een wijd scala aan ethische kaders, principes en richtlijnen. Bijvoorbeeld De Ethische Data Assistent (DEDA)[6]. DEDA is een tool die helpt om voorafgaand aan een project ethische uitdagingen te herkennen via interactieve vragenlijsten en brainstormsessies. DEDA helpt betrokkenen zich bewust te worden van risico’s en daardoor kunnen deze vroegtijdig gemitigeerd worden.

Naast bewustwording kan een organisatie ervoor kiezen ethisch toezicht in te richten. De gemeente Enschede was de eerste gemeente die dit deed door het instellen van een ethische commissie[7]. Deze commissie houdt zich bezig met ethische vragen en uitdagingen rondom data en technologie en maakt een afweging tussen de risico’s en kansen. Zo’n commissie kan relevante ondersteuning en zekerheid geven voor de toetsing van ethische risico’s. Daarnaast vergroot zo’n commissie de betrouwbaarheid van algoritmes en daarmee ook het vertrouwen van de burger.

Andere toetsingskaders

Diverse overheden hebben toetsingskaders ontwikkeld, maar de ervaring leert dat deze vaak op de specifieke casus van de organisatie moet worden toegespitst. De Europese Unie heeft een publicatie[8] waarin een handzame vragenlijst zit die ontwikkeld is voor Artificiële Intelligentie, maar ook voor simpelere algoritmes goede vragen bevat. Daarnaast heeft het ministerie van Binnenlandse Zaken een toetsingskader voor het programma Regie op Gegevens gepubliceerd. Daarin is een combinatie gemaakt van bekende toetsingskaders en deze zijn toegespitst op de ethische principes van het programma. Een toetsingskader helpt in de beoordeling van een algoritme en daarbij moet per specifieke casus gekeken wat relevant is en wat niet.

Externe audit van algoritmes
Een externe audit biedt een onafhankelijke blik op de ontwikkeling en het gebruik van algoritmes. Dit is gebruikelijk in bijvoorbeeld financiën waar een accountant de cijfers controleert. Deze kritische externe blik is enorm behulpzaam en kan ook bij algoritmes goede ondersteuning bieden. Bij een dergelijke audit wordt de datastroom, het algoritme zelf en de governance er omheen kritisch doorgelicht. Dit geeft zicht op valkuilen en voorkomt zo systematische fouten. De Algemene Rekenkamer beaamt een dergelijke beoordeling. In hun rapport “Aandacht voor algoritmes”[9] staat dat uniformiteit in kwaliteitseisen voor algoritmes essentieel is voor de uiteindelijke beoordeling van algoritmes. Daarnaast is een externe blik een wenselijke toevoeging. Zo heeft bijvoorbeeld de gemeente Amsterdam in 2019 heeft een externe audit laten uitvoeren door KPMG. Zij deden een kwaliteitscontrole van de algoritmes van de gemeente om discriminatie en ongewenste beslissingen te voorkomen. Echter is het belangrijk dat de verantwoordelijk voor de ontwikkeling en uitvoering van algoritmes bij een organisatie zelf blijft en niet wordt afgeschoven op de partij die de externe audit uitvoert.

Data Protection Impact Assessment (DPIA)
In de volksmond bekend als PIA – Privacy Impact Assessment – wordt uitgevoerd om inzicht te krijgen in de privacy risico’s van gegevensverwerking van betrokkenen en deze vervolgens te verkleinen door maatregelen te nemen. De uitvoering van een PIA is een continu proces. Het is essentieel om te blijven monitoren of er iets verandert in de gegevensverwerking. Wanneer een gegevensverwerking een hoog privacy risico oplevert, is een PIA altijd verplicht. De Autoriteit Persoonsgegevens heeft een goede handleiding die je hierbij ondersteunen[10]. Daarnaast zijn er ook organisaties die zich in PIA’s specialiseren.

Nauwkeurigheid

Als laatste, voordat je op “go” drukt en een algoritme in het “wild” vrijlaat, is het belangrijk om je af te vragen hoe goed het algoritme eigenlijk is en of deze klopt met de werkelijkheid. Te gemakkelijk wordt hieraan voorbijgegaan. Er zijn tal van evaluatiemethoden om algoritmes te toetsen aan de werkelijkheid, echter is het belangrijk om de juiste methode in de juiste context te gebruiken.

Bijvoorbeeld bij de belastingdienst worden algoritmes gebruikt om fraudeurs op te sporen. Dan is het belangrijk om te achterhalen hoe vaak het algoritme een foute voorspelling maakt (fout positief). Hoe vaak het algoritme fraudereus mist (fout negatieven). En te achterhalen hoeveel van degene die worden bestempeld als fraudeurs daadwerkelijk fraudeurs zijn (echt positief). Deze nauwkeurigheid heeft verstrekkende impact op burgers en moet dus goed geanalyseerd worden. Wanneer niet stil gestaan wordt bij de verschillende evaluatiemethoden, kunnen slechte algoritmes toegepast worden. Vervolgens leiden deze algoritme tot onjuiste conclusies en hoge kosten als cruciale fouten pas achteraf, of erger nog, helemaal niet worden ontdekt.
Kortom, let daar op.

Aanpassen en aanpakken

Nadat de algoritmes in kaart zijn gebracht en beoordeeld zijn volgt de vraag: wat nu? Hoe ga je om met bestaande algoritmes? Wat doe je wanneer een algoritme “zakt” voor de beoordeling? Moet er meteen gestopt worden met het algoritme of passen we het algoritme aan en kunnen we doorgaan met het gebruik? Hoe meet je überhaupt de effectiviteit van een algoritme? En hoe merk je mogelijke problemen met het algoritme? Ten slotte, wie is wanneer verantwoordelijk bij de implementatie van een algoritme? Idealiter zou er een manier moeten zijn om je algoritme uit te zetten. Net als een “go” knop voor een algoritme moet er ook een “stop” of “pauze” knop zijn. Helaas is deze vaak niet aanwezig. Op deze vragen is geen eenvoudig antwoord.

Wanneer algoritmes zo’n significante impact hebben op het leven van gewone mensen, van het aanvragen van leningen tot het aanwijzen van buurten waar de politie zich op focust, is het van vitaal belang dat er een conversatie plaatsvindt dwars door organisaties over hoe we ervoor kunnen zorgen dat een algoritme in de toekomst transparante en eerlijke beslissing neemt.
Daarbij spelen allerlei specialismen een rol. Die verschillende perspectieven zijn heel welkom en zorgen ervoor dat de juiste informatie boven tafel komt. Uiteraard speelt de politiek een belangrijke rol hierin, aangezien de politiek als regelgever normen stelt, richtlijnen geeft en misstanden aankaart. De kaderstellende rol van de politiek en het inzetten van diverse specialismen helpt bij het beantwoorden van de eerdergenoemde vragen.

Conclusie

Nu weet je wat je kan gaan doen als je een algoritme tegenkomt. Blijf vooral niet stilstaan, maar kom in actie. Creëer een overzicht van al je, belangrijkste, algoritmes en datastromen en gebruik de bestaande toetsingskaders bij de beoordeling van je algoritme. In dit artikel hebben we deze kaders op een rijtje gezet en een eenvoudig stappenplan aangereikt. Maar daar houdt het niet op. Wees kritisch op de algoritmes die gebruikt worden en durf vragen te stellen over de effectiviteit en mogelijke problemen die een algoritme kan veroorzaken. Algoritmes kunnen op heel veel manieren het leven gemakkelijker maken, maar dan moeten ze wel de maatschappij dienen. Dat is een continue uitdaging en de stappen hierboven helpen om daar inzicht, een oordeel en grip op te krijgen.

 

[1] https://Algoritmeregister.amsterdam.nl/

[2] https://ckan.dataplatform.nl/dataset/algoritmeregister-utrecht/

[3] https://vng.nl/nieuws/handreiking-voor-archiveren-van-algoritmes-gepubliceerd

[4] Enabling Secure Information Exchange in Cloud environments. (2021, 28 april). Nexor.

https://www.nexor.com/resources/white-papers/enabling-secure-information-exchange-in-cloud-environments/

[5] https://www.dama.org/cpages/body-of-knowledge

[6] https://dataschool.nl/wp-content/uploads/sites/272/2019/10/DEDA_3_0.pdf

[7] https://www.enschede.nl/bestuur/adviesraden/ethische-commissie/wat-doet-de-ethische-commissie

[8] https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai

[9] https://www.rekenkamer.nl/publicaties/rapporten/2021/01/26/aandacht-voor-algorithms

[10] https://autoriteitpersoonsgegevens.nl/nl/zelf-doen/data-protection-impact-assessment-dpia

Algoritmes beoordelen

Help mijn organisatie gebruikt een algoritme, wat nu? Maak je geen zorgen, blijf rustig, we gaan samen aan de slag om hiermee om te gaan. Algoritmes kunnen problemen oplossen en het werk gemakkelijker maken, maar brengen ook risico’s met zich mee. In dit artikel maken we jou wegwijs in de wonderlijke wereld van algoritmes. Dat doen we met een stappenplan bestaande uit drie stappen, ten eerste inzicht krijgen, ten tweede beoordelen en ten derde aanpassen en aanpakken.

Wat is een algoritme?

Maar nu eerst, wat is een algoritme eigenlijk? Het is een stappenplan dat door een computer of mens wordt uitgevoerd, ja het kan een zeer complex stappenplan zijn maar ook heel eenvoudig. Een complex stappenplan is het met camerabeelden herkennen van nummerborden van geparkeerde auto’s en een simpel stappenplan is het verzenden van stempassen aan inwonende. Een algoritme is een reeks instructies ontworpen om een specifieke taak uit te voeren. In de basis stop je er gegevens in (input), maakt het algoritme een berekening en komt er een resultaat uit (output). Meer geavanceerde algoritmes kunnen “zelf”-lerend zijn, in dat geval is er een terugkoppeling van de output naar het algoritme waardoor het algoritme zich kan aanpassen. Maar we maken het niet te complex, voor nu is dit voldoende. Zodoende, een algoritme is een stappenplan voor het oplossen van problemen op basis van input.

Figure 1. Visualization algorithm

Wat kan een algoritme?

Algoritmes zijn overal om ons heen. In de gezondheidszorg zijn er algoritmes die tumoren identificeren aan de hand van scans. Dat gaat als volgt: eerst wordt het algoritme getraind met scans waarop tumoren zichtbaar en gemarkeerd zijn. Zo leert het algoritme tumoren herkennen. Vervolgens herkent het algoritme zelfstandig tumoren die lijken op de afbeeldingen tijdens de training. Dit betekent dat met behulp van algoritmes nauwkeuriger en sneller allerlei vormen van kanker gedetecteerd kunnen worden, omdat een algoritme de juiste informatie uit een grote hoeveelheid gegevens detecteert. Daarnaast worden er ook tal van algoritmes gebruikt in gemeenten om deze efficiënter te laten werken. Denk hierbij aan dynamische routes voor afvalvoertuigen, zodat er niet onnodig rondjes gereden wordt in straten waar het afval al is opgehaald. Of inzicht in beschikbare parkeerplekken of oplaadpalen middels sensoren, zodat er gemakkelijk een plek gevonden wordt zonder minutenlang rond te rijden. Kortom, taken die voorheen door mensen werden uitgevoerd en zeeën van tijd kostte, kan middels een algoritme in een korte tijd geautomatiseerd uitgevoerd worden.

Goed nu weten we hoe een algoritme er uitziet en wat ze zoal doen. En nu?

Stap 1: Inzicht in algoritmes

De eerste essentiële stap is om te gaan verkennen. Begin daarom met een zoektocht door jouw organisatie. Ga per team, afdeling, organisatie na welke algoritmes er zijn, hoe de bijbehorende datastromen lopen, hoe algoritmes worden gearchiveerd en creëer hiervan een overzicht. Kortom, breng algoritmes in kaart.

Algoritmeregisters en archivering

Goed, het verkennen van de algoritmes in de organisatie dus. De gemeenten Amsterdam en Utrecht hebben hier een zeer verschillende aanpak voor gehanteerd. Beide hebben een algoritmeregister opgesteld dat inzicht biedt in de algoritmes die gebruikt worden binnen de organisaties. De gemeente Amsterdam[1] heeft een naar buiten toe gericht register gemaakt via een mooie website. Daarin zitten enkele bekendere en innovatievere algoritmes zoals een parkeercontrole algoritme dat controleert of geparkeerde auto’s parkeergeld hebben betaald of in het bezit zijn van een parkeervergunning. De gemeente Utrecht[2] heeft in antwoord op een vraag vanuit de gemeenteraad een Excel bestand opgezet met daarin een groot aantal algoritmes op het gebied van onder andere Veiligheid en Leefomgeving. Deze zijn op een basale manier beschreven en er is weergegeven of een Privacy Impact Assessment is gedaan. Deze twee gevallen tonen een smaller diepgravend (Amsterdam) en een breder oppervlakkig algoritmeregister (Utrecht). Voor een zowel uitputtende als diepgravend register moet aardig wat werk verzet worden.
Tot slot hoeft niet elk algoritme in kaart gebracht te worden, maar wel de belangrijkste. Een onbelangrijk algoritme is natuurlijk subjectief, maar het algoritme dat de lift bestuurt is een stuk minder belangrijk dan het algoritme dat de belastingopgave van burgers controleert.

Algoritmes archiveren

De Vereniging van Nederlandse Gemeenten (VNG) onderstreept ook het belang van een algoritmeregister. Volgens de VNG draagt een algoritmeregister bij aan de transparantie van en toegankelijkheid tot algoritmes. Daarbij betrekt de VNG de noodzaak voor archivering van algoritmes, omdat hiermee transparantie en verantwoording afgelegd kan worden. Het is echter voor veel organisaties niet duidelijk hoe algoritmes het best gearchiveerd kunnen worden. Zodoende publiceerden de VNG in juni van dit jaar een handreiking voor het archiveren van algoritmes[3] om gemeenten te ondersteunen bij de keuzes die zij moeten maken om algoritmes te archiveren. Het principe van “archiving by design” is hierbij noodzakelijk. Dit betekent dat er in de ontwerpfase van algoritmes al maatregelen genomen moeten worden om archivering toe te passen. Dus archivering gebeurt niet alleen achteraf.

Figure 2. Cycle of Information

Data stromen in kaart brengen
Naast het in kaart brengen van de algoritmes is het ook nodig de bijbehorende datastromen in kaart te brengen. Een datastroom is het volledige traject van gegevens, van creatie tot vernietiging (figuur 2[4]). Dergelijke datastromen zullen op dit moment op allerlei manieren bestaan in jouw organisatie. Datastromen in kaart brengen is nodig omdat algoritmes berekeningen en uiteindelijke keuzes maken op basis van deze data. Daarom is het belangrijk zeker te zijn over wat deze gegevens betekenen, hoe het verzameld is, wat juridisch kan en mag en de wenselijke bewaartermijn.

Algoritmeregisters, datastromen en archivering dragen bij aan het benodigde overzicht en de transparantie die nog te vaak ontbreken.

Algoritmes beoordelen

Nu we de bestaande algoritmes en datastromen in kaart hebben gebracht kunnen we deze gaan beoordelen. Los van de AVG en richtlijnen omtrent informatiebeveiliging zijn er ook toetsingskaders specifiek voor algoritmes opgesteld die potentiële risico’s van algoritmes blootleggen en controle op de ontwikkeling en het gebruik van algoritmes waarborgen. We richten ons hier enkel op de algoritmes, voor data governance van datastromen levert Data Management Body of Knowledge (DMBOK[5]) veel houvast. Een beoordeling aan de hand van een toetsingskader geeft duidelijk handelingsperspectief. Wat gaat er goed, wat niet, en moet er gehandeld worden of niet. Bij beoordeling is een ethisch kader verstandig, een externe blik wenselijk en een DPIA nodig. Hieronder gaan we enkele belangrijke beoordelingspunten af.

Ethische kaders
Organisaties zijn zich steeds meer bewust van de ethische uitdagingen en dilemma’s die algoritmes met zich meebrengen. Ethische kaders zijn daarom essentieel bij de inzet van een algoritmes, omdat deze grote maatschappelijke impact kunnen hebben Er is dan ook een wijd scala aan ethische kaders, principes en richtlijnen. Bijvoorbeeld De Ethische Data Assistent (DEDA)[6]. DEDA is een tool die helpt om voorafgaand aan een project ethische uitdagingen te herkennen via interactieve vragenlijsten en brainstormsessies. DEDA helpt betrokkenen zich bewust te worden van risico’s en daardoor kunnen deze vroegtijdig gemitigeerd worden.

Naast bewustwording kan een organisatie ervoor kiezen ethisch toezicht in te richten. De gemeente Enschede was de eerste gemeente die dit deed door het instellen van een ethische commissie[7]. Deze commissie houdt zich bezig met ethische vragen en uitdagingen rondom data en technologie en maakt een afweging tussen de risico’s en kansen. Zo’n commissie kan relevante ondersteuning en zekerheid geven voor de toetsing van ethische risico’s. Daarnaast vergroot zo’n commissie de betrouwbaarheid van algoritmes en daarmee ook het vertrouwen van de burger.

Andere toetsingskaders

Diverse overheden hebben toetsingskaders ontwikkeld, maar de ervaring leert dat deze vaak op de specifieke casus van de organisatie moet worden toegespitst. De Europese Unie heeft een publicatie[8] waarin een handzame vragenlijst zit die ontwikkeld is voor Artificiële Intelligentie, maar ook voor simpelere algoritmes goede vragen bevat. Daarnaast heeft het ministerie van Binnenlandse Zaken een toetsingskader voor het programma Regie op Gegevens gepubliceerd. Daarin is een combinatie gemaakt van bekende toetsingskaders en deze zijn toegespitst op de ethische principes van het programma. Een toetsingskader helpt in de beoordeling van een algoritme en daarbij moet per specifieke casus gekeken wat relevant is en wat niet.

Externe audit van algoritmes
Een externe audit biedt een onafhankelijke blik op de ontwikkeling en het gebruik van algoritmes. Dit is gebruikelijk in bijvoorbeeld financiën waar een accountant de cijfers controleert. Deze kritische externe blik is enorm behulpzaam en kan ook bij algoritmes goede ondersteuning bieden. Bij een dergelijke audit wordt de datastroom, het algoritme zelf en de governance er omheen kritisch doorgelicht. Dit geeft zicht op valkuilen en voorkomt zo systematische fouten. De Algemene Rekenkamer beaamt een dergelijke beoordeling. In hun rapport “Aandacht voor algoritmes”[9] staat dat uniformiteit in kwaliteitseisen voor algoritmes essentieel is voor de uiteindelijke beoordeling van algoritmes. Daarnaast is een externe blik een wenselijke toevoeging. Zo heeft bijvoorbeeld de gemeente Amsterdam in 2019 heeft een externe audit laten uitvoeren door KPMG. Zij deden een kwaliteitscontrole van de algoritmes van de gemeente om discriminatie en ongewenste beslissingen te voorkomen. Echter is het belangrijk dat de verantwoordelijk voor de ontwikkeling en uitvoering van algoritmes bij een organisatie zelf blijft en niet wordt afgeschoven op de partij die de externe audit uitvoert.

Data Protection Impact Assessment (DPIA)
In de volksmond bekend als PIA – Privacy Impact Assessment – wordt uitgevoerd om inzicht te krijgen in de privacy risico’s van gegevensverwerking van betrokkenen en deze vervolgens te verkleinen door maatregelen te nemen. De uitvoering van een PIA is een continu proces. Het is essentieel om te blijven monitoren of er iets verandert in de gegevensverwerking. Wanneer een gegevensverwerking een hoog privacy risico oplevert, is een PIA altijd verplicht. De Autoriteit Persoonsgegevens heeft een goede handleiding die je hierbij ondersteunen[10]. Daarnaast zijn er ook organisaties die zich in PIA’s specialiseren.

Nauwkeurigheid

Als laatste, voordat je op “go” drukt en een algoritme in het “wild” vrijlaat, is het belangrijk om je af te vragen hoe goed het algoritme eigenlijk is en of deze klopt met de werkelijkheid. Te gemakkelijk wordt hieraan voorbijgegaan. Er zijn tal van evaluatiemethoden om algoritmes te toetsen aan de werkelijkheid, echter is het belangrijk om de juiste methode in de juiste context te gebruiken.

Bijvoorbeeld bij de belastingdienst worden algoritmes gebruikt om fraudeurs op te sporen. Dan is het belangrijk om te achterhalen hoe vaak het algoritme een foute voorspelling maakt (fout positief). Hoe vaak het algoritme fraudereus mist (fout negatieven). En te achterhalen hoeveel van degene die worden bestempeld als fraudeurs daadwerkelijk fraudeurs zijn (echt positief). Deze nauwkeurigheid heeft verstrekkende impact op burgers en moet dus goed geanalyseerd worden. Wanneer niet stil gestaan wordt bij de verschillende evaluatiemethoden, kunnen slechte algoritmes toegepast worden. Vervolgens leiden deze algoritme tot onjuiste conclusies en hoge kosten als cruciale fouten pas achteraf, of erger nog, helemaal niet worden ontdekt.
Kortom, let daar op.

Aanpassen en aanpakken

Nadat de algoritmes in kaart zijn gebracht en beoordeeld zijn volgt de vraag: wat nu? Hoe ga je om met bestaande algoritmes? Wat doe je wanneer een algoritme “zakt” voor de beoordeling? Moet er meteen gestopt worden met het algoritme of passen we het algoritme aan en kunnen we doorgaan met het gebruik? Hoe meet je überhaupt de effectiviteit van een algoritme? En hoe merk je mogelijke problemen met het algoritme? Ten slotte, wie is wanneer verantwoordelijk bij de implementatie van een algoritme? Idealiter zou er een manier moeten zijn om je algoritme uit te zetten. Net als een “go” knop voor een algoritme moet er ook een “stop” of “pauze” knop zijn. Helaas is deze vaak niet aanwezig. Op deze vragen is geen eenvoudig antwoord.

Wanneer algoritmes zo’n significante impact hebben op het leven van gewone mensen, van het aanvragen van leningen tot het aanwijzen van buurten waar de politie zich op focust, is het van vitaal belang dat er een conversatie plaatsvindt dwars door organisaties over hoe we ervoor kunnen zorgen dat een algoritme in de toekomst transparante en eerlijke beslissing neemt.
Daarbij spelen allerlei specialismen een rol. Die verschillende perspectieven zijn heel welkom en zorgen ervoor dat de juiste informatie boven tafel komt. Uiteraard speelt de politiek een belangrijke rol hierin, aangezien de politiek als regelgever normen stelt, richtlijnen geeft en misstanden aankaart. De kaderstellende rol van de politiek en het inzetten van diverse specialismen helpt bij het beantwoorden van de eerdergenoemde vragen.

Conclusie

Nu weet je wat je kan gaan doen als je een algoritme tegenkomt. Blijf vooral niet stilstaan, maar kom in actie. Creëer een overzicht van al je, belangrijkste, algoritmes en datastromen en gebruik de bestaande toetsingskaders bij de beoordeling van je algoritme. In dit artikel hebben we deze kaders op een rijtje gezet en een eenvoudig stappenplan aangereikt. Maar daar houdt het niet op. Wees kritisch op de algoritmes die gebruikt worden en durf vragen te stellen over de effectiviteit en mogelijke problemen die een algoritme kan veroorzaken. Algoritmes kunnen op heel veel manieren het leven gemakkelijker maken, maar dan moeten ze wel de maatschappij dienen. Dat is een continue uitdaging en de stappen hierboven helpen om daar inzicht, een oordeel en grip op te krijgen.

 

[1] https://Algoritmeregister.amsterdam.nl/

[2] https://ckan.dataplatform.nl/dataset/algoritmeregister-utrecht/

[3] https://vng.nl/nieuws/handreiking-voor-archiveren-van-algoritmes-gepubliceerd

[4] Enabling Secure Information Exchange in Cloud environments. (2021, 28 april). Nexor.

https://www.nexor.com/resources/white-papers/enabling-secure-information-exchange-in-cloud-environments/

[5] https://www.dama.org/cpages/body-of-knowledge

[6] https://dataschool.nl/wp-content/uploads/sites/272/2019/10/DEDA_3_0.pdf

[7] https://www.enschede.nl/bestuur/adviesraden/ethische-commissie/wat-doet-de-ethische-commissie

[8] https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai

[9] https://www.rekenkamer.nl/publicaties/rapporten/2021/01/26/aandacht-voor-algorithms

[10] https://autoriteitpersoonsgegevens.nl/nl/zelf-doen/data-protection-impact-assessment-dpia

PUBLICATIES

VRAGEN?

Thomas Dolman

Adviseur


0703763636

Stuur mij een bericht