Op 8 en 9 april 2024 organiseerde Erasmus School of Law een symposium waar experts vanuit verschillende domeinen hun visie deelden op het thema ‘AI-Ervaringen’. Inmiddels wordt veel gesproken over de technische en juridische kant van AI, maar opmerkelijk weinig over de menselijke factor. Maar wanneer mens en techniek met elkaar zijn verweven, dient ook te worden gekeken naar de manier waarop personen zich in de praktijk tot AI en algoritmes verhouden. “Dit is het eerste grote congres waar meer dan 40 wetenschappers uit binnen- en buitenland spraken over hoe personen van vlees en bloed zich tot AI verhouden. Voor het eerst wordt duidelijk hoe AI-tools in de praktijk worden ervaren, met alle emoties en gevoelens die hierbij een rol spelen”, aldus Marc Schuilenburg, hoogleraar Digital Surveillance aan Erasmus School of Law en mede-organisator van het symposium.
Het gebruik van AI in surveillance wordt een steeds relevanter onderwerp in het kader van veiligheid en criminaliteitsbestrijding. Denk aan de inzet van onder andere biometrie, anomaliedetectie, DNA-banken, crowd control, gezichtsherkenning, geweldsdetectie, 24-uurs bewaking en andere vormen van data-intensieve bewaking. Deze fenomenen roepen cruciale vragen op over de effecten hiervan op de menselijke ervaring. Dit symposium bood de gelegenheid om verschillende facetten van AI-surveillance en de implicaties ervan voor de openbare veiligheid te verkennen – en daarbij verder te kijken dan de technologische en juridische aspecten alleen, naar de emotionele, sociale en culturele contouren.
De inzet van AI: van protest policing tot het toeslagenschandaal
De inzet van AI in de praktijk van surveillance kent veel verschillende vormen. Zo werd er tijdens het symposium onder andere gesproken over innovatieve manieren waarop de inzet van AI-surveillance kan worden onderzocht, de effecten van AI-surveillance tijdens demonstraties, het gebruik van AI-surveillance bij EU-grenzen, de manier waarop de maatschappij AI ziet, de impact van het toeslagenschandaal, platformsurveillance en AI-ervaringen in het publieke domein. In dit artikel worden twee sessies uitgelicht.
Protesthandhaving: een kat en muis spel 2.0
Protesthandhaving speelt een steeds grotere rol in EU-debatten, vooral nu AI wordt ingezet bij handhaving en surveillance. Deze presentatie beantwoordde vragen zoals: Hoe bereidt de politie zich voor op protesten en leidt dit tot nieuwe ervaringen van demonstranten en politieagenten? Hoe bemiddelt de integratie van technologieën en AI de relatie tussen demonstranten en de politie? En leidt deze AI-gedreven aanpak een andere dynamiek van publieke demonstraties en gebruik van sociale media?
Continu zoeken naar de balans
Majsa Storbeck, PhD onderzoeker aan Erasmus School of Law, vertelt: “Bij protesthandhaving wordt gezocht naar de juiste balans tussen openbare orde en bescherming van grondrechten, waar het recht op demonstratie ook onder valt. De toevoeging van nieuwe surveillance technologieën zoals AI voegt nieuw gewicht toe aan de weegschaal, en daarbij is het zoeken naar een nieuwe balans”. “De inzet van nieuwe technologie verstoort deze balans omdat het de interactie tussen politie en demonstranten van beide kanten beïnvloedt. Inzet van technologie vergroot zichtbaarheid en mobilisatie van mensen wat kan resulteren in een groter aantal demonstraties, demonstraties met een grotere omvang maar ook in meer diverse demonstraties. Aan de kant van handhaving verbetert technologie crowdmanagement, proactief politiewerk en efficiëntie”, aldus Storbeck.
Maar hoe beïnvloedt dit de dynamiek?
Storbeck deed onderzoek naar de interactie tussen politie en XR-demonstranten en beschrijft het als een kat en muis spel dat is geëvalueerd: “De muis, in deze context de demonstranten, kunnen technologie inzetten om het blikveld van de kat te veranderen. Waar de kat, in deze context de politie, met inzet van technologie nieuwe klauwen heeft om de muis te vangen.” Dit kan echter grote gevolgen hebben voor de interactie en effectiviteit van protesthandhaving. Want waar het grote voordelen kan hebben blijken er ook negatieve effecten te kleven aan de inzet van technologie en AI. “Denk aan verhoogde spanning en versterking van wederzijds wantrouwen, ook vervaagt het gebruik van technologie de grenzen van wanneer protest begint en eindigt. Er kunnen dus aanzienlijke risico’s verbonden zijn aan de inzet van nieuwe technologieën door de politie. Hoewel deze middelen primair worden ingezet voor crowdmanagement en niet noodzakelijk bedoeld zijn om de macht van de politie te vergroten, kan het de perceptie van een almachtige entiteit onbedoeld versterken. Ik hoop dat de resultaten van mijn onderzoek bijdragen aan een breder maatschappelijk debat over het gebruik van technologie binnen de handhaving van protesten, en de daaruit voortvloeiende effecten,” aldus Storbeck.
“Daarom is het essentieel dat er in het parlement en binnen de wetgeving meer aandacht komt voor de inzet van AI en andere technologieën bij demonstraties. Alleen door een zorgvuldige afweging van de gevolgen en het vaststellen van heldere regels kunnen we ervoor zorgen dat de politie op een juridisch verantwoorde manier gebruik kan maken van deze nieuwe technologieën. De praktijk mag geen voorrang krijgen op de wet”, sluit Storbeck af.
Getroffen door het toeslagenschandaal: wat doet dat met een slachtoffer?
Tijdens de keynote zette Nadine Stijns, beeldend kunstenaar, het toeslagenschandaal, waarbij door de foutieve inzet van algoritmes tienduizenden mensen vals werden beschuldigd van fraude met kinderopvangtoeslag, uiteen. Via de tijdlijn van het toeslagenschandaal en haar kunst die de ernst van dit probleem in beeld brengt gaf zij woorden en visuele uiting aan de impact van het toeslagenschandaal waarbij de menselijke ervaring van algoritmes centraal stond. ”Het is belangrijk om met elkaar in gesprek te gaan en de effecten van de inzet van AI en algoritmes minder abstract te maken, wij laten zien wie wordt geraakt door AI”. Daarna ging Stijns als moderator met Salama Konaté, onderzoeker aan de Universiteit van Amsterdam, Batya Brown, dichter, activist en kunstenaar, en Melissa Strangio, filmmaker en protagonist van sociale verandering en tevens maker van de documentaire Batya, in gesprek over de ernst en impact van het toeslagenschandaal. Brown en Strangio spraken ook over hun ervaringen als slachtoffers van dit schandaal.
De impact is groot
Uit het gesprek blijkt al snel dat de impact van het toeslagenschandaal groot is. Niet alleen het moment dat Brown en Strangio als fraudeur werden bestempeld heeft een grote impact gehad op hun leven. “Zodra je zo’n bericht krijgt ga je twijfelen aan jezelf en achterhalen of het mogelijk is dat je echt een fout hebt gemaakt. Je gaat er niet vanuit dat de overheid het mis kan hebben”, aldus Strangio. Maar het blijft niet bij de shock van het ontvangen van de stempel fraudeur. Het bewijzen van onschuld duurt lang en levert veel stress op wat een grote weerslag heeft op het leven van de getroffenen en op hun gezin. Stijns vult aan: “Mensen zijn hun huizen kwijtgeraakt, relaties zijn kapot gegaan en het heeft bij velen een grote impact gehad op hun gezondheid. In sommige gevallen werden de problemen zo groot dat er zelfs kinderen uit huis werden geplaatst.” “Je wordt als fraudeur bestempeld en bejegend en hebt geen geld om voor je rechten te vechten. Je leven word je letterlijk afgepakt. Ik werd op een zwarte lijst gezet en dan zijn er veel dingen die vrijwel onmogelijk worden”, aldus Brown. De lange termijn impact wordt ook pijnlijk zichtbaar door het verhaal van Strangio: “Ik was altijd erg ondernemend en had twee succesvolle ondernemingen voor het toeslagenschandaal. Uiteindelijk moest ik mijn ondernemerschap opgeven en aan het werk in een callcenter om brood op de plank te krijgen. Het heeft me echt mijn drive om te ondernemen ontnomen. Want waarom zou je dat nog doen als je alles zo kan worden afgepakt”.
Verkeerd beeld van getroffenen
Konaté, die haar thesis schreef over het toeslagenschandaal, benadrukte dat er vaak een geheel verkeerd beeld bestaat van de getroffenen. “In Nederland hebben we een sterk beeld van een ideale burger. Die is hardwerkend, heeft zijn zaakjes op orde en is onafhankelijk van vergoedingen van de overheid. Het overgrote deel van de getroffenen van het toeslagenschandaal is absoluut geen fraudeur maar blijkt ook niet volledig binnen de norm van de ideale burger te passen. De groep die getroffen is blijkt voor 70% te bestaan uit personen met een migratieachtergrond en het betreft in 50% van de gevallen eenpersoonshuishoudens, veelal moeders en ook sociaal economische status speelt hierin een rol. En dat terwijl het hier juist hard werkende ouders betreft, als je niet werkt krijg je de kinderopvangtoeslag namelijk niet”.
De schade is niet uit te drukken in geld
Het is vrijwel onmogelijk om de impact die het toeslagenschandaal heeft gehad op het leven van de getroffenen uit te drukken in geld. Maar er is een compensatie van 30.000 euro beloofd voor de getroffenen met een mogelijke verhoging als de schade hoger blijkt. “Het is nu mogelijk om een verklaring te tekenen waardoor we die compensatie kunnen krijgen maar we vinden het belangrijk om te strijden voor en civielrechtelijke procedure en een eerlijk proces”, aldus Brown en Strangio. “Na het tekenen van de overeenkomst zijn alle deuren dicht. Ik blijf vechten tot ik eerlijk gecompenseerd word en mijn geld terugkrijg, maar er zijn veel ouders die dat gevecht niet meer aankunnen en de overeenkomst tekenen zodat er een einde kan komen aan dit gevecht”, zo vertelt Brown. Er wordt verwacht dat de compensatie van alle slachtoffers nog tot 2030 kan duren.
Wat kunnen we in de toekomst beter doen?
“In een ideale wereld zou gratis kinderopvang natuurlijk de mooiste oplossing zijn, maar ik begrijp ook dat dat niet mogelijk is. Het is belangrijk dat het systeem van wantrouwen, dat op dit moment leidend is, verdwijnt. We moeten dit beleid herevalueren en ruimte maken voor tegengeluiden”, aldus Konaté. Daarnaast, zo benadrukt Strangio, is het van belang dat er wordt gewerkt aan het bouwen van een algoritme wat vrij is van vooroordelen.
“Het huidige voorstel van het demissionaire kabinet om de kinderopvangtoeslag direct via de kinderopvangorganisaties te laten lopen kan ervoor zorgen dat deze situatie zich niet herhaalt, maar alleen als de ouders dan ook volledig uit het proces worden gehaald”, zo stelt Brown. “We hopen ook dat de wereld een stukje liever wordt en dat we met elkaar in gesprek kunnen gaan over hoe we dit het beste kunnen oplossen en kunnen voorkomen. Daarom hebben we in samenwerking met de staatscommissie Rechtstaat burgerpanels opgericht waarin we in gesprek gaan over wat er beter kan in onze rechtsstaat. Deze aanbevelingen zullen we in juli aan de Tweede Kamer overhandigen”, aldus Brown. Konaté sluit af: ”Het is essentieel om na te blijven denken over de menselijke ervaring aan de andere kant van een beslissing, technologie of beleidsstuk”.
Een nieuw perspectief
Volgens Schuilenburg gaat het AI-verhaal vooral over de technische kant ervan, over de ongekende mogelijkheden die AI biedt. Of over de vraag wat moet worden verstaan onder ‘intelligentie’ en hoe ‘intelligent’ AI-tools eigenlijk zijn. “Dat zijn belangrijke onderwerpen” zo stelt Schuilenburg. “Maar we moeten niet vergeten dat AI óók altijd een sociale praktijk is. Daarom moeten de ervaringen van personen die met AI in aanraking komen, van immigranten en politieagenten tot platformwerkers en betogers van Extinction Rebellion, worden betrokken in het praten en denken over AI.”
Gebeurt dat niet, zo stelt Schuilenburg, dan worden concrete personen gereduceerd tot abstracte profielen en worden daarmee onzichtbaar en verdwijnen uit beeld. Het centraal stellen van AI-ervaringen beantwoordt daarom een maatschappelijke noodzaak om een stem te geven aan iedereen die dat op het gebied AI niet of onvoldoende heeft, denk dan vooral aan ‘silenced voices’ van zwakke, kwetsbare of gemarginaliseerde groepen.
“Het congres heeft laten zien dat er een grote noodzaak is om meer onderzoek te verrichten naar de AI-ervaringen van burgers en professionals om zo het perspectief en de betekenissen die deze personen geven aan AI en algoritmes beter te leren kennen en te betrekken in het ontwerp en de toepassing van AI-tools. We moeten AI ‘publiek’ maken”, stelt Schuilenburg onomwonden.
- Meer informatie
Hier lees je meer over de burgerpanels.
