Op woensdag 12 juni vond de Technische sessie over de toekomstige technologische mogelijkheden rond veiligheid plaats in het stadhuis van Gemeente Rotterdam. Het doel van de sessie was om raadsleden kennis mee te geven over en hen de gelegenheid te bieden vragen te stellen omtrent het gebruik van AI en datagedreven tools in het kader van veiligheid. Marc Schuilenburg, hoogleraar Digital Surveillance aan Erasmus School of Law, gaf als gastspreker advies tijdens de sessie. In zijn advies benadrukt hij het belang van een gebalanceerde aanpak die zowel technologische als ethische overwegingen omvat.
Schuilenburg opende zijn lezing door de complexiteit van het gebruik van AI en datagedreven tools binnen de veiligheidsproblematiek te benadrukken. Hij verwees naar de Toeslagenschandaal en andere discriminerende algoritmes om te illustreren dat enkel technologische kennis niet voldoende is. “Er is ook behoefte aan juridische en ethische kennis, evenals ervaringskennis, om te voorkomen dat technologie leidt tot negatieve effecten zoals discriminatie en gebrek aan transparantie”, aldus Schuilenburg.
Er is meer dan efficiëntie
Schuilenburg identificeerde drie sets van publieke waarden die van belang zijn bij het gebruik van AI in veiligheidstoepassingen: veiligheid, juridische principes en processuele aspecten. Veiligheid, efficiëntie en effectiviteit vallen onder de stuwende waarden en zijn essentieel voor organisaties zoals de politie. Juridische principes omvatten onder andere het niet-discriminerend zijn van technologie en het respecteren van privacy, terwijl ook processuele waarden zoals accountability en transparantie van groot belang zijn voor een juiste inzet van AI in veiligheidstoepassingen.
Van negatieve effecten tot sterke kaders
Schuilenburg wees op diverse negatieve effecten die in de afgelopen jaren zijn ontstaan bij de inzet van AI. Hij benoemde onder andere de gevaren van ‘overpolicing’ en stigmatisering als gevolg van voorspellende criminaliteitssystemen. Deze voorbeelden benadrukken de noodzaak om niet alleen te vertrouwen op technologische oplossingen, maar ook beter na denken over de sociale, juridische en ethische implicaties van AI-tools.
Om deze problemen aan te pakken, introduceerde Schuilenburg de "vier T's": Target, Tracked, Talked, en Tested. Deze vier vragen vormen een kader voor het ontwerp en de evaluatie van AI-systemen:
- Target: Heeft dit probleem AI nodig?
- Tracked: Hoe zorgen we ervoor dat AI-systemen voldoen aan wet- en regelgeving, zowel op nationaal als Europees niveau?
- Talked: Hoe integreren we ervaringskennis in het ontwerp van AI?
- Tested: Is er bewijs dat de AI-tools effectief zijn?
Slimme lantarenpalen in Lombardijen bleken geen succces
Schuilenburg gaf ook praktische voorbeelden om zijn punten te illustreren. Zo noemde hij de intelligente lantarenpalen in Lombardijen, een wijk in Rotterdam, die voor minder woninginbraken moesten zorgen. Heel snel werden deze weer verwijderd op verzoek van inwoners van de wijk. Dit voorbeeld benadrukt het belang van vroegtijdige betrokkenheid van de gemeenschap en het testen van technologie voordat deze op grote schaal wordt ingezet.
Bovendien benoemt Schuilenburg het gevaar van de inkoop van AI- en datatools van private techbedrijven. “Je koopt niet alleen apparatuur in, maar je laat ook de analyse van de data vaak over aan private partijen. En dan krijg je te maken met het gevaar wat vendor lock-in wordt genoemd, dat een publieke organisatie met handen en voeten gebonden is aan een private organisatie die uiteindelijk natuurlijk maar een doel heeft: meer winst maken.”
Schuilenburg werd door de raadsleden bevraagd over de rol van ethiek bij de inzet van AI-toepassingen. Hij benadrukte dat ethische vragen niet achterlopen en altijd relevant zijn gebleven: “Proportionaliteit, subsidiariteit, transparantie en accountability zijn klassieke vraagstukken die nog steeds van groot belang zijn bij het gebruik van nieuwe technologie.”
Welke vorm van AI moeten we in Rotterdam inzetten?
Schuilenburg wees hierbij op het belang van tijdige evaluatie. Het verbaast de hoogleraar enorm dat veel datagedreven tools en AI-tools in praktijk worden ingezet, zonder dat er enig bewijs voor is dat ze werken. “We weten in de wetenschap ondertussen best veel wat er werkt en wat er niet werkt. Ik denk dat het minste wat je kan doen als publieke partij, is nagaan of het middel wel effectief is.”
Evaluren is volgens Schuilenburg wel makkelijker gezegd dan gedaan. Een zelflerend algoritme is namelijk constant in beweging. Schuilenburg: “De klassieke manier van evalueren bij de output, volstaat dus niet meer. Je zal al bij de input - de datasets - een evaluatie op touw moeten zetten.”
”AI moet rechtvaardig en transparant blijven”
Schuilenburgs lezing was een oproep tot een meer geïntegreerde benadering van technologie in de publieke sector. Hij benadrukte dat AI en datagedreven tools niet alleen op basis van technologische ‘vooruitgang’ moeten worden ingevoerd, maar ook moeten voldoen aan juridische en ethische normen. Zijn adviezen hebben de gemeenteraad een kader geboden om toekomstige beslissingen omtrent AI en veiligheid beter te kunnen beoordelen en implementeren.
“Deze balans tussen technologische vooruitgang en ethische en juridische verantwoording is cruciaal om te zorgen dat AI niet alleen bijdraagt aan meer veiligheid en efficiëntie, maar ook rechtvaardig en transparant blijft”, aldus Schuilenburg.
- Professor
- Gerelateerde content
