Na recente kritische berichtgeving van Follow the Money over de toepassing van het Risicotaxatie Instrument Geweld (RTI-G), stopt de politie per direct met het gebruik van dit algoritme. Marc Schuilenburg, hoogleraar Digital Surveillance aan Erasmus School of Law, kreeg inzage in de documenten over de onderbouwing van het algoritme en uitte tegenover Follow the Money zijn zorgen over dit opsporingsinstrument. Niet alleen is de effectiviteit ervan niet geëvalueerd door de politie, ook de risico’s die het gebruik ervan met zich meebrengen zijn erg hoog. Bovendien vormen ethische en juridische zorgen volgens Schuilenburg belangrijke kritiekpunten.
Sinds 2015 gebruikt de Nederlandse politie een algoritme om op individueel niveau te voorspellen of iemand in de toekomst geweld gaat gebruiken. Daarbij kregen personen met een Antilliaanse, Marokkaanse of Somalische achtergrond tot midden 2017 altijd een hogere score dan personen van andere origines, volgens onderzoek van Follow the Money. Ondanks het feit dat de politie deze instelling uit het algoritme zou hebben gehaald, kan zo’n algoritme alleen maar tot problemen leiden, zegt Schuilenburg.
Ernstige tekortkomingen
De hoogleraar is zeer kritisch op RTI-G: “Er zitten enorme risico’s aan.” Ten eerste omdat het op gebiedsniveau al erg moeilijk is om tot betrouwbare misdaadvoorspellingen te komen, dus op individueel niveau is de kans van slagen al helemaal laag, ziet Schuilenburg: “Dit is nog vele malen ingewikkelder. Er spelen oneindig veel factoren een rol. Ieder mens is verschillend.”
Iemand aanmerken als persoon met een risicoprofiel, geeft de politie allerlei ingrijpende opsporingsbevoegdheden, zoals preventief fouilleren en het doorzoeken van de auto van desbetreffend persoon. Wanneer de politie de vrijheid van een burger zo ernstig wil beperken, moet hier gedegen verantwoording over worden afgelegd. Volgens Schuilenburg voldoet de onderbouwing in het verantwoordingsdocument van het algoritme niet: “de input, de verwerking en de output. Het schiet allemaal tekort.” Volgens Schuilenburg ontbreekt de juiste informatie over de gebruikte data, de selectie van de risicofactoren, de weging, hoe het model is gevalideerd en de controle op vooringenomenheid. Ook is er geen tussentijdse evaluatie terug te vinden in het document: “De risicofactoren in dit instrument zijn tien jaar geleden bedacht, maar er is nooit meer naar gekeken. Het kan echt niet op deze manier.”
Voorzorgmaatschappij
Schuilenburg onderzoekt waarom de overheid dit soort voorspellende algoritmes gebruikt en hoe ze werken: “In de politiek en de samenleving gaat het om het voorkomen van potentiële risico’s. Vroeger was er eerst een verdenking en dan pas surveillance. Nu is er eerst surveillance en dan pas een verdenking.”
Instrumenten zoals dit algoritme van de politie kunnen volgens Schuilenburg ontstaan, omdat veiligheid, effectiviteit en efficiëntie binnen onze samenleving zwaarder wegen dan transparantie, non-discriminatie en algoritmische verantwoording. Zodoende ontstaat er zoiets als RTI-G: “Dit moet je niet willen. Niet alleen ethisch gezien, maar ook juridisch. Dit risicomodel valt in alle opzichten onder de definitie van ‘hoogrisico’ in de toekomstige verordening Artificiële Intelligentie van de Europese Unie. Het botst met de vereisten die daarin staan.”
Marc Schuilenburg is verheugd dat de politie stopt met het gebruiken van RTI-G. Er zijn twijfels of het instrument nut heeft, en het is niet duidelijk of agenten er überhaupt nog gebruik van maakten, zegt een politiewoordvoerster na berichtgeving van Follow The Money.
