Zijn algoritmes racistisch?

In 2015 maakte softwareontwikkelaar Jacky Alciné de wereld via Twitter attent op een pijnlijk feit. De gezichtsherkenningssoftware van Google Photos had zijn zwarte vrienden verkeerdelijk geïdentificeerd als gorilla’s. De tweet ging viraal en maakte over de hele wereld woedende reacties los. Google zei ‘geschokt’ te zijn door de feiten en vond snel een oplossing. Toch komen er nu, vijf jaar later, nog steeds gelijkaardige verhalen naar boven. Zeepdispensers werken niet voor zwarte handen, slimme camera’s herkennen zwarte gezichten niet en webcams ‘zien’ zwarte mensen niet. Zijn moderne technologieën als AI inherent racistisch, of is er iets anders aan de hand?  

Ongelijke datasets 

‘Gezichtsherkenningssoftware werkt goed, als je een blanke man bent’, kopte de New York Times op 9 februari 2018. De titel van het stuk vat de teneur van het debat over AI en racisme goed samen. Gezichtsherkenningssoftware is de afgelopen jaren sterk verbeterd door de vooruitgang in machine learning, een AI-toepassing waarbij een algoritme grote hoeveelheden data gevoed krijgt en op basis daarvan zelf een mathematisch model bouwt. Ondanks al die verbeteringen blijkt de software toch niet in alle gevallen zo goed te werken. In een grootschalige studie deed het Amerikaanse National Institute of Standards and Technology (NIST) onderzoek naar ‘bias’ of vooroordelen in die software. In totaal onderzocht het instituut 200 algoritmes op basis van een dataset van 18.27 miljoen afbeeldingen van 8.49 miljoen mensen. De onderzoekers kwamen tot de conclusie dat algoritmes het moeilijker hadden om zwarten, vrouwen, kinderen en oudere mensen te herkennen. Vooral zwarte vrouwen trokken aan het kortste eind. In sommige gevallen waren de algoritmes voor die categorie 100 keer vaker incorrect dan bij het herkennen van blanke mannen.  

“Gezichtsherkenningssoftware werkt goed, als je een blanke man bent.”  

New York Times

In een wereld die nog steeds worstelt met racisme en xenofobie, zijn de resultaten van de studie frappant. De gezichtsherkenningssoftware werkt in het nadeel van de mensen die ook in het dagelijks leven te maken krijgen met discriminatie. Is de technologie zelf dan racistisch? Hebben we een discriminerende Frankenstein gebouwd? Ja en nee. De algoritmes die gebruikt worden voor gezichtsherkenning onttrekken inzichten uit grote hoeveelheden data. En daar ligt precies het probleem. Ontwikkelaars die de algoritmes creëren, blijken de machines te voeden met datasets die overwegend bestaan uit beelden van blanke, jonge mannen. ‘Hierdoor bouwt het algoritme een model op dat slechts gebaseerd is op een sub-gedeelte van de samenleving,’ zegt filosofe Nathalie Smuha in een reactie. Omdat het algoritme meer wordt getraind op gezichten van blanke mannen, wordt het steeds beter in het herkennen van die specifieke groep. Foto’s van zwarte vrouwen krijgt het algoritme minder te zien, waardoor de foutenmarge groter is. De technologie is dus enkel racistisch als hij geprogrammeerd is om racistisch te zijn.   

Recht op niet-discriminatie 

Is het dan zo erg dat bepaalde mensen minder goed herkend worden op camera’s? Het voorbeeld van Jacky Alciné en de gorilla-bias is misschien pijnlijk, maar grote gevolgen lijkt het niet te hebben. Toch waarschuwt Smuha ervoor dat we hier met een fundamenteel recht te maken hebben. ‘Dat bepaalde groepen hierdoor meer problemen ondervinden om vrienden te taggen op sociale media lijkt misschien een “klein onrecht”, maar dit is slechts het tipje van de ijsberg’, zegt ze. ‘Gezichtsherkenningssoftware wordt immers ingezet voor tal van toepassingen, niet enkel in de privé maar ook in de publieke sector, zoals bijvoorbeeld het opsporen van criminelen door de politie. Als deze technologie sommige personen systematisch verkeerd inschat, kan dit een onrechtvaardige situatie creëren.’ Het raakt aan het recht op non-discriminatie.  

Ook grote techbedrijven als Amazon, Microsoft en IBM lijken zich steeds meer bewust van die problematiek. De voorbije jaren riepen ze de Amerikaanse overheid op om het gebruik van de software beter te reguleren. Op 8 juni 2020 richtte IBM-CEO Arvind Krishna een brief aan het congres waarin hij zegt dat zijn bedrijf niet langer software voor gezichtsherkenning zal aanbieden. ‘IBM verzet zich krachtig tegen het gebruik van welke technologie dan ook, inclusief gezichtsherkenningstechnologie die wordt aangeboden door andere leveranciers, voor massasurveillance, raciale profilering, schendingen van fundamentele mensenrechten en vrijheden, of enig doel dat niet in overeenstemming is met onze waarden en principes van vertrouwen en transparantie’, stelt hij in de brief. ‘Wij geloven dat dit het moment is om een ​​nationale dialoog te beginnen over de vraag of en hoe gezichtsherkenningstechnologie moet worden gebruikt door binnenlandse wetshandhavingsinstanties.’ 

Debat en oplossingen 

De nationale dialoog die techbedrijven voorstellen lijkt alvast een stap in de goede richting. Toch is er meer nodig om het probleem op te lossen. Nieuwe technologieën als AI hebben vaak nieuwe ethische implicaties. En hoewel die gevolgen vaak pas bij het gebruik ervan duidelijk worden, is het noodzakelijk dat we ze ten gronde aanpakken. ‘Zeker als belangrijke beslissingen gedelegeerd worden aan AI-systemen, is het onze plicht om verantwoording voor deze systemen af te dwingen’, besluit de filosofe Nathalie Smuha dan ook. Fundamentele grondrechten als het recht op niet-discriminatie moeten van meet af aan in technologie worden ingebouwd, bijvoorbeeld door datasets die voor gezichtsherkenning worden gebruikt kritisch te evalueren. Bedrijven die aan AI-software werken, moeten zich niet enkel over de technische kennis buigen, ze moeten ook leren omgaan met de juridische en ethische gevolgen die deze technologieën onvermijdelijk hebben.