21 september 2020 10:09

Algoritme Twitter verkiest blanke boven zwarte gezichten

Een opmerking op Twitter over de discriminerende gezichtsherkenning van Zoom legde gelijkaardige problemen bij Twitter bloot.

Op zaterdag wilde Colin Madland een probleem van zijn collega met Zoom blootleggen via Twitter. Wanneer zijn collega gebruik wilde maken van een andere achtergrond, werd hij virtueel onthoofd door videobeldienst Zoom. De oorzaak daarvan was hoogstwaarschijnlijk te zoeken bij de huidskleur van de man. Om dat aan te tonen plaatste Madland een foto van zijn collega aan de ene kant en zichzelf aan de andere kant op Twitter, elks met een virtuele achtergrond op Zoom. Daarna volgde een foto zonder de aangepaste achtergrond. Opvallend was dat, zelfs wanneer de foto gespiegeld werd, het algoritme er voor koos om steeds Colin te tonen in de tweet en niet zijn collega.

any guesses? pic.twitter.com/9aIZY4rSCX
— Colin Madland 🇺🇦🇮🇷 (@colinmadland) September 19, 2020

Preview van afbeelding

Foto’s met een te groot formaat krijgen op Twitter een ‘preview’ onder een tweet. Slechts een deel van de foto wordt daarin getoond. Pas wanneer er op de afbeelding wordt geklikt wordt de volledige foto weergegeven. Om te bepalen welk element op de foto wordt uitgelicht in de preview maakt Twitter gebruik van een neuraal netwerk dat gezichten kan herkennen.

Experimenten

Na de ontdekking van Colin Madland gingen andere twitteraars ook op onderzoek uit. Bij velen bleek dat het algoritme van Twitter veel vaker koos om het gezicht van een blanke persoon te tonen dan het gezicht van een zwarte persoon. Ook met andere variabelen in de afbeelding werd aan de slag gegaan, zoals de kleur van een das of de achtergrond en ook met cartoons werd de test gedaan.

Trying a horrible experiment…

Which will the Twitter algorithm pick: Mitch McConnell or Barack Obama? pic.twitter.com/bR1GRyCkia
— Tony "Abolish ICE" Arcieri 🦀🌹 (@bascule) September 19, 2020

I wonder if Twitter does this to fictional characters too.

Lenny Carl pic.twitter.com/fmJMWkkYEf
— jordan@hachyderm.io (@_jsimonovski) September 20, 2020

Fout van Twitter

Chief design officer bij Twitter, Dantley Davis, liet daarop weten dat ze de werking van het neurale netwerk zouden onderzoeken. Hij zegt daarbij dat het 100% hun fout is en dat ze die dus zullen rechtzetten. Ook het communicatiekanaal van Twitter meldt dat verdere analyses van het algoritme nodig zijn. Dit zullen ze bovendien open source doen, zodat eender wie wil de resultaten kan bekijken, evalueren en repliceren.

We tested for bias before shipping the model & didn't find evidence of racial or gender bias in our testing. But it’s clear that we’ve got more analysis to do. We'll continue to share what we learn, what actions we take, & will open source it so others can review and replicate.
— Twitter Comms (@TwitterComms) September 20, 2020

Al vaker werd aangetoond hoe algoritmes een racistische uitkomst kunnen hebben. In het Verenigd Koninkrijk werd een scanningssysteem voor visumaanvragen al uit gebruik genomen en in de Verenigde Staten werd aangetoond dat het recidivealgoritme dat zou kunnen voorspellen of gevangenen al dan niet opnieuw een misdaad zouden begaan, vaker bij mannen van Afro-Amerikaanse afkomst bepaalde dat ze zouden hervallen.