Instagram-algoritme pusht per ongeluk gewelddadige Reels
“We hebben een fout hersteld waardoor sommige gebruikers content in hun Instagram Reels feed zagen die niet aanbevolen had mogen worden. Onze excuses voor de fout”, schrijft Meta in een verklaring. Meta zegt dat het de fout in het algoritme inmiddels heeft opgelost.
De fout leidde ertoe dat content die eigenlijk niet aanbevolen mag worden, toch aan gebruikers werd voorgeschoteld, en dat in grote getale. Het gaat om uiterst gevoelige content, waaronder video’s van in stukken gesneden en verkoolde lichamen, evenals beelden van ernstig gewonde mensen en geweld.
Zulke video’s worden normaliter niet aanbevolen. Gebruikers die de hoogste moderatie-optie in Instagrams ‘Sensitive Content Control’-paneel inschakelen, krijgen dit type content zelfs helemaal niet voorgeschoteld. Dat bleek in sommige gevallen echter toch te gebeuren, meldt CNBC. Het is niet bekend in hoeveel gevallen Instagram alsnog schadelijke content heeft getoond.
‘Gevoelige content’
Opmerkelijk is dat Instagram zich er overduidelijk van bewust was dat het om gevoelige content ging. De gewelddadige en grafische video’s droegen namelijk het label ‘Gevoelige content’. In het moderatieproces zijn de video’s dus als schadelijk gemarkeerd, maar dat is vervolgens door het algoritme genegeerd, zoals Meta ook bevestigt.
Voor dat moderatieproces zegt Meta gebruik te maken van zowel AI, machine learning, als meer dan 15.000 reviewers. Het gros van de schadelijke content wordt al door de AI en machine learning verwijderd, terwijl de reviewers handmatig mogelijke randgevallen onderzoeken, zo klinkt het. Potentieel schadelijke content die niet verwijderd wordt, zou het normaliter niet aanbevelen. “Content van lage kwaliteit, aanstootgevend, gevoelig of ongepast voor jongere kijkers”, wordt op die manier gefilterd.
Censuur verminderen
De error komt op een gevoelig moment voor Meta. De socialemediagigant kondigde op 7 januari aan minder content te zullen verwijderen. Concreet zegt het bedrijf zijn moderatiebeleid aan te passen om de censuur te verminderen en vrije meningsuiting te bevorderen. De geautomatiseerde moderatiesystemen zullen zich in de toekomst focussen op “illegale overtredingen met een hoge ernstgraad, zoals terrorisme, seksuele uitbuiting van kinderen, drugs, fraude en oplichting”.
Voor andere (ernstige) overtredingen van het contentbeleid, zegt Meta te willen vertrouwen op de community. Net als X komt het bedrijf met een ‘Community Notes’-systeem waarbij Meta-gebruikers schadelijke content kunnen rapporteren. Andere gebruikers krijgen bij zo’n bericht een label te zien dat het mogelijk om schadelijke content gaat.
Dit model wordt eerst toegepast in de Verenigde Staten. Op termijn is het echter de bedoeling dat dit ook elders, waaronder in Europa, wordt toegepast. Het nieuws leidde tot ontsteltenis bij Meta-gebruikers wereldwijd.
