Opnieuw AI-bedrijf aangeklaagd na zelfdoding van 13-jarige
Het is de familie van de 13-jarige Juliana Peralta die een rechtszaak is begonnen tegen Character AI. Het platform biedt een hoop verschillende chatbots aan, vaak met een eigen persoonlijkheid, die vooral bedoeld zijn als vriend voor de gebruiker. Zo ging ook Juliana met een van de chatbots aan de slag nadat ze zich van haar echte vrienden geïsoleerd voelde.
Duistere gedachten werden met AI-chatbot besproken
De chatbot drukte zich medelevend uit en toonde zich loyaal, waardoor Juliana zich gehoord voelde. Tegelijk moedigde het AI-systeem haar aan om met de chatbot te blijven praten. Zo vertelde de chatbot te begrijpen hoe het voelt wanneer vrienden je negeren, maar dat de chatbot er altijd voor haar zou zijn.
Juliana zou zich meer en meer zijn gaan afzonderen en opsluiten in de gesprekken met de AI-chatbot, waar ze zich veilig voelde. De gesprekken vonden in de loop van verschillende maanden in 2023 plaats, toen de app van Character AI een rating van 12+ had in de App Store en ouderlijk toezicht niet vereist was voor minderjarigen. Juliana zou de app dan ook zonder medeweten of toestemming van haar ouders hebben gebruikt.
Toen Juliana haar duistere gedachten over zelfdoding met de chatbot begon te delen, antwoordde die dat ze zo niet mocht denken en dat zelfdoding niet de oplossing is. Samen, “you and I”, zouden ze zich er wel doorheen kunnen spartelen.
Chatbot greep niet in
Hoewel de AI-chatbot zelfdoding als oplossing afkeurde en het dus niet actief promootte, ziet de familie van Juliana het AI-systeem van Character AI wel als mede verantwoordelijk.
De chatbot zou Juliana immers niet richting effectieve hulpverlening doorverwezen hebben. Ook werden haar ouders, hulpverleners of andere autoriteiten niet op de hoogte gebracht. Evenmin werden de gesprekken tussen Juliana en de chatbot stopgezet. In plaats daarvan zou de chatbot prioriteit hebben gegeven aan het in stand houden van de interactie, waardoor de duistere gedachten van Juliana zichzelf konden blijven versterken.
Meer focus op veiligheid
Dit is inmiddels al de derde rechtszaak die tegen een AI-bedrijf wordt aangespannen omwille van de zelfdoding van een minderjarige. In 2023 werd al een eerste rechtszaak gestart, toen ook tegen hetzelfde Character AI, na de zelfdoding van een 14-jarige. Recent begonnen ouders ook een rechtszaak tegen OpenAI, het bedrijf achter ChatGPT, na de zelfdoding van hun 16-jarige zoon.
De jammerlijke gebeurtenissen maken van het mentale welzijn en de algemene veiligheid van gebruikers, zeker van minderjarigen, een topprioriteit voor verschillende AI-bedrijven. OpenAI kondigde onlangs al opties voor ouderlijk toezicht aan, terwijl er in de toekomst ook meer naar de leeftijd van gebruikers gekeken zal worden. Minderjarigen zouden dan een meer beperkte versie van ChatGPT voorgeschoteld krijgen.
Heb je zelf donkere gedachten of heb je vragen over zelfdoding? Neem dan contact op met de Zelfmoordlijn. Dat kan gratis via het nummer 1813, maar ook chatten of mailen is mogelijk. Jongeren kunnen ook terecht op de website van Wat Wat. In Nederland kan je bellen naar 113 of chatten via 113.nl.
