The Washington Post: ChatGPT Health is een waardeloze thuisarts
OpenAI wil in de toekomst niet alleen alledaagse vragen beantwoorden, maar met ChatGPT Health ook fungeren als ‘medische AI-assistent’. Een soort thuisarts dus, maar dan met AI. Om die analyses nuttiger te maken, werkt ChatGPT onder meer samen met Apple om data uit de Gezondheid-app te koppelen aan Health. Maar of je je iets moet aantrekken van die analyses, is zeer de vraag.
The Washington Post waarschuwt in een rapportage voor de belabberde resultaten. Een columnist van de Amerikaanse krant, Geoffrey A. Fowler, deelde zijn gezondheidsdata met ChatGPT Health om zijn hartgezondheid te laten beoordelen. Voor die analyse kon de AI gebruikmaken van ruim 29 miljoen stappen en 6 miljoen hartslagmetingen uit zijn Gezondheid-app.
Het resultaat? De columnist kreeg een hartgezondheidsscore van een F. Belabberd dus, maar is het werkelijk zo slecht gesteld met Fowlers hartgezondheid? Na een hardloopsessie besloot de analist zijn hartslagdata te delen met zijn huisarts, die zijn medische kennis toepaste om de gegevens te analyseren. Met een totaal ander resultaat: het is uitstekend gesteld met de gezondheid van Fowlers hart.
Wisselende scores en verkeerde data
Sterker nog: een verzekering zou een keuring om de gezondheid van Fowlers hart te bepalen waarschijnlijk niet eens vergoeden. Bepaald geen ‘F’ dus. Wat de situatie extra zorgwekkend maakt, is dat de scores ook willekeurig veranderen. Fowler herhaalde dezelfde vraag meerdere keren en kreeg telkens andere beoordelingen. Bij de tweede poging schoot de score al omhoog naar een C, terwijl die later schommelde tussen een B en een F.
Ook vergat ChatGPT geregeld belangrijke informatie over Fowler, zoals zijn leeftijd en vitale signalen. Gegevens die noodzakelijk zijn voor een correcte analyse en dus niet altijd werden meegenomen. In de analyse van ChatGPT lag bovendien veel nadruk op VO2Max-scores, terwijl Apple zelf aangeeft dat dit slechts schattingen zijn. Daarnaast zag ChatGPT Health een verandering in de hartslag tijdens rust als reden tot bezorgdheid, terwijl die simpelweg werd veroorzaakt doordat Fowler een nieuwe Apple Watch aanschafte.
ChatGPT is geen huisarts
De bevindingen van Fowler staan niet op zichzelf en onderstrepen opnieuw hoe belangrijk het is om voorzichtig om te gaan met dit soort tools voor gezondheidsadvies. Dat gold al voor gezondheidsinformatie die je online vindt en een extra laag AI maakt dat niet automatisch beter.
Zit je met zorgen over je fysieke gezondheid, raadpleeg dan altijd een arts. Dat kan eventueel op basis van data uit Apple Health, maar let vooral ook op hoe je je voelt. De data die een smartwatch verzamelt, kan soms een vertekend beeld geven en schetst niet altijd het volledige plaatje.
