Medische AI-scribes: tijdwinst, maar risico wat de veiligheid van de zorg betreft?

Ze beschrijven vier grote groepen van fouten:

• Hallucinaties: de IA genereert allerhande onderzoeks- of diagnostische elementen, die nooit zijn bewezen.
• Weglaten van essentiële symptomen of informatie (bijvoorbeeld niet invoeren van pijn in de borstkas).
• Slechte interpretatie van de context (stopzetting van een behandeling wordt gedocumenteerd als een nieuw voorschrift).
• Verwisseling van spreker: wat de patiënt zegt, wordt toegeschreven aan de arts en vice versa.

Het aantal gerapporteerde “hallucinaties” blijkt laag te zijn (1-3%), maar op miljoenen consultaties kan dat toch resulteren in problemen (een later stellen van de diagnose of een verkeerde behandeling).

De performantie moet dezelfde zijn in de verschillende demografische groepen. De systemen van stemherkenning blijken minder precies te zijn bij zwarte patiënten, patiënten met een accent en patiënten die het Engels niet machtig zijn. Het dossier dreigt dan ook onvollediger te zijn, terwijl het sowieso al gaat om kwetsbare groepen. De artsen zouden transparante gegevens moeten eisen die aantonen dat er geen systematische verschillen zijn volgens het ras, de taal of het accent. Regelmatige interne audits zijn wenselijk om systematische biases op te sporen.

De meeste van die systemen worden beschouwd als zijnde administratieve tools en niet als medische hulpmiddelen, zodat ze kunnen ontsnappen aan controles (bv. FDA). Tegen die achtergrond blijven de arts en het ziekenhuis medisch aansprakelijk. Ze moeten elke door AI gegenereerde nota herlezen, fouten traceren en de patiënten duidelijk inlichten dat tijdens de consultatie een AI-scribe wordt gebruikt.

Volgens de auteurs moeten heldere eisen worden opgelegd (nagenoeg geen hallucinaties betreffende kritieke elementen, geen ongelijkheden, transparantie van de algoritmes) voor die tools op grote schaal mogen worden gebruikt.