Meta-analyses: als meerdere AI-modellen het (iets) beter doen dan experts

Het multi-AI-model is gebaseerd op een eenvoudig principe: een beslissing wordt pas aanvaard als meerdere modellen tot hetzelfde resultaat komen. Het is uitgetest op 1020 samenvattingen van artikels in de reumatologie.

De auteurs hebben verschillende kleine, vrij toegankelijke ‘large language modellen’ (LLM), namelijk llama3, granite, qwen, Ministral, Yi, gemma 2, deepseek, Phi 3 en Aya expanse, vergeleken met een evaluatie door twee onafhankelijke lezers, gevolgd door een evaluatie door een derde als de eerste twee het niet eens waren. Het systeem had een precisie van meer dan 97%, wat dus beter was dan het advies van de experts, en heeft zelfs fouten bij de evaluatie door de experts teruggevonden.

Volgens de auteurs wijst dat erop dat je meerdere complementaire AI-algoritmes kan combineren om hallucinaties tegen te gaan en voor een betere automatische triage van de artikels. De vorsers zouden dan veel minder tijd nodig hebben om de literatuur door te nemen en een meta-analyse uit te voeren. AI voert het initiële, lange en repetitieve sorteerwerk uit zonder verlies van kwaliteit zodat de vorsers hun expertise kunnen concentreren op complexe methodologische problemen en twijfelachtige gevallen.

Op termijn zullen de wetenschappelijke gegevens dan ook sneller worden gepubliceerd en dus sneller worden verwerkt in de richtlijnen en de klinische praktijkvoering.