Forschende des Universitätsklinikums Bonn (UKB) und der Universität Bonn konnten erstmals zeigen, dass lokale LLMs, bei deren datenschutzsicheren Verwendung alle Daten innerhalb der Klinik verbleiben, dabei helfen können radiologische Befunde zu strukturieren. Dazu haben sie verschiedene LLMs auf öffentlichen Befunden ohne Datenschutz und auf datengeschützten Befunden verglichen. Kommerzielle Modelle mit Datenübertrag auf externe Server zeigen dabei keinen Vorteil zu datenschutzkonformen Modellen. Die Ergebnisse sind jetzt im Fachjournal „Radiology” erschienen.

LLMs kann man in zwei Kategorien unterscheiden: Die geschlossenen Modelle sind die kommerziellen, bekannten KI-Varianten, die unter anderem auch bei Chatbots wie Chat-GPT und Co. eingesetzt werden. Offene Modelle, wie die Llama-Modelle von Meta sind eine Option, die auf klinikintern Servern ausgeführt und sogar weiter trainiert werden können. Dabei bleiben alle Daten lokal gespeichert, was die lokale Verwendung offener LLMs in Bezug auf Datensicherheit vorteilhaft macht. „Das Problem bei den kommerziellen, geschlossenen Modellen ist, dass man, um diese zu nutzen, die Daten auf externe Server übertragen muss, welche sich häufig sogar außerhalb der EU befinden. So etwas ist mit Patientendaten nicht zu empfehlen“, betont Prof. Julian Luetkens, komm. Direktor der Klinik für Diagnostische und Interventionelle Radiologie am UKB.

„Aber sind alle LLMs gleich gut geeignet den medizinischen Inhalt radiologischer Befunde zu verstehen und zu strukturieren? Um herauszufinden, welches LLM für eine Klinik geeignet ist, haben wir verschiedene offene und geschlossene Modelle getestet“, erläutert Dr. Sebastian Nowak, Erst- und Korrespondenzautor der Studie und Postdoc der Universität Bonn an der Klinik für Diagnostische und Interventionelle Radiologie des UKB. „Zusätzlich hat uns interessiert, ob man mit wenigen bereits strukturierten Befunden offene LLMs effektiv vor Ort in der Klinik weiterentwickeln kann.“

Das Forschungsteam führte daher eine Analyse von 17 offenen und vier geschlossenen Sprachmodellen durch. Alle sollten tausende Röntgenberichte in Freitextform analysieren. Für die Auswertung wurden sowohl öffentliche radiologische Befunde in englischer Sprache und ohne Datenschutz, als auch datengeschützte Befunde aus dem UKB in deutscher Sprache genutzt.

Training macht den Unterschied

Die Ergebnisse zeigen, dass im Fall der Befunde ohne Datenschutz die geschlossenen Modelle keine Vorteile gegenüber manchen offenen LLMs aufweisen. Bei der direkten Anwendung ohne Training waren große, offene LLMs besser als kleine, offene LLMs. Die Verwendung bereits strukturierter Befunde als Trainingsdaten für offene LLMs führte zu einer effektiven Verbesserung der Qualität in der Informationsverarbeitung, schon mit wenigen manuell vorbereiteten Berichten. Durch das Training verringerte sich zudem der Unterschied zwischen großen und kleinen LLMs.

„Bei einem Training mit über 3.500 strukturierten Befunden gab es keinen relevanten Unterschied mehr zwischen dem größten offenen LLM und einem 1.200 Mal kleineren Sprachmodel.“, so Nowak. „Insgesamt lässt sich folgern, dass offene LLMs mit geschlossenen mithalten können und den Vorteil aufweisen, lokal und datenschutzsicher weiterentwickelt werden zu können.“

Diese Entdeckung birgt das Potenzial, den reichen Datenschatz klinischer Datenbanken für umfassende epidemiologische Studien und zur Forschung über krankheitsvorhersagende KI nutzbar zu machen. „Letztendlich kommt das dem Patienten zugute, all dies sogar unter strenger Beachtung des Datenschutzes“, erklärt Nowak. „Wir wollen anderen Kliniken ermöglichen, unsere Forschung direkt zu nutzen, und haben deshalb den Programmcode und die Methoden zur Nutzung und zum Training unter offener Lizenz veröffentlicht.”

Original Paper:

Sebastian Nowak et al.: Privacy-ensuring Open-weights Large Language Models Are Competitive with Closed-weights GPT-4o in Extracting Chest Radiography Findings from Free-Text Reports; Radiology; DOI: 10.1148/radiol.240895

Weiterführende Informationen:

GitHub – ukb-rad-cfqiai/LLM_based_report_info_extraction

Lesen Sie auch:

MHH-Radiologie bietet Anleitung für neuartiges Lungen-MRT – MedLabPortal

_{Redaktion: X-Press Journalistenbürö GbR}

Gender-Hinweis. Die in diesem Text verwendeten Personenbezeichnungen beziehen sich immer gleichermaßen auf weibliche, männliche und diverse Personen. Auf eine Doppel/Dreifachnennung und gegenderte Bezeichnungen wird zugunsten einer besseren Lesbarkeit verzichtet.