Retrieval Augmented Generation (RAG) nimmt große Sprachmodelle – bildlich gesprochen – an die Hand und sorgt für faktenbasierte Antworten. Auf welche Weise die Labormedizin davon profitieren, und wie sie RAG implementieren kann, erfuhr MedLabPortal im NACHGEFRAGT-Interview mit Jan Philipp Zimmer, Wissenschaftler am Fraunhofer-Institut für Werkzeugmaschinen und Umformtechnik IWU.

MedLabPortal: Welche Bedeutung könnte Ihr RAG Modell für Einrichtungen im Gesundheitswesen haben?

Zimmer: Zunächst einmal können auf der organisatorischen Ebene viele Prozesse (teil-)automatisiert oder Mitarbeitern ein besserer Zugang zu relevanten Informationen ermöglicht werden. Denkbar ist beispielsweise ein virtueller Assistent, der einen unkomplizierten und interaktiven Austausch mit betriebsinternen Anweisungen (oder den für den jeweiligen Bereich relevanten gesetzlichen Regularien) etc. ermöglicht. Ebenso vorstellbar sind automatisierte Angebotsentwürfe oder die Unterstützung bei Aufgaben wie Berichtspflichten. Damit könnte die Einhaltung von Regularien verbessert und der Zeitaufwand für komplexe manuelle Dokumentationsarbeiten reduziert werden.

MedLabPortal: Wie könnte eine große Laborkette Ihr System implementieren?

Zimmer: Auch eine Laborkette könnte von den gleichen Erleichterungen profitieren wie im Beispiel des Gesundheitswesens genannt. Dazu kommen weitere Entlastungsmöglichkeiten, wo Daten lastige Aufgaben mit dem Fokus Text anfallen. Dabei ist es sinnvoll, die jeweilige Anforderung genau anzusehen, um zu einer passgenauen Lösung zu kommen.

MedLabPortal: Das bedeutet?

Zimmer: Technisch gesehen wird ein leistungsfähiger PC benötigt, als Nutzerschnittstelle dient eine Webapplikation. Ein Sprachmodell – infrage kommen auch Open Source verfügbare – und eine Vektordatenbank müssen ausgewählt und aufgesetzt, relevante Daten müssen eingepflegt werden. Beim Einrichten kann ein passender KI-Dienstleister unterstützen.

MedLabPortal: Beziehen sich die Ergebnisse einer RAG-Promptanfrage lediglich auf Inhalte, die zuvor
eingegeben worden sind?

Zimmer: Die Anfragen beziehen sich hauptsächlich auf die Daten, die zuvor in der Vektordatenbank (oder einem anderen System) abgelegt wurden. Zum Anfragezeitpunkt wird eine kontextuell möglichst relevante Teilmenge dieser Daten abgerufen. Das unterliegende Sprachmodell verarbeitet diese abgerufenen Daten. Dabei überführt es die Daten in eine natürliche Sprache. Es kann jedoch vorkommen, dass ein Sprachmodell eigenes relevantes „Wissen“ beisteuert. Je spezifischer die Domäne und je kleiner das Modell, desto weniger wird es das jedoch können – genau hier kommt RAG ins Spiel. Auch Halluzinationen, also „ausgedachte“ Antworten des Sprachmodells sind grundsätzlich möglich, wenn auch bei guter Auswahl des Kontextes selten. Bei LLMs bleibt
der kritische Blick immer wichtig!

MedLabPortal: Gibt Ihr RAG-Modell auch logische Ergebnisse aus (vereinfacht: geht das in Richtung
eigenständiges Denken)?

Zimmer: Nein, derzeit nicht. Unser jetziges System ist darauf ausgelegt, mit einem möglichst kleinen Modell (Llama 3.1 8B Instruct) zu operieren, um so kostengünstige Anwendungen auch für kleine und mittlere Unternehmen zu ermöglichen – dadurch kann es auch auf lokaler Hardware betrieben werden. Dieses Modell betreibt noch kein Reasoning (es „denkt nicht nach“), eine Integration solcher Fähigkeiten ist aber grundsätzlich vorstellbar. Dies ist aktuell Gegenstand intensiver Forschung.

MedLabPortal: Mit welchen Kosten müsste eine Uniklinik bzw. eine Laborkette rechnen, um Ihr System zu implementieren?

Zimmer: Die exakten Kosten hängen von mehreren Faktoren ab. Die wichtigsten sind:

• bei lokalem Betrieb die Hardwarekosten, die von der Größe des genutzten OpenSource Modells abhängen. Hier behält man auch die Datensouveränität. Je größer das Modell, desto leistungsfähiger kann es sein. Aber desto höher sind auch die Hardwareanforderungen. Alternativ ist ein Betrieb bei Cloudanbietern möglich; denkbar ist das Hosting eines Systems oder die Nutzung von APIs der großen LLM-Betreiber wie OpenAI;

• die Zahl der parallelen Nutzer;

• die Art und Menge der zu integrierenden Datenquellen.

Aufgrund der vielen Faktoren ist es also schwer, eine konkrete Zahl zu nennen. Grundsätzlich gilt: Ein einfaches System mit kleinem Nutzerkreis lässt sich schnell und relativ kostengünstig umsetzen; je größer die Anforderungen und je höher die Zahl der Nutzer, umso umfangreicher fällt die Investition aus.

MedLabPortal: Herr Zimmer, vielen Dank für Ihre Zeit.

Die Fragen stellten die MedLabPortal Redakteure Marita Vollborn und Vlad Georgescu

Redaktion: X-Press Journalistenbüro GbR

Gender-Hinweis. Die in diesem Text verwendeten Personenbezeichnungen beziehen sich immer gleichermaßen auf weibliche, männliche und diverse Personen. Auf eine Doppel/Dreifachnennung und gegenderte Bezeichnungen wird zugunsten einer besseren Lesbarkeit verzichtet.