Klinische Datenanalyse: AutoPrompt soll ChatGPT logisches Denken beibringen

Im Gesundheitswesen gewinnen Sprachmodelle aufgrund ihrer Fähigkeit zur automatischen Verarbeitung großer Mengen unstrukturierter oder halbstrukturierter Daten zunehmend an Aufmerksamkeit. „Mit ihrem Aufkommen wächst unser Interesse am Verständnis ihrer Fähigkeiten für Aufgaben wie die Inferenz bei natürlicher Sprache als Datengrundlage“, sagt die Wissenschaftlerin Siting Liang, die das Projekt AutoPrompt im Forschungsbereich Interaktives Maschinelles Lernen im DFKI Niedersachsen vorantreibt. Bei der Natural Language Inferenz (NLI) gehe es darum, so Liang, zu bestimmen, „ob eine Behauptung angesichts einer Prämisse oder einer Reihe von Fakten eine zutreffende Schlussfolgerung oder aber einen Widerspruch darstellt“. Das Projekt AutoPrompt läuft von Januar bis Dezember 2024 und wird durch einen Grant von Accenture, einem der weltweit führenden Beratungs-, Technologie- und Outsourcing-Unternehmen, finanziert.

Siting Liang erläutert ihr Vorgehen an einem Beispiel. Ausgangspunkt ist die Behauptung, dass Patienten mit Hämophilie (Bluterkrankheit) von einer Studie ausgeschlossen sind, wenn bestimmte Prämissen zutreffen wie beispielsweise ein erhöhtes Risiko zu einer Blutung.

„Diese Aufgabe erfordert, dass die Modelle den Inhalt der Behauptung verstehen, relevante Hinweise aus wissenschaftlichen Artikeln extrahieren und die Übereinstimmung zwischen der Behauptung und den Hinweisen bewerten, um auf den Wahrheitsgehalt der Behauptung zu schließen“, erläutert sie.

Prompting optmieren

In einem ersten Schritt will die Computerlinguistin das Prompting optimieren, also die Anweisung an den Chatbot, um eine bestimmte Antwort zu erhalten. Dazu erforscht sie verschiedene Strategien wie beispielsweise Chain-of-Thoughts-Methoden. Dabei werden Anweisungen mit Zwischenschritten gegeben, die bestimmten Pfaden folgen und Gedankenketten auslösen. So soll dem Bot ein gewisses Maß an Argumentationsfähigkeit entlockt werden. „ChatGPT mag zwar in der Lage sein, relevante Sätze aus einem Kontext zu erkennen, aber genaue logische Schlussfolgerungen zu ziehen, erfordert ein tieferes Verständnis von Domänenwissen und natürlicher geschriebener Sprache“, sagt Liang.

In einem zweiten Schritt wird sie die Leistung von ChatGPT bei NLI-Aufgaben unter Verwendung verschiedener Datensätze bewerten und Verbesserungen vorschlagen. „Unser Ziel ist es, den Sprachmodellen mehr domänenspezifische Quellen als Kontext zur Verfügung zu stellen“, so die Wissenschaftlerin. Dazu sollen die am besten geeigneten Prompting-Strategien und ein Generierungsrahmen implementiert werden, der einen effizienteren Zugang zu zusätzlichem Wissen ermöglicht.

Studie mit Medizinstudierenden

AI Human Collaboration, also die Zusammenarbeit zwischen System und Mensch, in diesem Falle Studierenden der Medizin, spielt im Projekt eine große Rolle. Dafür hat Siting Liang eine Studie innerhalb des Projektes angelegt, für die sie derzeit noch etwa zehn Teilnehmende sucht. Gegeben ist die Behauptung, dass Patienten mit der Diagnose eines bösartigen Hirntumors von einer Primärstudie ausgeschlossen sind, sofern Kriterien wie zum Beispiel eine Chemotherapie zutreffen. Die angehenden Medizinerinnen und Mediziner werden in zwei Gruppen eingeteilt, innerhalb derer sie zwei Stunden lang ihr Wissen einbringen und Entscheidungen treffen über die Beziehung zwischen der Behauptung und den Kriterien. Gruppe 1 bewertet die vom KI-System vorgegebenen Entscheidungen und Gruppe 2 korrigiert Fehler des Systems.

„Wenn wir die KI-Systeme verbessern wollen, benötigen wir das Feedback durch den Menschen“, sagt Siting Liang, die sich schon in früheren Projekten des Forschungsbereiches mit medizinischen Daten beschäftigt hat. Systeme könnten medizinische Texte und Daten in der Regel sehr gut analysieren, weiß Liang: „Aber ebenso ist es möglich, dass sie halluzinieren und uns falsche Schlussfolgerungen liefern. AutoPrompt soll helfen, eine höhere Genauigkeit der Antworten zu erzielen.“

Lesen Sie auch:

• DGKL: Vertrauen: ChatGPT kann Ärztinnen und Ärzte nicht ersetzen
• DGKL: KI-basierte Software für klinische Studien geht an den Start
• DGKL: Lebensgefahr: KI-Chatbots fürs Krankenhaus

_{Die Beiträge im News-Bereich werden erstellt vom}

_{X-Press Journalistenbüro GbR
Schwimmbadstr. 29
37520 Osterode am Harz}

_{Web: www.xpress-journalisten.com
E-Mail: redaktion(at)med-lab-portal.de}

^{Gender-Hinweis. Die in diesem Text verwendeten Personenbezeichnungen beziehen sich immer gleichermaßen auf weibliche, männliche und diverse Personen. Auf eine Doppel/Dreifachnennung und gegenderte Bezeichnungen wird zugunsten einer besseren Lesbarkeit verzichtet.}