Lichtmikroskopie: Neue Deep-Learning-Architektur sorgt für höhere Effizienz

Ein neues Rechenmodell für die Lichtmikroskopie, das von Forschern des Center for Advanced Systems Understanding (CASUS) am HZDR und des Max-Delbrück-Centrums für Molekulare Medizin auf der Grundlage einer spezifischen Deep-Learning-Architektur entwickelt wurde, ist schneller als herkömmliche Modelle und erreicht dabei die gleiche oder sogar eine bessere Bildqualität.

Das Modell nennt sich Multi-Stage Residual-BCR Net (m-rBCR) und wurde speziell für Mikroskopieaufnahmen entwickelt. Es wurde zunächst auf der alle zwei Jahre stattfindenden European Conference on Computer Vision (ECCV) vorgestellt, der wichtigsten Tagung im Bereich Maschinelles Sehen und Lernen. Mittlerweile ist auch die entsprechende Fachpublikation verfügbar.

Das neue Modell verleiht der Bildverarbeitungstechnik der Dekonvolution (Entfaltung) einen ganz neuen Dreh. Dieses rechenintensive Verfahren verbessert Kontrast und Auflösung von digitalen Bildern optischer Mikroskope wie Weitfeld-, Konfokal- oder Durchlichtmikroskope. Die Dekonvolution reduziert die Unschärfe, die durch das jeweils verwendete Mikroskopiesystem verursacht wird. Dafür gibt es hauptsächlich zwei Methoden: die explizite Dekonvolution (direkte Entfaltung) und die auf Deep-Learning-basierende Dekonvolution.

Die direkten Entfaltungsansätze basieren auf dem Konzept der Punktspreizfunktion (PSF). Eine PSF beschreibt, wie eine unendlich kleine Lichtquelle, die von der Probe ausgeht, durch das optische System aufgeweitet und in ein dreidimensionales Beugungsmuster verteilt wird. Das heißt: In einem aufgenommenen (zweidimensionalen) Bild befindet sich immer etwas Licht von nicht im Brennpunkt gelegenen Strukturen, die die Unschärfe erzeugen. Kennt man die PSF des mikroskopischen Systems, kann man diese Unschärfe herausrechnen und erhält ein Bild, das der Realität viel näherkommt als das unbearbeitete aufgenommene Bild.

„Das große Problem bei PSF-basierten Entfaltungstechniken ist, dass die PSF eines bestimmten mikroskopischen Systems oft nicht verfügbar oder ungenau ist“, stellt Dr. Artur Yakimovich, Leiter einer CASUS-Nachwuchsforschungsgruppe und korrespondierender Autor der ECCV-Publikation, fest. „Seit Jahrzehnten wird bereits an einer sogenannten blinden Dekonvolution gearbeitet, bei der die PSF aus dem Bild oder einem Satz von Bildern heraus geschätzt wird. Blinde Dekonvolution ist jedoch nach wie vor ein recht kniffliges Problem und die erzielten Fortschritte sind eher bescheiden.“

Das Yakimovich-Team hat bereits in der Vergangenheit bewiesen, dass das Instrumentarium zur Lösung inverser Probleme im Bereich der Mikroskopie sinnvoll eingesetzt werden kann. Bei inversen Problemen geht es darum, die Ursprungsfaktoren zu ermitteln, die zu bestimmten gemachten Beobachtungen führen. In der Regel sind große Datenmengen und Deep-Learning-Algorithmen erforderlich, um diese Art von Problemen erfolgreich zu lösen. Wie bei den direkten Entfaltungsmethoden erhält man bei der Deep-Learning-basierenden Dekonvolution als Ergebnis Bilder mit höherer Auflösung oder besserer Qualität. Für den auf der ECCV vorgestellten Ansatz verwendeten die Wissenschaftler ein physikbasiertes neuronales Netzwerk namens Multi-Stage Residual-BCR Net (m-rBCR).

Deep Learning anders eingesetzt

Ganz allgemein gibt es für eine Bildverarbeitung zwei Grundvarianten. Sie startet entweder mit der klassischen räumlichen Darstellung eines Bildes oder (nach einer Transformation dieser Darstellung) mit seiner Frequenzversion. Bei dieser wird jedes Bild als eine Sammlung von Wellen dargestellt. Beide Darstellungsformen bieten spezifische Vorteile und je nach Art der Bildbearbeitung nutzt man eher die eine oder die andere Form. Die überwiegende Mehrheit der genutzten Deep-Learning-Architekturen arbeitet mit der räumlichen Darstellung. Sie ist für Fotos gut geeignet. Mikroskopieaufnahmen unterscheiden sich aber davon. Sie sind meist monochromatisch. Bei Techniken wie der Fluoreszenzmikroskopie kommen zum Beispiel spezifische Lichtquellen auf einem schwarzen Hintergrund zum Einsatz. m-rBCR nutzt daher die Frequenzdarstellung als Startpunkt.

„Die Nutzung der Frequenzdomäne kann gerade in solchen Fällen dazu beitragen, optisch aussagekräftige Datenrepräsentationen zu erstellen – ein Konzept, das es m-rBCR ermöglicht, die Entfaltungsaufgabe im Vergleich zu anderen modernen Deep-Learning-Architekturen mit überraschend wenig Parametern zu meistern“, erklärt Rui Li, Erstautor und Referent auf der ECCV. Li schlug vor, die neuronale Netzwerkarchitektur des Modells BCR-Net weiterzuentwickeln. Dieses Modell wurde wiederum von einem frequenzdarstellungsbasierten Signalkomprimierungsschema inspiriert, das in den 1990er Jahren von Gregory Beylkin, Ronald Coifman und Vladimir Rokhlin eingeführt wurde (daher der Name BCR-Transform).

Das Team validierte das m-rBCR-Modell anhand von vier verschiedenen Datensätzen, zwei simulierten Mikroskopie-Bilddatensätzen und zwei realen Mikroskopiedatensätzen. Verglichen mit den neuesten Deep-Learning-basierten Modellen zeigt es eine hohe Leistungsfähigkeit mit deutlich weniger Trainingsparametern und einer kürzeren Laufzeit. Darüber hinaus übertrifft es auch explizite Entfaltungsmethoden deutlich.

Ein auf mikroskopische Aufnahmen zugeschnittenes Modell

„Diese neue Architektur nutzt einen bislang wenig beachteten Ansatz, um Darstellungen jenseits der klassischen neuralen Faltungsnetzwerke zu ermöglichen“, fasst Mitautor Prof. Misha Kudryashev, Leiter der Arbeitsgruppe „In-situ-Strukturbiologie“ am Max-Delbrück-Centrum für Molekulare Medizin in Berlin, zusammen. „Unser Modell reduziert potenziell redundante Parameter erheblich. Wie die Ergebnisse zeigen, geht dies jedoch nicht mit einem Leistungsverlust einher. Das Modell eignet sich explizit für mikroskopische Aufnahmen und stellt aufgrund seiner schlanken Architektur den Trend zu immer größeren Modellen, die entsprechend höhere Rechenleistung erfordern, in Frage.“

Originalpublikation:

R. Li, M. Kudryashev, A. Yakimovich, Solving the inverse problem of microscopy deconvolution with a residual Beylkin-Coifman-Rokhlin neural network, In: A. Leonardis, E. Ricci, S. Roth, O. Russakovsky, T. Sattler, G. Varol (eds) Computer Vision – ECCV 2024. ECCV 2024. Lecture Notes in Computer Science, vol 15133. Springer, Cham. (doi: 10.1007/978-3-031-73226-3_22)

Weitere Informationen:

https://www.casus.science/news/casus-news/next-step-in-light-microscopy-image-improvement/

Lesen Sie auch:

Kryo-Elektronenmikroskopie gibt neue Einblicke in Reparatursystem der Zellmembran – MedLabPortal

RUB-Algorithmus verbessert Ultraschall-Lokalisations-Mikroskopie signifikant – MedLabPortal

Ultraschall kann Dialysepflicht und Nierenkrankheit verhindern – MedLabPortal

Redaktion: X-Press Journalistenbüro GbR

Gender-Hinweis. Die in diesem Text verwendeten Personenbezeichnungen beziehen sich immer gleichermaßen auf weibliche, männliche und diverse Personen. Auf eine Doppel/Dreifachnennung und gegenderte Bezeichnungen wird zugunsten einer besseren Lesbarkeit verzichtet.