Maschinelles Lernen zur Datenaufbereitung in der Laser-Tumor-Theragnostik

Projekt 04FMTHH17

Maschinelles Lernen zur Datenaufbereitung in der Laser-Tumor-Theragnostik

Ausgangssituation

Mit einem Picosekunden-Infrarotlaser (PIRL) können Gewebeproben durch kalte Verdampfung sehr schonend entnommen werden. Dabei bleiben sehr empfindliche Biomoleküle wie Proteine intakt und sogar enzymatisch aktiv. Damit liefert diese Technologie die ideale Voraussetzung für die Gewinnung von Proben wie zum Beispiel von karzinogene Tumoren zur Suche nach Krebs-Markern sowie zur minimal-invasiven Gewebe-Diagnostik. Voraussetzung für eine solche Diagnostik ist die Identifizierung und Validierung von Krebsmarker-Panel.

Zielsetzung

Ziel ist es, eine informatische Lösung zu entwickeln, mit der aus den Proteomics-Daten und den Phänotypen der Krebspatienten Krebsmarker-Protein-Panel erstellt werden können, die als Basis für eine PIRL-basierte Krebsgewebe-Theragnostik dient.

Vorgehensweise

Die Analyse einer Probe hinsichtlich der Frage, ob es sich um einen Krebsgewebe-Subtyp handelt oder nicht, führt mathematisch auf ein Klassifikationsproblem. Ausgehend von klassifizierten Trainingsdaten soll ein neuronales Netz trainiert werden, um einzelne Marker bzw. ganze Markerpanel zu identifizieren.


Beteiligte

Dr. rer. nat. Christian Seifert
Oberingenieur
Institut für Mathematik
TUHH


Entwicklung einer Softwarearchitektur zur Steuerung Roboter-gesteuerten Probenahme und Entfernung potentieller Tumoren per theragnostischem Picosekunden-Infrafrot-Laser

Projekt 03FMTHH17

Entwicklung einer Softwarearchitektur zur Steuerung Roboter-gesteuerten Probenahme und Entfernung potentieller Tumoren per theragnostischem Picosekunden-Infrafrot-Laser

Ausgangssituation

Der Picoseconds Infrarotlaser (PIRL) soll die Narbenbildung des beschädigten Gewebes minimieren, um so die Funktionsfähigkeit des betroffenen Organs zu erhalten und die Lebensqualität des Patienten möglichst wenig zu beeinträchtigen. Durch das Verdampfen spezifischer Moleküle ohne die Beschädigung des umgebenden Gewebes können mit PIRL Schnittwunden minimiert werden. Im Gewebedampf sind sensitive Biomoleküle wie z.B. Proteine nachweisbar, wodurch weitergehende massenspektrometische Diagnostik möglich wird. Von der Führung des PIRL durch einen gelenkten Roboter erhofft man sich ein hohes Maß an Genauigkeit und einen präzisen Abtragungsvorgang. Roboter wie z.B. Hexapoden in Verbindung mit einer hochauflösenden Bildgebungsmethode wie der optischen Kohärenztomografie (OCT) ermöglichen das Arbeiten im Mikrometerbereich.

Zielsetzung

Die Entwicklung des Picoseconds Infrarotlasers (PIRL) hat im medizinischen Umfeld viele Vorteile gebracht. Doch im Umgang mit unerwarteten Gegebenheiten traten bei der Anwendung von PIRL verschiedene Probleme auf. In diesem Projekt soll eine Softwarearchitektur entwickelt werden, um das System nachzubilden und diese Probleme zu erfassen. Zusätzlich zu PIRL wird durch Verwendung der optischen Kohärenztomografie eine räumliche Abbildung der gesammelten Biomoleküle auf Basis hochauflösender optischer Bildgebung im Mikrometerbereich benötigt. Ein integriertes Robotersystem soll OCT und PIRL verbinden, um eine hohe Positionierungsgenauigkeit sicherzustellen. Schließlich werden auch Werkzeuge zur Prüfung und Bewertung benötigt, um Ergebnisse und grundlegende Tests der Architektur zu veranschaulichen.

Vorgehensweise

Die Kernidee besteht darin, in einer Software das reale System abzubilden, so dass sein Verhalten analysiert und simuliert werden kann. Das Softwaremodell besteht aus vier Kernkomponenten:

  1. Es beginnt mit der OCT, da sie die Scans an den Controller sendet. Das Senden und Empfangen von Nachrichten zwischen OCT und ROS wurde anhand der zeitlich präzise ablaufenden Warteschlangen der Publisher und Subscriber nachgebildet.
  2. Der Controller erhält die Daten von der OCT und wertet sie aus, um die richtige Aktion zu veranlassen.
  3. Der Roboter ist ein Hexapoden-Roboter, der die Position des PIRL steuert. Abhängig von der erhaltenen Nachricht deckt unser Modell alle möglichen Reaktionen des Hexapoden ab. So ermittelt einer der fünf Automaten, die den Roboter darstellen, die korrekte Positionierung des Zielpunkts innerhalb des erreichbaren Bereichs sowie das zu erwartende Verhalten im Falle eines nicht umsetzbaren Zielbefehls.
  4. Zeitgesteuerte Automaten: Da das System zeitabhängig ist und schon auf kleine Zeitänderungen reagiert, wurden spezialisierte Automaten entwickelt, um mögliche Verzögerungen in jedem Stadium des Informationsflusses darzustellen. Diese Automaten wurden verwendet, um den Übergang zwischen zwei Zuständen in anderen Automaten zu kontrollieren.

Um das Ziel des Projekts zu demonstrieren, wurden Tests sowohl mit dem Roboter als auch mit dem OCT durchgeführt. Die folgende Abbildung zeigt, dass die robotergeführte Ablation tatsächlich funktioniert. Beachtenswert ist außerdem, dass die Abtragungszone anhand der OCT Daten bestimmt werden kann.


Beteiligte

Mathias Blumreiter

Projektleiter

Wissenschaftlicher Mitarbeiter

Institut für Softwaresysteme

Technische Universität Hamburg

Laura Heikaus

Ehem. Wissenschaftliche Mitarbeiterin

Massenspektrometrische Proteomanalytik, Institut für Klinische Chemie

Universitätsklinikum Hamburg-Eppendorf


Weiterführender Link zu PIRL /MPSD

ERC Advanced Grant; A collaborative project in physics, analytics, and medicine for picosecond laser technology application in bioanalytics and surgery
Ehemalige Forschungsgruppe “Dynamik in Atomarer Auflösung”, R. J. Dwayne Miller
http://www.surepirl.eu/


Publikationsliste

  • Rogalla, M. Blumreiter, et al., “Designing and Analyzing Open Application-Oriented Labs in Software-Verification Education”, angenommen für SEFI (European Society for Engineering Education) Annual Conference 2020.
  • Blumreiter, V. Gurumurthy, et.al, “OCT-based navigation for tissue ablation and characterization with a PIR-Laser”, Posterpräsentation, 7. Symposium des FMTHH, 2020.
  • Schlüter, et al., “Towards OCT-Navigated Tissue Ablation with a Picosecond Infrared Laser (PIRL) and Mass-Spectrometric Analysis.”, 2019 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). IEEE, 2019.


Folgeprojekte

Das Projekt hat einen Beitrag zur Vernetzung für das GRK Projekt „Innovative Methoden der künstlichen Intelligenz zur verbesserten Tumordiagnostik mittels optischer Verfahren“ und zur erfolgreichen Fokussierung durch das Interdisciplinary Competence Center for Interface Research (ICCIR) geleistet.


DAISY – Aufbau einer gemeinsamen UKE-TUHH-Deep Learning-Plattform für biomedizinische Bildverarbeitung

Projekt 01FMTHH17

DAISY – Aufbau einer gemeinsamen UKE-TUHH-Deep Learning-Plattform für biomedizinische Bildverarbeitung

Ausgangssituation

Die biomedizinische Bildverarbeitung erlebt derzeit einen Paradigmenwechsel. Während in den letzten Dekaden vornehmlich problem- und datenspezifische Bildverarbeitungsalgorithmen und -pipelines entworfen und inkrementell optimiert wurden, werden aktuell immer stärker allgemein anwendbare Verfahren des Machine Learnings zur Bearbeitung unterschiedlichster Fragestellungen eingesetzt. Insbesondere Deep Learning (DL)-Techniken wie Convolutional Neural Networks erfreuen sich großer Beliebtheit.

Motiviert durch den aktuellen Erfolg der DL-Techniken initiieren sowohl an der TUHH als auch dem UKE verschiedene Arbeitsgruppen erste Projekte zur Integration von entsprechenden Ansätzen in die biomedizinische Bildverarbeitung. Ein arbeitsgruppen- und institutionsübergreifender Informationsaustausch oder synergistische Zusammenarbeit findet jedoch bislang kaum statt.

Zielsetzung

Durch DAISY (Deep Artificial Intelligent SYstems for biomedical image processing) soll eine gemeinsame Anlaufstelle und Plattform für Bachelor-, Master- und PhD-Studierende der TUHH und Studierende der Medizinischen Fakultät der Universität Hamburg etabliert werden, die an der DL-Anwendung und -Methodenentwicklung für die biomedizinische Bildgebung und -verarbeitung interessiert sind. Hierdurch soll der arbeitsgruppen- und universitätsübergreifende Informationsaustausch gefördert und die Definition neuer Kooperationsprojekte im Bereich des DL in der Biomedizin erleichtert werden. DAISY soll gemeinsam von interessierten Arbeitsgruppen der TUHH und des UKEs gestaltet und genutzt werden.

Vorgehensweise

Um DAISY zu etablieren, wurden folgende Maßnahmen umgesetzt:

  1. Die Bereitstellung von DL-Hardware an den beteiligten Standorten (TUHH, UKE).
  2. Die Etablierung einer gemeinsamen Plattform zum arbeitsgruppen- und institutionsübergreifenden Austausch von DL-Methoden und Quellcode.
  3. Die Organisation eines regelmäßigen Journal Clubs, von Hackathons sowie der gemeinsamen Teilnahme an internationalen Challenges im Bereich der biomedizinischen Bildverarbeitung.

Die DL-Hardware wird Studierenden für ihre Abschlussarbeiten bereitgestellt, um hierdurch aktiv gemeinsam betreute Arbeiten von TUHH und UKE zu fördern. Weitere Rechenkapazitäten werden aktuell im Rahmen des Anschlussprojektes Joint medical Image-reconstruction and processing for high-dimensional data using deep learning geschaffen.

Die gemeinsame Arbeit in Journal Clubs, Hackathons und an Bildverarbeitungschallenges hat bereits zu zahlreichen arbeitsgruppenübergreifenden Publikationen geführt. Hervorzuheben sind u.a. Top-Ten-Platzierungen in international angesehenen Challenges wie PAIP (Pathology Artificial Intelligence Platform; Lebertumorsegmentierung in WSI-Daten), eine Top-20%-Platzierung der SIIM-ACR Pneumothorax Segmentation Kaggle-Challenge sowie der Gewinn der ISIC (International Skin Imaging Consortium)-Challenge zur Hautkrebsklassifikation, die im Rahmen der MICCAI 2019 ausgetragen wurde.

DAISY wird über die Projektlaufzeit hinaus weitergeführt werden und lebt von der aktiven Mit- und Zusammenarbeit von Studierenden und Arbeitsgruppen. Wir freuen uns über weitere Interessierte jeder Vorwissensstufe, die gemeinsam mit uns über DL-Fragestellungen diskutieren und an DL-Aufgaben arbeiten möchten.


Beteiligte

Ivo M. Baltruschat
Wissenschaftlicher Mitarbeiter
Institut für Biomedizinische Bildgebung
TUHH

Nils Gessert

Wissenschaftlicher Mitarbeiter
Institut für Medizintechnische und Intelligente Systeme
TUHH

PD Dr. rer. nat., René Werner
Wissenschaftlicher Arbeitsgruppenleiter
Institut für Computational Neuroscience
AG Bildverarbeitung und Medizinische Informatik
UKE


Medien


Publikationsliste

  • Ivo M. Baltruschat, Patryk Szwargulski, Florian Griese, Mirco Grosser, Rene Werner, Tobias Knopp (2020). 3d-SMRnet: Achieving a new quality of MPI system matrix recovery by deep learning. In: 23rd International Conference on Medical Image Computing & Computer Assisted Intervention (MICCAI) (accepted).
  • Rüdiger Schmitz, Frederic Madesta, Maximilian Nielsen, René Werner, Thomas Rösch (2020). Multi-scale fully convolutional neural networks for histopathology image segmentation: from nuclear aberrations to the global tissue architecture. arXiv:1909.10726v2.
  • Nils Gessert, Maximilian Nielsen, Mohsin Shaikh, René Werner, Alexander Schlaefer (2020). Skin lesion classification using ensembles of multi-resolution EfficientNets with meta data. MethodsX 7:100864.
  • Nils Gessert, Thilo Sentker, Frederic Madesta, Rüdiger Schmitz, Helge Kniep, Ivo M. Baltruschat, René Werner, Alexander Schlaefer (2020). Skin lesion classification using CNNs with patch-based attention and diagnosis-guided loss weighting. IEEE Transactions on Biomedical Engineering 67(2):495-503.
  • Rüdiger Schmitz, René Werner, Thomas Rösch (2019). Künstliche Intelligenz in der Endoskopie: Neuronale Netze und maschinelles Sehen – Techniken und Perspektiven. Zeitschrift für Gastroenterologie 57: 767-780.
  • Lasse Böhme, Frederic Madesta, Thilo Sentker, René Werner (2019). Combining good old random forest and DeepLabv3+ for ISLES 2018 CT-based stroke segmentation. In: Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries. LNCS, Springer, pp. 335-342, 2019.


Folgeprojekte

I3-Junorprojekt gefördert durch die TUHH: Joint medical Image-reconstruction and processing for high-dimensional data using deep learning


Improving quality of spinal cord DTI using inpainting

Projekt 01FMTHH17

Improving quality of spinal cord DTI using inpainting

Ausgangssituation und Zielsetzung

The goal of this multi-disciplinary proposal is to build upon the existing collaboration between TUHH and UKE with the aim to refine inpainting of diffusion tensor imaging (DTI) data such that it reliably and automatically identifies artefactual voxels in clinical spinal cord DTI data, and re- places them with corrected values. An important step in the identification process is an adequate image segmentation mechanism that can improve the detection of artefacts.

Vorgehensweise und Methoden

First, the error of the diffusion tensor-model fit will be used to automatically identify artefactual data points (an approach that has been previously used in outlier-rejection methods). To improve the segmentation of artefactual data points we will use convolutional neural networks and deep learning. Then, the inpainting algorithm will be used to replace the artificial voxels using information from the adjacent voxels, instead of removing these data points, thereby increasing the noise level (as done in outlier-rejection).

Ergebnisse

The proposed algorithm was implemented and validated using simulation data. On the basis of this project, a new collaborative research project between the UKE and TUHH was created: automated segmentation of 2D and 3D objects using analytical and deep-learning methods, including one publication (Tabarin et al., 2019), one internship project (Najafi), a bachelor (B.Sc: Klisch), a master thesis (M.Sc: Przybyla) and two PhD projects (PhD: Ashtarayeh and Mordhorst). Part of these developments was the consideration of geometric deep learning, a strategy that extends convolutional neural networks to data defined on graphs (Klisch and Przybyla). This step is an additional component for an adequate detection of artefacts in more complex settings. Moreover, two studies, one on spinal cord imaging (David et al., 2019) and one on artefact removal (Papazo- glou et al., 2019), were published during the funding period of this project.


Beteiligte

Dr. Siawoosh Mohammadi
Beispiel Projektleitung
Beispiel Institut für X
Beispiel TUHH oder UKE oder X

Prof. Dr. Marko Lindner
Beispiel Projektleitung
Beispiel Institut für X
Beispiel TUHH oder UKE oder X

Dr. Mijail Guillemard
Beispiel Projektleitung
Beispiel Institut für X
Beispiel TUHH oder UKE oder X


Drittmittelprojekte und Drittmittelanträge

  • A BMBF grant (01EW1711A, €150k) was successfully collected in 2019 to ensure the prolongation of the above mentioned projects.


Publikationsliste

Peer-reviewed publications

  • David G, Mohammadi S*, Martin AR, Cohen-Adad J, Weiskopf N, Thompson A, Freund P (2019) Traumatic and nontraumatic spinal cord injury: pathological insights from neuroimaging. Nature Reviews Neurology:1–14.
  • Papazoglou S, Streubel T, Ashtarayeh M*, Pine KJ, Edwards LJ, Brammerloh M, Kirilina E, Morawski M, Jäger C, Geyer S, Callaghan MF, Weiskopf N, Mohammadi S* (2019) Biophysically motivated efficient estimation of the spatially isotropic component from a single gradient-re- called echo measurement. Magnetic Resonance in Medicine 82:1804–1811.
  • Tabarin T*, Morozova M, Jaeger C, Rush H, Morawski M, Geyer S, Mohammadi S* (2019) Deep learn-ing segmentation (AxonDeepSeg) to generate axonal-property map from ex vivo human optic chiasm using light microscopy. In: Proc Intl Soc Magn Reson Med. 2019;28: #4722.*Authors supported from this grant.

PhD/Master/Bachelor theses supervised as part of this grant proposal

  • Christoph Nicolai (Technomathematik M.Sc. thesis.) Juli 4th 2018. Image Segmentation Methods and an Application to Brain Images Techniques: Mumford-Shah functional, optimization of varia- tional problems.
  • Daniel Klisch (Computer Science, B.Sc. thesis.) October 18th, 2018. Analyzing MRI Data using Geometric Deep Learning.
  • Björn Przybyla (Technomathematik Masterarbeit) WiSe 19/20. Geometric Deep Learning and Applications to Medical Image Analysis.
  • Ruhullah Najafi (Informatik Projektarbeit) WiSe 19/20. UNET and applications to Medical Image Analysis.
  • Mohammad Ashtarayeh (PhD) 2018-2021. Biophysical modelling of the MR signal and validation.
  • Laurin Mordhorst (PhD) 2019-2022. 2D and 3D segmentation using deep-learning.