Mit einem Picosekunden-Infrarotlaser (PIRL) können Gewebeproben durch kalte Verdampfung sehr schonend entnommen werden. Dabei bleiben sehr empfindliche Biomoleküle wie Proteine intakt und sogar enzymatisch aktiv. Damit liefert diese Technologie die ideale Voraussetzung für die Gewinnung von Proben wie zum Beispiel von karzinogene Tumoren zur Suche nach Krebs-Markern sowie zur minimal-invasiven Gewebe-Diagnostik. Voraussetzung für eine solche Diagnostik ist die Identifizierung und Validierung von Krebsmarker-Panel.

Ziel ist es, eine informatische Lösung zu entwickeln, mit der aus den Proteomics-Daten und den Phänotypen der Krebspatienten Krebsmarker-Protein-Panel erstellt werden können, die als Basis für eine PIRL-basierte Krebsgewebe-Theragnostik dient.

Die Analyse einer Probe hinsichtlich der Frage, ob es sich um einen Krebsgewebe-Subtyp handelt oder nicht, führt mathematisch auf ein Klassifikationsproblem. Ausgehend von klassifizierten Trainingsdaten soll ein neuronales Netz trainiert werden, um einzelne Marker bzw. ganze Markerpanel zu identifizieren.

Der Picoseconds Infrarotlaser (PIRL) soll die Narbenbildung des beschädigten Gewebes minimieren, um so die Funktionsfähigkeit des betroffenen Organs zu erhalten und die Lebensqualität des Patienten möglichst wenig zu beeinträchtigen. Durch das Verdampfen spezifischer Moleküle ohne die Beschädigung des umgebenden Gewebes können mit PIRL Schnittwunden minimiert werden. Im Gewebedampf sind sensitive Biomoleküle wie z.B. Proteine nachweisbar, wodurch weitergehende massenspektrometische Diagnostik möglich wird. Von der Führung des PIRL durch einen gelenkten Roboter erhofft man sich ein hohes Maß an Genauigkeit und einen präzisen Abtragungsvorgang. Roboter wie z.B. Hexapoden in Verbindung mit einer hochauflösenden Bildgebungsmethode wie der optischen Kohärenztomografie (OCT) ermöglichen das Arbeiten im Mikrometerbereich.

Die Entwicklung des Picoseconds Infrarotlasers (PIRL) hat im medizinischen Umfeld viele Vorteile gebracht. Doch im Umgang mit unerwarteten Gegebenheiten traten bei der Anwendung von PIRL verschiedene Probleme auf. In diesem Projekt soll eine Softwarearchitektur entwickelt werden, um das System nachzubilden und diese Probleme zu erfassen. Zusätzlich zu PIRL wird durch Verwendung der optischen Kohärenztomografie eine räumliche Abbildung der gesammelten Biomoleküle auf Basis hochauflösender optischer Bildgebung im Mikrometerbereich benötigt. Ein integriertes Robotersystem soll OCT und PIRL verbinden, um eine hohe Positionierungsgenauigkeit sicherzustellen. Schließlich werden auch Werkzeuge zur Prüfung und Bewertung benötigt, um Ergebnisse und grundlegende Tests der Architektur zu veranschaulichen.

Die Kernidee besteht darin, in einer Software das reale System abzubilden, so dass sein Verhalten analysiert und simuliert werden kann. Das Softwaremodell besteht aus vier Kernkomponenten:

1. Es beginnt mit der OCT, da sie die Scans an den Controller sendet. Das Senden und Empfangen von Nachrichten zwischen OCT und ROS wurde anhand der zeitlich präzise ablaufenden Warteschlangen der Publisher und Subscriber nachgebildet.
2. Der Controller erhält die Daten von der OCT und wertet sie aus, um die richtige Aktion zu veranlassen.
3. Der Roboter ist ein Hexapoden-Roboter, der die Position des PIRL steuert. Abhängig von der erhaltenen Nachricht deckt unser Modell alle möglichen Reaktionen des Hexapoden ab. So ermittelt einer der fünf Automaten, die den Roboter darstellen, die korrekte Positionierung des Zielpunkts innerhalb des erreichbaren Bereichs sowie das zu erwartende Verhalten im Falle eines nicht umsetzbaren Zielbefehls.
4. Zeitgesteuerte Automaten: Da das System zeitabhängig ist und schon auf kleine Zeitänderungen reagiert, wurden spezialisierte Automaten entwickelt, um mögliche Verzögerungen in jedem Stadium des Informationsflusses darzustellen. Diese Automaten wurden verwendet, um den Übergang zwischen zwei Zuständen in anderen Automaten zu kontrollieren.

Um das Ziel des Projekts zu demonstrieren, wurden Tests sowohl mit dem Roboter als auch mit dem OCT durchgeführt. Die folgende Abbildung zeigt, dass die robotergeführte Ablation tatsächlich funktioniert. Beachtenswert ist außerdem, dass die Abtragungszone anhand der OCT Daten bestimmt werden kann.

Die biomedizinische Bildverarbeitung erlebt derzeit einen Paradigmenwechsel. Während in den letzten Dekaden vornehmlich problem- und datenspezifische Bildverarbeitungsalgorithmen und -pipelines entworfen und inkrementell optimiert wurden, werden aktuell immer stärker allgemein anwendbare Verfahren des Machine Learnings zur Bearbeitung unterschiedlichster Fragestellungen eingesetzt. Insbesondere Deep Learning (DL)-Techniken wie Convolutional Neural Networks erfreuen sich großer Beliebtheit.

Motiviert durch den aktuellen Erfolg der DL-Techniken initiieren sowohl an der TUHH als auch dem UKE verschiedene Arbeitsgruppen erste Projekte zur Integration von entsprechenden Ansätzen in die biomedizinische Bildverarbeitung. Ein arbeitsgruppen- und institutionsübergreifender Informationsaustausch oder synergistische Zusammenarbeit findet jedoch bislang kaum statt.

Durch DAISY (Deep Artificial Intelligent SYstems for biomedical image processing) soll eine gemeinsame Anlaufstelle und Plattform für Bachelor-, Master- und PhD-Studierende der TUHH und Studierende der Medizinischen Fakultät der Universität Hamburg etabliert werden, die an der DL-Anwendung und -Methodenentwicklung für die biomedizinische Bildgebung und -verarbeitung interessiert sind. Hierdurch soll der arbeitsgruppen- und universitätsübergreifende Informationsaustausch gefördert und die Definition neuer Kooperationsprojekte im Bereich des DL in der Biomedizin erleichtert werden. DAISY soll gemeinsam von interessierten Arbeitsgruppen der TUHH und des UKEs gestaltet und genutzt werden.

Um DAISY zu etablieren, wurden folgende Maßnahmen umgesetzt:

1. Die Bereitstellung von DL-Hardware an den beteiligten Standorten (TUHH, UKE).
2. Die Etablierung einer gemeinsamen Plattform zum arbeitsgruppen- und institutionsübergreifenden Austausch von DL-Methoden und Quellcode.
3. Die Organisation eines regelmäßigen Journal Clubs, von Hackathons sowie der gemeinsamen Teilnahme an internationalen Challenges im Bereich der biomedizinischen Bildverarbeitung.

Die DL-Hardware wird Studierenden für ihre Abschlussarbeiten bereitgestellt, um hierdurch aktiv gemeinsam betreute Arbeiten von TUHH und UKE zu fördern. Weitere Rechenkapazitäten werden aktuell im Rahmen des Anschlussprojektes Joint medical Image-reconstruction and processing for high-dimensional data using deep learning geschaffen.

Die gemeinsame Arbeit in Journal Clubs, Hackathons und an Bildverarbeitungschallenges hat bereits zu zahlreichen arbeitsgruppenübergreifenden Publikationen geführt. Hervorzuheben sind u.a. Top-Ten-Platzierungen in international angesehenen Challenges wie PAIP (Pathology Artificial Intelligence Platform; Lebertumorsegmentierung in WSI-Daten), eine Top-20%-Platzierung der SIIM-ACR Pneumothorax Segmentation Kaggle-Challenge sowie der Gewinn der ISIC (International Skin Imaging Consortium)-Challenge zur Hautkrebsklassifikation, die im Rahmen der MICCAI 2019 ausgetragen wurde.

DAISY wird über die Projektlaufzeit hinaus weitergeführt werden und lebt von der aktiven Mit- und Zusammenarbeit von Studierenden und Arbeitsgruppen. Wir freuen uns über weitere Interessierte jeder Vorwissensstufe, die gemeinsam mit uns über DL-Fragestellungen diskutieren und an DL-Aufgaben arbeiten möchten.

The goal of this multi-disciplinary proposal is to build upon the existing collaboration between TUHH and UKE with the aim to refine inpainting of diffusion tensor imaging (DTI) data such that it reliably and automatically identifies artefactual voxels in clinical spinal cord DTI data, and re- places them with corrected values. An important step in the identification process is an adequate image segmentation mechanism that can improve the detection of artefacts.

First, the error of the diffusion tensor-model fit will be used to automatically identify artefactual data points (an approach that has been previously used in outlier-rejection methods). To improve the segmentation of artefactual data points we will use convolutional neural networks and deep learning. Then, the inpainting algorithm will be used to replace the artificial voxels using information from the adjacent voxels, instead of removing these data points, thereby increasing the noise level (as done in outlier-rejection).

The proposed algorithm was implemented and validated using simulation data. On the basis of this project, a new collaborative research project between the UKE and TUHH was created: automated segmentation of 2D and 3D objects using analytical and deep-learning methods, including one publication (Tabarin et al., 2019), one internship project (Najafi), a bachelor (B.Sc: Klisch), a master thesis (M.Sc: Przybyla) and two PhD projects (PhD: Ashtarayeh and Mordhorst). Part of these developments was the consideration of geometric deep learning, a strategy that extends convolutional neural networks to data defined on graphs (Klisch and Przybyla). This step is an additional component for an adequate detection of artefacts in more complex settings. Moreover, two studies, one on spinal cord imaging (David et al., 2019) and one on artefact removal (Papazo- glou et al., 2019), were published during the funding period of this project.