Deep Learning Methoden für die AR-Ultraschall geführte Punktion von Strukturen

Punktionen sind ein essentieller Bestandteil therapeutischer und diagnostischer medizinischer Maßnahmen. Die Präzision der Nadelführung, die Adjustierung der Nadelausrichtung und die Diskriminierung zwischen Zielstrukturen und vulnerablen Strukturen sind nicht nur für den Punktionserfolg, sondern insbesondere auch in Hinblick auf mögliche Punktionskomplikationen von hoher Bedeutung. Zur Visualisierung der Zielstrukturen und präzisen Platzierung der Nadelspitze im Zielgebiet werden heutzutage häufig bildgebende Verfahren, wie der Ultraschall (US) oder andere Modalitäten der Schnittbildgebung eingesetzt. Die korrekte Durchführung von Punktionen setzt allerdings eine große Erfahrung und hohe Expertise des durchführenden Arztes voraus.

Das sichere Handling von Ultraschallkopf und Nadel erfordert eine gute Hand-Auge-Koordination und visuell-räumliches Wahrnehmungsvermögen. Auch die Einhaltung steriler Punktionsbedingungen muss hierbei berücksichtigt werden und erfordert ein hohes Maß an Training. Abweichungen von der Norm in anatomischen Strukturen erschweren die Orientierung und Navigation im Gewebe.

Beispiele für Komplikationen sind z.B. arterielle Fehlpunktionen bei der Anlage venöser Katheter, Nervenläsionen bei Regionalanästhesieverfahren oder die Verletzung von Bauchorganen bei Aszitespunktionen.

Zu untersuchen ist, ob eine Unterstützung via Augmented Reality (AR) die Präzision von Punktionen optimieren und somit die Komplikationsrate reduzieren kann.

Unser Ziel ist es, im Rahmen des vorgestellten Projektes ein prototypisches System zu evaluieren, welches die US-Bild geführte Punktion mittels AR unterstützt. Vor Beginn einer Punktion wird ein 3D-US-Übersichtsscan der Zielregion erstellt. Hierbei werden die Bewegungen des Ultraschallkopfes sowie die der untersuchten Oberflächenstruktur mit Hilfe der stereoskopischen Kameras der AR-Brille verfolgt. Auf Basis dieser Bewegungsprofile werden die 2D-US-Bilddaten zu einem 3D-US-Scan zusammengesetzt.

Anschließend erfolgt der übliche Punktionsvorgang, wobei die aktuellen 2D-US-Bilddaten durch den 3D-US-Scan augmentiert werden. Automatisch segmentierte anatomische Strukturen aus dem 3D-US-Scan werden unter der Hautoberfläche in 3D gerendert und dienen als Landkarte zur weiteren Positionierung von Ultraschallkopf und Nadel. Zusätzlich kann eine optimale Positionierung des Schallkopfes und eine zugehörige Nadeltrajektorie für eine bestimmte Zielregion bzw. -position angezeigt werden. Dieses System soll kurzfristig in der Ausbildung am Phantom sowie in der Supervision und langfristig im klinischen Alltag einsetzbar sein.

Zu Beginn erfolgt der Aufbau eines Punktionsphantoms, welches realistische haptische Eindrücke und US-Bilddaten während des Punktionsvorgangs erzeugt und eine quantitative Beurteilung der Präzision der Punktion gewährleistet.

Anschließend folgt die Untersuchung maschineller Lernverfahren zur Zusammensetzung eines 3D-US-Übersichtscans basierend auf den 2D-US-Daten. Hierfür sollen unter anderem die Informationen des stereoskopischen Trackings von Hautoberfläche und Ultraschallkopf genutzt werden.

Der dritte Meilenstein besteht in der Untersuchung maschineller Lernverfahren zum 3D Rendering anatomischer Strukturen (im Modell z.B. Blutgefäße oder große Nerven). Die Strukturen sollen in den 3D-US-Bilddaten automatisiert segmentiert und anschließend anhand der Positionsinformationen des aktuellen 2D-US-Bildes bzw. des Schallkopfes positioniert werden.

Schließlich werden Methoden des maschinellen Lernens evaluiert, um nach Vorgabe einer Zielstruktur mithilfe der AR-Brille eine optimale Positionierung von Schallkopf und Nadel anzuzeigen.

Im Rahmen dieses Projektes werden wir die entwickelten Methoden zunächst im Rahmen eines Experimentalaufbaus evaluieren. In Simulationsstudien folgt die Überprüfung von Sicherheit und Machbarkeit der Methode in einem Proof-of-Concept-Ansatz, welche durch Ärzte verschiedener Ausbildungsstufen am Trainingsphantom durchgeführt werden.