Projekt 03FMTHH20
Deep Learning Methoden für die AR-Ultraschall geführte Punktion von Strukturen
Ausgangssituation
Punktionen sind ein essentieller Bestandteil therapeutischer und diagnostischer medizinischer Maßnahmen. Die Präzision der Nadelführung, die Adjustierung der Nadelausrichtung und die Diskriminierung zwischen Zielstrukturen und vulnerablen Strukturen sind nicht nur für den Punktionserfolg, sondern insbesondere auch in Hinblick auf mögliche Punktionskomplikationen von hoher Bedeutung. Zur Visualisierung der Zielstrukturen und präzisen Platzierung der Nadelspitze im Zielgebiet werden heutzutage häufig bildgebende Verfahren, wie der Ultraschall (US) oder andere Modalitäten der Schnittbildgebung eingesetzt. Die korrekte Durchführung von Punktionen setzt allerdings eine große Erfahrung und hohe Expertise des durchführenden Arztes voraus.
Das sichere Handling von Ultraschallkopf und Nadel erfordert eine gute Hand-Auge-Koordination und visuell-räumliches Wahrnehmungsvermögen. Auch die Einhaltung steriler Punktionsbedingungen muss hierbei berücksichtigt werden und erfordert ein hohes Maß an Training. Abweichungen von der Norm in anatomischen Strukturen erschweren die Orientierung und Navigation im Gewebe.
Beispiele für Komplikationen sind z.B. arterielle Fehlpunktionen bei der Anlage venöser Katheter, Nervenläsionen bei Regionalanästhesieverfahren oder die Verletzung von Bauchorganen bei Aszitespunktionen.
Zu untersuchen ist, ob eine Unterstützung via Augmented Reality (AR) die Präzision von Punktionen optimieren und somit die Komplikationsrate reduzieren kann.
Zielsetzung
Unser Ziel ist es, im Rahmen des vorgestellten Projektes ein prototypisches System zu evaluieren, welches die US-Bild geführte Punktion mittels AR unterstützt. Vor Beginn einer Punktion wird ein 3D-US-Übersichtsscan der Zielregion erstellt. Hierbei werden die Bewegungen des Ultraschallkopfes sowie die der untersuchten Oberflächenstruktur mit Hilfe der stereoskopischen Kameras der AR-Brille verfolgt. Auf Basis dieser Bewegungsprofile werden die 2D-US-Bilddaten zu einem 3D-US-Scan zusammengesetzt.
Anschließend erfolgt der übliche Punktionsvorgang, wobei die aktuellen 2D-US-Bilddaten durch den 3D-US-Scan augmentiert werden. Automatisch segmentierte anatomische Strukturen aus dem 3D-US-Scan werden unter der Hautoberfläche in 3D gerendert und dienen als Landkarte zur weiteren Positionierung von Ultraschallkopf und Nadel. Zusätzlich kann eine optimale Positionierung des Schallkopfes und eine zugehörige Nadeltrajektorie für eine bestimmte Zielregion bzw. -position angezeigt werden. Dieses System soll kurzfristig in der Ausbildung am Phantom sowie in der Supervision und langfristig im klinischen Alltag einsetzbar sein.

Darstellung des Punktionsvorgangs mit AR-Ultraschall Unterstützung. (A) Zu Beginn der Punktion wird ein 3D-US-Scan erzeugt, wobei der Behandler mit dem Ultraschallkopf in einem Zielbereich verschiedene Positionen abfährt. Das erzeugte 3D-Volumen wird im nächsten Schritt (B) genutzt, um an der Position eines neuen 2D-US-Scans die anatomischen Strukturen (rot – Gefäß, blau – Zielstruktur) mit Hilfe der AR-Brille in 3D unter der Hautoberfläche zu rendern. Schließlich werden Vorschläge für eine optimierte US-Position und Nadeltrajektorie angezeigt (C).
Vorgehensweise
Zu Beginn erfolgt der Aufbau eines Punktionsphantoms, welches realistische haptische Eindrücke und US-Bilddaten während des Punktionsvorgangs erzeugt und eine quantitative Beurteilung der Präzision der Punktion gewährleistet.
Anschließend folgt die Untersuchung maschineller Lernverfahren zur Zusammensetzung eines 3D-US-Übersichtscans basierend auf den 2D-US-Daten. Hierfür sollen unter anderem die Informationen des stereoskopischen Trackings von Hautoberfläche und Ultraschallkopf genutzt werden.
Der dritte Meilenstein besteht in der Untersuchung maschineller Lernverfahren zum 3D Rendering anatomischer Strukturen (im Modell z.B. Blutgefäße oder große Nerven). Die Strukturen sollen in den 3D-US-Bilddaten automatisiert segmentiert und anschließend anhand der Positionsinformationen des aktuellen 2D-US-Bildes bzw. des Schallkopfes positioniert werden.
Schließlich werden Methoden des maschinellen Lernens evaluiert, um nach Vorgabe einer Zielstruktur mithilfe der AR-Brille eine optimale Positionierung von Schallkopf und Nadel anzuzeigen.
Im Rahmen dieses Projektes werden wir die entwickelten Methoden zunächst im Rahmen eines Experimentalaufbaus evaluieren. In Simulationsstudien folgt die Überprüfung von Sicherheit und Machbarkeit der Methode in einem Proof-of-Concept-Ansatz, welche durch Ärzte verschiedener Ausbildungsstufen am Trainingsphantom durchgeführt werden.
Beteiligte
Johanna Sprenger, M.Sc.
Projektleitung TUHH, Entwicklung und Evaluation der Methoden
Institut für Medizintechnische und Intelligente Systeme
TUHH
Sarah Latus, M.Sc.
Stellv. Projektleitung, Organisation
Institut für Medizintechnische und Intelligente Systeme
TUHH
Prof. Dr.-Ing. Alexander Schlaefer
Institut für Medizintechnische und Intelligente Systeme
TUHH
Dr. med. Philipp Breitfeld
Projektleitung UKE
Arbeitsgruppe Informationsmanagement
Klinik für Anästhesiologie
UKE
Prof. Dr. med. Christian Zöllner
Klinik für Anästhesiologie
UKE
Publikationsliste
2021
- S. Latus, J. Sprenger, M. Neidhardt, J. Schadler, A. Ron, A. Fitzek, M. Schlüter, P. Breitfeld, A. Heinemann, K. Püschel, A. Schlaefer (2021). Rupture detection during needle insertion using complex OCT data and CNNs. IEEE Transactions on Biomedical Engineering. 68 (10), 3059-3067.
- M. Neidhardt, S. Gerlach, M.-H. Laves, S. Latus, C. Stapper, M. Gromniak, A. Schlaefer (2021). Collaborative robot assisted smart needle placement. Current Directions in Biomedical Engineering. 7. (2), 472-475
- S. Latus, P. Breitfeld, M. Neidhardt, W. Reip, C. Zöllner, A. Schlaefer (2020). Boundary prediction during epidural punctures based on OCT relative motion analysis. EUR J ANAESTH. 2020 (Volume 37 | e-Supplement 58 | June 2020)
- L. Bargsten, A. Schlaefer (2020). SpeckleGAN: a generative adversarial network with an adaptive speckle layer to augment limited training data for ultrasound image processing. International Journal of Computer Assisted Radiology and Surgery. 15 (9), 1427-1436.