Identifikation sensibler anatomischer Strukturen in der roboterassistierten Kolorektalchirurgie mittels maschineller Lernverfahren

Dr. med. Franziska Maria Rinner

AutorIn

Dr. med. Franziska Maria Rinner

Titel

Identifikation sensibler anatomischer Strukturen in der roboterassistierten Kolorektalchirurgie mittels maschineller Lernverfahren

Zitierfähige Url:

https://nbn-resolving.org/urn:nbn:de:bsz:14-qucosa2-943916

Erstveröffentlichung

2024

Datum der Einreichung

17.11.2023

Datum der Verteidigung

27.08.2024

Abstract (DE)

Das Kolorektale Karzinom zählt zu den häufigsten malignen Erkrankungen und ist verbunden mit einer hohen Letalität. Die Therapie des KRK beinhaltet häufig chirurgische Herangehensweisen, welche sich in den letzten Jahren zunehmend in Richtung minimalinvasiver und roboterassistierter Verfahren entwickeln. Die operative Versorgung bringt, auch aufgrund der engen anatomischen Lagebeziehungen, ein Verletzungsrisiko für verschiedene anatomische Strukturen mit sich. Hierzu zählen neben seltenen Organverletzungen auch Schädigungen der Nerven, welche in die Lebensqualität oft stark beeinträchtigenden urogenitalen Dysfunktionen resultieren können. Daraus können Komplikationen folgen, deren Vermeidung stets angestrebt wird. Maschinelle Lernverfahren erleben in den letzten Jahren eine zunehmende Popularität und werden auf eine wachsende Vielzahl von Arbeitsbereichen mit Erfolg angewendet. Darunter findet sich auch die Medizin. Da die mangelhafte Erkennung von abdominellen Strukturen einen relevanten Risikofaktor verschiedener Operationen darstellt, der einen großen Einfluss auf die Prognose und Lebensqualität der Patient*innen hat, bietet sich hier großes Potential. An dieser Stelle soll durch eine KI-basierte Assistenz eine Lücke geschlossen werden, deren Relevanz bisher noch nicht ausreichend untersucht wurde. Auch wenn sich bereits zeigte, dass maschinelle Lernverfahren das Potential haben, optisch differenzierbare Strukturen im chirurgischen Kontext zu erkennen, bleibt die klinische Bedeutung dessen bislang unklar. In dieser Arbeit wird untersucht, inwiefern die Erkennung anatomischer Strukturen durch Bilderkennungsalgorithmen auf intraoperativem Bildmaterial möglich ist. Dies ist eine notwendige Grundlage für die Entwicklung weiterführender Technologien für die Erleichterung von operativen Eingriffen, die Vermeidung von Komplikationen oder die Erkennung morphologisch sichtbarer Pathologien. Hierbei soll sich künftig nicht nur auf die Anwendung in roboterassistierten Rektum- bzw. Sigmaresektionen beschränkt werden, sondern eine Anwendung für alle minimalinvasiven OPs ermöglicht werden. Damit können Kosten und Dauer von Eingriffen ebenso sinken wie die kognitiven Anforderungen an die Operateur*innen und eine Verbesserung der postoperativen Ergebnisse und Lebensqualität für die Patient*innen erreicht werden. Es wurden 43 zwischen Februar 2019 und März 2021 an der Klinik für Viszeral-, Thorax- und Gefäßchirurgie des Universitätsklinikums Carl Gustav Carus in Dresden durchgeführte roboterassistierte Sigma- bzw. Rektumresektionen und -exstirpationen einbezogen. Diese wurden hinsichtlich der Sichtbarkeit 6 verschiedener anatomischer Strukturen untersucht. Für die Kategorien Leber, Magen, Milz, Nerven, Pankreas und Ureter wurden jeweils zwischen 1023 und 1754 Einzelbilder aus 18 bis 23 OPs verwendet. Damit wurden sowohl anatomische Strukturen geringerer als auch höchster Komplexität betrachtet. Auf den Schritt der temporalen Annotation folgte nach der Einzelbildextraktion die semantische Segmentierung eines jeden Bildes. Dabei wurden alle Bereiche, in denen die jeweilige Struktur zu sehen ist, in ihren exakten Grenzen markiert. Diese segmentierten Bilder stellten die Grundlage für den anschließenden deep learning Prozess mittels eines CNNs dar. Das Resultat dessen war für jede Struktur ein Bilderkennungsalgorithmus, der sie automatisiert erkennen und semantische Segmentierungen anfertigen kann. Die Evaluation der Erkennungsleistung erfolgte mittels Intersection over Union, F1- Score, Precision Score, Recall Score, Specificity und Accuracy. Des Weiteren wurde die Performance des Algorithmus am Beispiel von 35 Bildern, von denen 16 das Pankreas zeigten, hinsichtlich der IoU für dieses Segment mit derjenigen von 28 Proband*innen verschiedener Wissens- und Ausbildungsstände verglichen. Dabei wurde das Konzept der Bounding box–Annotation verwendet. Die Ergebnisse der erarbeiteten Bilderkennungsalgorithmen bewegten sich für die 6 untersuchten Strukturen bei einer durchschnittlichen IoU, welche den Grad an Überlappung zweier Segmente beschreibt, zwischen 0,744 ± 0,275 und 0,255 ± 0,147. In der klinischen Evaluation wurden durch den auf das Pankreas trainierten Algorithmus Ergebnisse erzielt, die sich im Vergleich mit den 28 Proband*innen mit 0,31 an zweiter Stelle hinter einer Person von höchster Expertise eingliederten. Die von den Teilnehmenden erzielte durchschnittliche IoU betrug 0,100 ± 0,097. Die in dieser Arbeit erreichten Ergebnisse stellen einen guten Ausgangspunkt für die Weiterentwicklung KI-basierter Assistenzfunktionalitäten für den chirurgischen Alltag dar. Trotz einiger Limitationen hinsichtlich der Generalisierbarkeit einer eher kleinen und monozentrischen Untersuchung und Verbesserungspotential bezüglich der Generierung der Segmentierungen konnte ein hochwertiger Datensatz erarbeitet und publiziert werden. Insgesamt betrachtet lässt sich aus den Ergebnissen der darauf basierenden Bilderkennungsalgorithmen schließen, dass Methoden künstlicher Intelligenz bereits jetzt das Potential haben, viele Organe sehr gut und zuverlässig zu erkennen und abzugrenzen. Dadurch besitzen sie das Potential einer relevanten Unterstützung im chirurgischen Alltag. Bis zum Erreichen des Ziels einer klinischen Anwendung sind jedoch noch einige Schritte zu gehen, insbesondere die Übertragung des Erreichten auf Bewegtbildmaterial steht hierbei im Vordergrund. Zudem zeigte sich, dass die etablierten Metriken nicht ideal geeignet sind, um die klinische Relevanz der Prädiktionen abzubilden. Damit ist es notwendig, weiterhin über geeignete Metriken für die praktische Anwendung zu diskutieren und an der Entwicklung neuer Maßzahlen zu arbeiten. Allerdings kann bereits jetzt eine wertvolle Hilfestellung, besonders für Personen ohne langjährige chirurgische Erfahrung, geleistet werden. Dies stellt eine hervorragende Grundlage für die Weiterentwicklung der Algorithmen und deren Implementierung als Grundlage weiterführender Technologien im Bereich der intraoperativen Assistenzsysteme dar.

Abstract (EN)

Colorectal cancer (CRC) is one of the most common malignancies and is associated with a high mortality rate. The treatment of CRC often involves surgical approaches, which in recent years have increasingly evolved towards minimally invasive and robotic-assisted procedures. Surgical treatment entails a risk of injury to various anatomical structures, in part due to the narrow surgical field and close anatomical positioning. In addition to rare organ injuries these include the more common nerve lesions which often result in urogenital dysfunction affecting patients' quality of life tremendously. Consequently, complications can occur and the aim is always to avoid them. In recent years, machine learning techniques have become increasingly popular and are being successfully applied in a growing variety of fields. One such area is medical applications. Since the inadequate detection of anatomical structures represents a relevant risk factor in various surgical procedures with a high impact on patient prognosis and quality of life, there is great potential here. At this point, AI-based assistance aims to fill a gap whose practical relevance has not yet been sufficiently investigated. Although machine learning has already been shown to identify optically differentiable structures in a surgical context, its clinical significance remains unclear to date. This work examines the possibility of using image recognition algorithms to identify anatomical structures on intraoperative image material. This research is fundamental to the development of future technologies that facilitate surgical interventions, reduce the likelihood of complications or identify morphologically visible organ pathologies. This technique is intended to be used in the widespread field of minimally invasive surgery, rather than being limited to robot-assisted rectal and sigmoid resections. This could result in a decrease in the expenses and duration of surgery, as well as a reduction in the cognitive demands on the surgeons. Additionally, it could lead to improvements in post-operative outcomes and quality of life for patients. Between February 2019 and March 2021, 43 robot-assisted rectal and sigmoid resections and extirpations performed at the Clinic for Visceral, Thoracic and Vascular Surgery of the University Hospital Carl Gustav Carus in Dresden were included in this work. The surgery recordings were examined with regard to the visibility of 6 different anatomical structures. For the categories liver, stomach, spleen, nerves, pancreas and ureter, between 1023 and 1754 individual frames from 18 to 23 surgeries were used in each case. Thus, both anatomical structures of lower as well as highest complexity were considered. After performing temporal annotation and extracting single frames, each frame underwent semantic segmentation. In this step, all areas displaying the respective structure were marked with their exact boundaries. The resulting segmented images provided as input to the subsequent deep learning process using a CNN. As a result, we have obtained an image recognition algorithm for each structure considered capable of automatic detection and semantic segmentation. The recognition performance was evaluated using metrics including Intersection over Union, F1- Score, Precision Score, Recall Score, Specificity and Accuracy. Additionally, the algorithm's performance was compared with the organ recognition skills of 28 individuals with varying levels of medical knowledge and training. A clinical evaluation was performed using the example of the pancreas, which had to be highlighted by bounding boxes. For this purpose, a sample of 35 images, 16 of which included the pancreas, was used to examine the IoU for this segment. The developed image recognition algorithms produced results regarding the average IoU, which describes the degree of overlap between two segments, ranging from 0.744 ± 0.275 to 0.255 ± 0.147 for the 6 anatomical structures investigated. During the clinical validation, the algorithm's results for the generation of bounding boxes for the segment pancreas achieved the second-highest score, at an IoU of 0.31. This ranking placed it second among the 28 individuals, surpassed only by a single person with the highest level of expertise. The average IoU obtained by the participants was 0.100 ± 0.097. The results of this work provide a good starting point for the development of further AI-based assistance functionalities for everyday surgical practice. Despite some limitations regarding the generalisability of a rather small and monocentric study and potential for improvement in the generation of the segmentations, a high quality dataset has been compiled and published. Overall, the resulting image recognition algorithms' outcomes indicate that AI techniques already have the potential to detect and differentiate a lot of organs very well and dependably. As a consequence, they have the capacity to offer significant assistance to the surgical routine. Before moving to clinical application, several additional steps need to be taken, with particular emphasis on the crucial process of transferring what has been achieved to moving image material. Furthermore, it has become evident that the established metrics are not entirely capable of representing the clinical value of the predictions. Thus, it is necessary to have further discussions regarding appropriate metrics for practical implementation and to focus on the development of new measures. However, even now they can provide a precious assistance, particularly for individuals without extensive surgical training. This signifies an excellent foundation for advancing the algorithms and implementing them as the basis for future technologies in the field of intra-operative assistance systems.

Verweis

Link: https://doi.org//10.1038/ s41597-022-01719-2
The Dresden Surgical anatomy Dataset for Abdominal Organ Segmentation in Surgical Data Science
DOI: 10.1038/s41597-022-01719-2

Anatomy segmentation in laparoscopic surgery: comparison of machine learning and human expertise - an experimental study
Link: https://doi.org//10.1097/JS9.0000000000000595
DOI: 10.1097/JS9.0000000000000595

Freie Schlagwörter (DE)