Riassunto analitico
L'elaborato descrive l'esperienza di tirocinio di circa 5 mesi fatta presso l'azienda Orsi Academy (Melle, Belgio), uno dei migliori centri di training per la robotica chirurgica in Europa. L'obiettivo è stato quello di sviluppare un modello di segmentazione di strumenti chiriurgici e strutture anatomiche, tramite l'utilizzo del deep learning. La segmentazione consiste nell'identificare in un'immagine diversi oggetti di interesse e classificarli. In particolare il nostro lavoro si è focalizzato sulla nefrectomia parziale, ossia l'asportazione di una parte del rene per rimuoverne un tumore. Per quanto riguarda la segmentazione degli strumenti chirurgici, inizialmente è stato creato un datsaset di oltre 30000 immagini (il più grande ad oggi esistente) a partire da 100 video di nefrectomie parziali assistite da robot, annotando tutti gli oggetti non organici presenti nei frame campionati. Successivamente, sono state utilizzate diverse reti neurali, dapprima testate su dataset di benchmark, e poi allenate sul nostro dataset, per creare dei modelli di segmentazione binaria e multiclasse accurati e possibilmente veloci, in modo da poter essere usati in tempo reale. Dopodichè questi modelli sono stati ulteriormente migliorati grazie all'integrazione di nuove tecniche che tenessero in considerazione la consistenza temporale tra frame adiacenti, dato che l'obiettivo finale era la segmentazione di video chirurgici, e non soltato di singoli frame. Sono poi state addestrate le stesse reti su un dataset da poco pubblicato, con le annotazioni dei tessuti e degli organi presenti nelle immagini, per creare modelli in grado di segmentare alcune strutture anatomiche del corpo umano. Infine l'elaborato presenta un'applicazione creata insieme agli altri componenti del team, che sfrutta il migliore modello di segmentazione binaria ottenuto e la realtà aumentata, al fine di assistere il chirurgo durante le operazioni di nefrectomia parziale.
|
Abstract
In modern times, Artificial Intelligence (AI) has become an essential component in various medical fields, including surgery. The advent of robot-assisted and image-guided procedures has significantly increased the amount of data available in the operating room, particularly images and videos, which can be utilized to enhance surgical operations and so patient outcomes. In particular, automated surgical scene segmentation is a crucial first step toward tool-tissue interactions, automation, and other applications in robot-assisted laparoscopic surgery. This goal can be achieved through semantic segmentation of tissues and non-organic elements with deep learning-based approaches, which is a quite new field of application, mostly due to the lack of annotated data.
This dissertation outlines the internship program completed at the Orsi Academy, which focused on developing neural network models for surgical scene segmentation. The first step involved working with a team of doctors and engineers to create the largest dataset of laparoscopic images of partial nephrectomy procedures, complete with annotated masks for surgical tool segmentation. The thesis covers the numerous steps taken to create this dataset, including the statistical analyses that were carried out. Then, through in-depth analysis on benchmark datasets, the best state-of-the-art neural networks were selected and trained on the created dataset to obtain good binary and multiclass segmentation models of surgical instruments. Moreover, the work describes also how temporal consistency was leveraged for the segmentation of surgical instruments in videos. Then the thesis goes through the description of the training of all the aforementioned architectures on a newly published dataset with annotation masks of anatomical structures for their segmentation. Lastly, potential future developments for the project are outlined, and it is presented a real application tested in the operating room, which uses one of the real-time instrument segmentation models produced and augmented reality, to assist surgeons during operations.
|
