Riassunto analitico
L'elaborato descrive il lavoro svolto durante il tirocinio presso Orsi Acedemy (Melle, Belgio), uno dei principali centri europei di training per la robotica chirurgica. L'obiettivo del tirocinio è quello di ottimizzare una pipeline esistente che integra realtà aumentata e segmentazione binaria degli strumenti chirurgici. Questo sistema viene utilizzato per una specifica operazione chirurgica, ovvero la nefrectomia parziale robot-assistita che consiste nella rimozione di una parte del rene danneggiata, generalmente a causa di un tumore.
La pipeline implementa la realtà aumentata in quanto consente di visualizzare un modello tridimensione dell'intera struttura del rene sovrapposto al video in tempo reale della scena chirurgica. Uno dei problemi principali dell'utilizzo della realtà aumentata nella chirurgia riguarda il fatto che il modello tridimensionale potrebbe oscurare e coprire alcuni elementi della scene, tra cui anche gli strumenti chirurgici, e quindi rendere l'operazione più complessa invece che semplificarla. La segmentazione binaria serve, quindi, per estrarre gli strumenti chirugici e distinguerli da tutto il resto della scena. In questo modo, vengono sempre visualizzati in primo piano e il chirurgo riesce ad avere una chiara visuale su di essi durante tutta la durata dell'operazione.
Il problema di questa implementazione è che non può essere utilizzata nella pratica chirurgica quotidiana e in tempo reale, in quanto introduce una latenza di 0.5 secondi. Questo elaborato si concentra sull'ottimizzazione della pipeline descritta sopra in modo da ridurne la latenza. In particolare, la pipeline ottimizzata utilizza dei sistemi di accelerazione sia a livello hardware che a livello software che consentono di ridurre il ritardo a una latenza frame-by-frame di 13 ms. La pipeline ottimizzata è stata testata in sala operatoria, durante una nefrectomia parziale robot-assistita.
|
Abstract
In recent years, Augmented Reality (AR) has become a significant factor in various medical fields, including surgery. Its purpose in surgery is to enhance surgical procedures and improve patient outcomes.
However, several challenges hinder the widespread adoption of AR in daily surgical practice. A crucial unmet need is related to the problem of correct registration. Correct registration entails aligning and overlaying the 3D model with its real-world counterpart in the surgical scene. Additionally, real and virtual occlusions caused by the AR overlay must be addressed. Occlusions can have a negative impact on surgical safety and care. The issue of registration is further complicated by tissue deformations that can occur during surgery, leading to differences between the surgical scene and the pre-operative data upon which the 3D models are typically based. Unfortunately, overcoming these challenges requires a significant amount of computational resources, making the integration of AR in the surgical environment even more challenging.
This work highlights the completion of an internship program at Orsi Academy, which focused on implementing a real-time pipeline for binary segmentation and 3D modeling during robot-assisted partial nephrectomy (RAPN) and deploying it in live surgery. The system successfully performs real-time segmentation of 37 non-organic surgical items, which are never occluded during AR usage. The application also enables manual manipulation of 3D models to ensure accurate alignment with soft tissues.
This proposed pipeline enhances surgical safety and opens up possibilities for utilizing AR in robot-assisted surgery.
|
