• AI
• Augmented Reality
• RAPN
• Registration
• Stereovision

Oggi, la Realtà Aumentata (AR) è considerata una delle tecnologie più all’avanguardia, espandendo rapidamente la sua influenza attraverso diverse discipline mediche, in particolare nel campo della chirurgia robotica minimamente invasiva. L'AR offre vie promettenti per migliorare le procedure chirurgiche fornendo visualizzazioni e aggiunte in tempo reale direttamente nel campo chirurgico.

Una delle sfide più critiche nelle applicazioni AR è la registrazione, il processo di allineamento e sovrapposizione di un modello virtuale 3D sul suo corrispettivo del mondo reale all'interno della scena chirurgica. Ciò garantisce una corrispondenza spaziale accurata tra gli elementi virtuali e fisici, consentendo un orientamento e una visualizzazione precisi durante le procedure chirurgiche.

Questa ricerca, condotta durante un programma di tirocinio presso l'Orsi Academy, si è concentrata specificamente sull'affrontare la sfida della registrazione nel contesto della nefrectomia parziale assistita da robot (RAPN). L'obiettivo era implementare una pipeline in grado di ottenere una registrazione accurata dei modelli 3D sulle immagini estratte dalla telecamera stereo laparoscopica Da Vinci, un componente fondamentale delle procedure RAPN.

Un'innovazione chiave di questo approccio è stata l'utilizzazione di una rete neurale deep learning, RAFT-stereo, per ricreare dinamicamente la superficie 3D delle immagini laparoscopiche in tempo reale. Analizzando le immagini stereo catturate dalla telecamera Da Vinci, la rete RAFT-stereo ha generato ricostruzioni accurate e dettagliate dell'anatomia del rene durante l'intervento chirurgico. Queste ricostruzioni dinamiche sono servite come base per determinare continuamente la posizione e l'orientamento del rene rispetto agli strumenti chirurgici e ai tessuti circostanti.

La pipeline proposta è finalizzata alla sovrapposizione di modelli 3D preoperatori sulla scena chirurgica, migliorando la sicurezza e la precisione chirurgica. Fornendo ai chirurghi visualizzazioni più chiare delle strutture anatomiche e dei punti di riferimento virtuali critici direttamente nel loro campo visivo, questo approccio mira a facilitare una decisione informata e una navigazione chirurgica precisa. Inoltre, ha aperto nuove possibilità per integrare le tecnologie AR nei flussi di lavoro chirurgici assistiti da robot, promettendo ulteriori progressi nel campo della chirurgia minimamente invasiva.

Today, Augmented Reality (AR) stands at the forefront of cutting-edge technologies, rapidly expanding its influence across diverse medical disciplines, particularly within the realm of minimally invasive robotic surgery. AR offers promising avenues for enhancing surgical procedures by providing real-time visualizations and augmentations directly within the surgical field. One of the most critical challenges in AR applications is registration, the process of aligning and superimposing a virtual 3D model onto its real-world counterpart within the surgical scene. This ensures accurate spatial correspondence between the virtual and physical elements, enabling precise guidance and visualization during surgical interventions. This research, conducted during an internship program at Orsi Academy, focused specifically on addressing the challenge of registration in the context of robot-assisted partial nephrectomy (RAPN). The goal was to implement a robust pipeline capable of achieving accurate registration of 3D models onto images extracted from the laparoscopic Da Vinci stereo camera, a fundamental component of RAPN procedures. A key innovation of this approach was the utilization of a deep neural network known as RAFT-stereo to dynamically recreate the 3D surface of surgical scene images in real-time. By analyzing stereo images captured by the Da Vinci camera, the RAFT-stereo network generated accurate and detailed reconstructions of the kidney's anatomy throughout the surgical procedure. These dynamic reconstructions served as a basis for continuously determining the kidney's position and orientation in relation to the surgical instruments and surrounding tissues. The proposed pipeline aims to superimpose preoperative 3D models onto the surgical scene, enhancing surgical safety and precision. By providing surgeons with clearer visualizations of anatomical structures and critical virtual landmarks directly within their field of view, this approach aims to facilitate informed decision-making and precise surgical navigation. Moreover, it has opened up new possibilities for integrating AR technologies into robot-assisted surgical workflows, promising further advancements in the field of minimally invasive surgery.