Riassunto analitico
Il riconoscimento delle fasi chirurgiche (SPR) si riferisce al compito di rilevare e classificare automaticamente le diverse fasi di una procedura chirurgica. L'SPR è utile nella pratica clinica per ottimizzare il flusso di lavoro chirurgico e migliorare i risultati delle operazioni sui pazienti. Con la disponibilità di dataset di video laparoscopici open-source, sono stati applicati metodi di deep learning (DL) con risultati promettenti per la SPR automatizzata. Tuttavia, mentre alcune procedure sono facili da analizzare, altre procedure non lineari con fasi ricorrenti e decorso imprevedibile si sono rivelate difficili da gestire con i framework allo stato dell'arte (SOTA) esistenti. Un'altra sfida riguarda le dimensioni dei dataset, dove gli approcci supervisionati per il DL richiedono una costosa annotazione dei dati clinici. I metodi di apprendimento Self-Supervised (SSL) offrono un'opzione promettente per apprendere da dati non etichettati e migliorare le prestazioni delle parti supervised. In questo lavoro, abbiamo innanzitutto emulato un approccio supervised esistente e lo abbiamo validato sul database pubblico Cholec80 e su un dataset privato di Nefrectomie Parziali Assistite da Robot (RAPN). In secondo luogo, abbiamo duplicato i metodi SOTA esistenti per SSL in SPR, utilizzando il framework self-supervised DINO su Cholec80 e RAPN. Abbiamo simulato scenari di mancanza di dati. Su Cholec80, il nostro approccio raggiunge prestazioni paragonabili a quelle di metodi alternativi temporalmente agnostici, pur utilizzando solo il 20% dei dati e un fattore di forma dei fotogrammi inferiore. Su RAPN il confronto con la parte supervisionata evidenzia prestazioni simili. Aggiungiamo una prima versione di un componente di Explainable AI chirurgica che arricchisce la nostra proposta. In uno sforzo preliminare per capire perché algoritmi identici di rilevamento delle fasi non sono in grado di scalare tra diversi interventi chirurgici, analizziamo le mappe di gradiente prodotte attraverso il metodo dei gradienti integrati. Applichiamo questo metodo a 4 diversi set di dati relativi a interventi chirurgici laparoscopici e robotici, per capire meglio perché certe porzioni di immagine sono considerate importanti per la SPR. Infine, miglioriamo le attribuzioni calcolate per produrre mappe di sensibilità nitide basate sui gradienti. I nostri risultati dimostrano il potenziale della SSL in combinazione con l'Explainable AI come strumento preliminare per migliorare la SPR.
|
Abstract
Surgical Phase Recognition (SPR) refers to the task of automatically detecting and classifying the different stages of a surgical procedure. SPR is useful in clinical practice to optimise the surgical workflow and to improve patient outcomes. With the availability of open-sourced laparoscopic video datasets, Deep Learning (DL) methods have been applied with promising results for automated SPR. Nevertheless, while some procedures are easy to analyse, non-linear procedures with recurring phases and unpredictable courses have been found to deal badly with existing State-Of-The-Art (SOTA) frameworks. Another challenge concerns dataset sizes, where supervised approaches for DL require costly clinical data annotation. Self-Supervised Learning (SSL) methods offer a promising option to learn from unlabelled data and to improve the performance of supervised parts. In this work, we first emulated an existing supervised approach and validated it on the public Cholec80 and on a private dataset of Robot-Assisted Partial Nephrectomies (RAPN). Secondly, we duplicate existing SOTA frameworks for SSL in SPR, using the self-supervised DINO framework on Cholec80 and RAPN. We simulate low-labelled data volume scenarios. On Cholec80, our approach achieves comparable performance to alternative temporal agnostic methods while utilising only 20% of the data and a lower frame shape factor. On RAPN the comparison with the supervised part highlights similar performance. We add a first version of a surgical AI explainability component enriching our proposal. In a preliminary effort to potentially understand why identical phase detection algorithms scale poorly across different surgeries, we analyse produced gradient maps through the integrated gradients method. We apply this method for 4 different datasets across both laparoscopic and robotic surgeries, as to better understand why certain image portions are considered important for SPR. Finally, we improve the computed attributions to produce sharp gradient-based sensitivity maps. Our results demonstrate the potential of SSL in combination with explainability as a preliminary tool to enhance SPR.
|