Riassunto analitico
Le casse self-checkout o self-service stanno diventando sempre più comuni nei supermercati italiani ed esteri. Queste casse permettono di ridurre i costi sul personale e di velocizzare la spesa per i clienti, evitando che questi debbano attendere in lunghe code che si formano di solito alle casse tradizionali. Sebbene queste casse offrano numerosi vantaggi, uno dei principali svantaggi di queste macchine è un elevato rischio di taccheggio. Per affrontare il problema del taccheggio, alcune aziende si stanno rivolgendo a progettisti di sistemi avanzati basati sulla Computer Vision e sul Deep Learning. Sfruttando questi strumenti, tali aziende mirano a sviluppare algoritmi efficaci per la rilevazione e la prevenzione di incidenti di taccheggio alle casse self-checkout. Per la rilevazione del taccheggio sono generalmente utilizzati algoritmi di classificazione e riconoscimento dei comportamenti umani. In questa tesi, l’attenzione è rivolta al problema della rilevazione delle mani e degli oggetti in interazione. In letteratura, questo problema prende il nome di Hand-Object Interaction Detection (HOID). La rilevazione nel tempo delle mani e degli oggetti con cui queste interagiscono, durante la fase di scansione degli oggetti alla cassa self-checkout, è una parte fondamentale della pipeline di riconoscimento delle azioni di taccheggio presentata in questa tesi. Lo scopo di questa tesi è quello di proporre un nuovo modello di real-time Object Detection per il rilevamento di mani e oggetti in contatto. Oltre alla proposta del modello di Object Detection, una successiva parte della tesi è dedicata alla trasformazione del modello di Object Detection proposto in un modello di real-time Video Object Detection allenabile end-to-end. Il modello di Object Detection proposto viene costruito a partire dal noto modello di Object Detection chiamato YOLOv3, a cui vengono apportate diverse modifiche che riguardano, ad esempio, il suo output, la sua loss e il suo codice di caricamento dei dati e testing. Per la parte di trasformazione del modello di Object Detection in un modello di Video Object Detection viene impiegato il modulo chiamato Temporal Shift Module (TSM). Secondo gli autori di "Temporal Shift Module for Efficient Video Understanding", il modulo TSM permette a una rete CNN 2D di imparare anche feature temporali senza incidere sulla sua velocità di elaborazione. Il modello di Object Detection di base è allenato e testato rispettivamente sui dati di train e test del dataset formato dalla combinazione di due dataset: il dataset 100K e il dataset DataLogicHOID. Il modello di Video Object Detection è invece allenato e testato sui dati di train e test dei dataset DataLogicHOIDVOD e 100KVOD. Il modello di Object Detection proposto risulta 6.5 volte più veloce rispetto al modello allo stato dell’arte precedente. Le performance del modello di Object Detection in termini di MAP risultano di poco inferiori rispetto a quelle del modello allo stato dell’arte. Il modello di Video Object Detection dimostra miglioramenti in termini di MAP per quanto riguarda la rilevazione delle mani, degli oggetti in contatto e la predizione di informazioni come il lato della mano e lo stato di contatto della mano.
|