Riassunto analitico
Lo scopo principale di questa tesi è quello di sviluppare e testare una nuova metodologia per estrarre gli angoli tra il palmo e le dita della mano utilizzando una tecnica innovativa: la stima della posa marker-less. Questi angoli verranno poi utilizzati per la calibrazione del modello che farà da tramite tra i segnali EMG superficiali (sEMG) ed il movimento della protesi. È stato effettuato un confronto tra due metodi: l'uso del framework MediaPipe, che necessita di una sola telecamera, e la combinazione di MediaPipe e Anipose (un plug-in di DeepLabCut), che richiede tre telecamere. Successivamente, utilizzando MediaPipe, viene estratta una lista di angoli palmo-dita derivati da più registrazioni 2D, con pose sia single che multi-finger.
I segnali sEMG sono ottenuti da una matrice di 64 sensori durante la registrazione di queste coreografie. Per il modello vengono esplorati due approcci: una Convolutional Neural Network (CNN) standard, per le sue capacità di apprendimento delle “features”; e una CNN basata su Transfer Learning, che può aggiungere robustezza al sistema. Infine, questi modelli vengono implementati e validati sulla mano robotica prostetica, in grado di collegare i segnali sEMG al movimento della dita in real-time.
Rispetto a DLC e alla configurazione a tre telecamere di Anipose, i risultati mostrano che MediaPipe è in grado di estrarre angoli dalle immagini 2D in modo migliore e con più semplicità. Ciò dimostra che, anche in un ambiente domestico, la stima della posa marker-less può essere uno strumento utile, economico e semplice. Infine, il miglior modello di movimento in real-time è stato ottenuto utilizzando una CNN basata su TF, che al costo di un carico di lavoro iniziale più elevato, offre calibrazioni più veloci con accuratezze paragonabili al caso standard.
|
Abstract
The main purpose of this thesis is to develop and test a novel methodology to extract the joint angles of the hand using an innovative marker-less pose estimation technique. These angles are then used for the training of a model capable of decoding the surface EMG (sEMG) signals, linking them to the movement of the prosthesis. A comparison was made between two methods: the use of the MediaPipe framework, which needs only a single camera, and the combination of MediaPipe and Anipose (a DeepLabCut plugin), which requires three cameras. Subsequently, using MediaPipe, are extracted a list of palm-finger angles derived from multiple 2D recordings, with both single and multi-finger poses. The sEMG signal is obtained from a matrix of 64 sensors during the recording of these choreographies. For the model two approaches are explored: a standard Convolutional Neural Network, because of its feature learning capabilities; and a Transfer Learning-based CNN, that can add robustness to the system. Finally, this model is used to connect the sEMG signals to the real-time RPH movement. In comparison to DLC and Anipose’s three-camera setup, the results show that MediaPipe is capable of extracting angles from 2D images in a better and easier way. This demonstrates that, even in a domestic setting, marker-less finger pose estimation can be a useful, low-cost, and simple tool. Furthermore, the best real-time movement model is obtained using a TF-based CNN, which comes at the cost of a higher initial workload but pays off in the long run, with short-time calibrations and accuracies comparable to the standard CNN approach.
|
