Riassunto analitico
Negli ultimi anni, le cuffie wireless hanno ottenuto una grande popolarità permettendo agli utenti di ascoltare musica o rispondere a chiamate senza la necessità di una connessione cablata con il proprio smartphone. Anche se nascono come dispositivi audio per sostituire i classici auricolari con filo, attualmente vengono equipaggiate con processori e sensori rendendole una nuova categoria di dispositivi indossabili intelligenti chiamati Earables.
In questo studio, condotto presso l'University of New South Wales di Sydney, sono stati utilizzati gli auricolari eSense, piattaforma open-source di Earables che permette di ottenere i dati grezzi dai sensori di cui dispone.
Lo scopo di questo progetto è stato quello di sviluppare una metodologia per tracciare i movimenti della testa di un individuo attraverso i sensori inerziali integrati nelle cuffie eSense, al fine di approssimare la direzione dello sguardo dell’utente e rendere possibile l’uso di questi dispositivi in nuove applicazioni per l'interazione uomo-computer.
La determinazione dell'angolo di rotazione di un corpo mediante sensori inerziali è un problema noto, che richiede la combinazione di dati provenienti da accelerometro, giroscopio e magnetometro. Tuttavia, a causa dell'interferenza generata dagli altoparlanti per la riproduzione di audio, l'utilizzo del magnetometro negli Earables risulta impraticabile. Avendo quindi a disposizione solamente accelerometro e giroscopio, si è affrontato il problema tramite un approccio di apprendimento automatico. Nella prima fase del lavoro, è stato implementato un sistema per la raccolta dei dati mediante un'applicazione per smartphone. Questo ci ha permesso di creare un dataset che raccoglie più di 250.000 movimenti da 10 partecipanti. Successivamente, sono state esplorate varie tecniche di machine learning e deep learning al fine di stimare le rotazioni della testa dell’utente.
Il lavoro svolto in questa tesi dimostra il potenziale degli Earables nel tracciare la posizione del volto di un individuo e offre un sistema di raccolta dati conveniente e accessibile per questo tipo di applicazioni.
|
Abstract
In recent years, wireless earphones have gained widespread popularity as everyday devices for listening to music. Additionally they are equipped with a lot of different sensors and processor, which makes them a new category of wearables devices called Earables. In this study, conducted at the University of New South Wales in Sydney, we used eSense, an open Earables platform that allows to obtain raw data from its sensors. In this work we evaluate if is possible to track head pose and estimate what a user is looking at, with the aim to exploit Earables for a wide range of new applications for human computer interaction. Inertial motion tracking is a widely known and extensively researched problem that requires the combination of data from accelerometers, gyroscopes, and magnetometers. However, due to interference generated by the speakers, the use of the magnetometer in Earables is impractical. For this reason, a solution that leverages only on accelerometer and gyroscope is of great interest for many applications. Our study tackles this challenge through a series of experiments with different machine learning and deep learning methodologies which we have developed for the purpose of this study. We made our dataset by collecting more than 250.000 head movements data from 10 partecipants. To facilitate our research we developed an affordable and easy to use system based on an iOS application. Subsequently, we explored various machine learning and deep learning approaches to estimate head rotations. Our results demonstrate the potential of earables in head pose estimation, offering an affordable and accessible approach to data collection and analysis in this field.
|
