Riassunto analitico
Negli anni '80, Hans Moravec ha formulato per la prima volta il problema della stima dell'egomotion di un veicolo attraverso i dati di una telecamera nella sua tesi di dottorato. La sua ricerca è stata commissionata dalla NASA per il Mars Exploration Rover che ha finanziato la maggior parte delle prime ricerche sulla Visual Odometry; ha usato quello che ora è conosciuto come 'feature-based method' che consiste nel rilevare e mappare i punti di interesse nel fotogramma e ottenere una stima della loro posizione relativa rispetto a quella della telecamera, poi se questi punti di interesse vengono tracciati nel fotogramma successivo è possibile stimare come la telecamera si è mossa in uno spazio rigido 3D, questa stima è chiamata egomotion.
La maggior parte degli algoritmi moderni sono basati sulla stessa idea, alcuni usando le caratteristiche e alcuni usando l'intensità dei pixel chiamati 'appearance-based method', alcuni usando un misto dei due chiamati ibridi e alcuni usano anche le reti neurali come aiuto per risolvere problemi come il optical flow o la stima della profondità, una robusta implementazione completa della stima dell'egomotion con le reti neurali non è ancora stata sviluppata e i appearance-based methods sono troppo impegnativi dal punto di vista computazionale, per questo si è scelto di concentrare lo studio sui 'feature-based method'.
Questo studio riguarda tre diversi algoritmi che sono stati scelti tra una pletora di scelte per ragioni di affidabilità, leggerezza e dipendenze da terzi, un'ulteriore dissezione dei tre è stata fatta per selezionare i candidati del kernel e alla fine un 'vincitore' da selezionare e accelerare.
Come accennato prima, la leggerezza è un prerequisito hardware in quanto questo dovrebbe essere usato in System-on-Chip embedded a basso consumo, ma anche un vincolo in tempo reale, quindi doveva essere in grado di funzionare a velocità in tempo reale (10-15 FPS).
|
Abstract
In the 1980s, Hans Moravec first formulated the problem of estimating a vehicle egomotion through data from a camera in his Ph.D thesis, his research was commissioned by NASA for the Mars Exploration Rover which funded most of the early research on Visual Odometry; he used what is known now as 'feature-based method' which consist in detecting and mapping points of interest in the frame and get an estimate of their relative position with respect to the camera's, then if these points of interest are tracked in the next camera frame it is possible to estimate how the camera moved in a rigid 3D space, which is called egomotion.
Most of modern algorithms are based on the same idea, some using features and some using pixel intensity called 'appearance-based method', some using a mixture of the two called hybrid and some also uses neural networks as an aid to solve problems like optical flow or depth estimation, a robust full implementation of egomotion estimation with neural networks has not yet been developed and appearance-based methods are too computational demanding, which is why it was chosen to focus the study to feature-based methods.
This study is about three different algorithms which have been chosen among a plethora of choices for reasons of reliability, lightweightness and third-party dependencies, a further dissection of the three's was done to select kernel candidates and at last a 'winner' to be selected and accelerated.
As mentioned before, lightweightness is a hardware prerequisite as this is supposed to be used in low-power embedded System-on-Chip but also a real-time constraint so it had to be able run at real-time speed (10-15 FPS).
|
