Riassunto analitico
Questo lavoro di tesi ha preso parte ad un progetto svolto in Tetra Pak® al fine di elaborare un sistema di visione artificiale per supportare le operazioni manuali effettuate durante il controllo di qualità della saldatura delle confezioni. L’idea di elaborare un sistema di supporto è nata dalla necessità di garantire un livello di qualità massimo, considerata l’estrema importanza di ottenere un packaging asettico e privo di difetti, consentendo di ottenere un feedback sulla bontà delle operazioni manuali svolte, le quali potrebbero risultare errate a causa di fattori umani. L’approccio di risoluzione al problema, proposto da questo lavoro di tesi, consiste nella creazione di un sistema di acquisizione di immagini sincronizzate da più punti di vista, utilizzando una telecamera industriale, una infrarossi e una di profondità, al fine di costruire un dataset contenente informazioni riguardo la posizione delle mani e degli altri oggetti di interesse nella scena durante le operazioni di controllo. Le immagini RGB ottenute sono state sfruttate sia per allenare una rete neurale capace di fare una detection più robusta delle mani, della confezione e dello strumento utilizzato nel controllo sia per essere elaborate con varie tecniche di computer vision con lo scopo di identificare due parti specifiche dello strumento in esame, utilizzando dei marker appositi.E’ stata anche analizzata la possibilità di raccogliere informazioni legate alla presenza di eventuali gesti e posizione delle mani e delle dita utilizzando le funzioni messe a disposizione da una specifica telecamera infrarossi utilizzata. Come metrica finale di valutazione della bontà dell’operazione svolta dall’operatore è stata utilizzata la velocità di apertura della pinza utilizzata durante il controllo, al fine di iniziare a valutare quali metriche sarebbe opportuno analizzare per supportare al meglio questo genere di controllo.
|
Abstract
This thesis is part of a project developed during my internship in TetraPak with the purpose of creating an artificial vision system in order to support the packages sealing quality control manual operations. This idea is born thanks to the need of having a good quality level certainty of every package sealing, because the package has to be aseptic and without defects, in order to obtain some feedback about the goodness of the manual operations, that could be wrong because of some human mistakes. The resolution approach proposed here is the creation of a synchronized acquisition system from different points of view using an industrial camera, an infrared one and a depth one, in order to build a dataset with informations about hands and other useful objects positions during the quality control operations. The RGB images are used to train a neural network that is able to detect the position of the hands, the package and a specific instrument in a better way, and also to do some elaborations with computer vision techniques in order to identify two specific parts of the instrument, using some markers. Then we analyze also the possibility to collect informations about the precence of specific gestures and fingers positions using some functions available thanks to a specific infrared camera. Finally, we analyze some metrics to measure the goodness of manual operations, in particular the opening speed of the pliers used during the control, in order to begin to understand which metric could be the best for this type of control.
|
