• cluttered scene
• computer vision
• deep learning
• pick and place
• robotic grasping

L’enorme sviluppo dell’Intelligenza Artificiale ha portato innovazione ed una moltitudine di opportunità stimolanti nel settore industriale. L’Industria 5.0 mira ad integrare soluzioni intelligenti nei processi di produzione, è in questo contesto che i metodi di Intelligenza Artificiale trovano particolare applicazione nel campo della robotica.

Negli ultimi anni i cobot hanno trovato largo impiego nel settore industriale, si tratta di robot collaborativi che consentono la cooperazione e la condivisione dell’ambiente di lavoro con le persone. Tra le soluzioni più importanti e presenti nel settore industriale, basate sull’impiego dei cobot, vi sono i sistemi pick and place.
I sistemi pick and place intelligenti, grazie all’integrazione e all’uso di metodi di Computer Vision ed Intelligenza Artificiale, aiutano a colmare il divario ancora presente in questi processi, che lavorano tuttora in ambienti no-cluttered con posizioni degli oggetti predeterminate.

Nell’industria odierna, vi sono ancora molte sfide intriganti da affrontare, tra cui oggetti difficili che riportano diverse forme, trasparenze e riflessioni, ed il lavorare in ambienti cluttered, dove occlusioni e collisioni sono altamente presenti. Essere in grado di risolvere queste sfide consente alle smart factory di operare con soluzioni flessibili ed elastiche.
È in questo contesto che il robotic grasping assume un’importanza fondamentale.

In questo lavoro, il compito dell’object grasping è stato affrontato definendo un nuovo metodo vision-based chiamato occupation channel. Il metodo consente di stimare l’affordance score di ogni grasping point degli oggetti, scegliendo l’oggetto migliore da raccogliere evitando collisioni.

Il metodo occupation channel è inoltre integrato tramite una doppia pipeline, CAD-based e CAD-less. Queste pipeline sono composte da metodi di Deep Learning e Computer Vision in grado di risolvere i problemi riguardanti non solo l’object grasping ma anche l’instance segmentation e la 6D pose estimation. In particolare, le pipeline proposte riguardano il grasping intelligente in diversi scenari, scenari CAD-based, nel caso in cui siano disponibili modelli CAD 3D che consentano di avere una conoscenza approfondita del caso d’uso specifico, e scenari CAD-less in cui è necessario sfruttare la capacità di zero-shot generalization dei modelli per generalizzare su oggetti sconosciuti.

I risultati ottenuti dagli approfonditi esperimenti di robotic grasping dimostrano infine l’efficacia del metodo occupation channel proposto, riuscendo a risolvere ambienti cluttered e no-cluttered, riportando un grasping rate del 98% in quest’ultimo caso e dell’81% in scenari cluttered.

The huge development of Artificial Intelligence has brought innovation and a multitude of stimulating opportunities to the industrial sector. Industry 5.0 aims to integrate intelligent solutions into manufacturing processes, it is in this context that Artificial Intelligence methods find particular application in the robotics field. In recent years, cobots have also found wide use, these are collaborative robots that allow cooperation and sharing the work environment with people. Pick and place systems are among the most important and present solutions in the industrial sector based on the use of cobots. Intelligent pick and place systems, thanks to the integration and use of Computer Vision and Artificial Intelligence methods help fill the gap still present in these processes, which still work in no-cluttered environments with predetermined object positions. In today’s industry, there are many intriguing challenges still to be addressed, among them are picking difficult objects (different shapes, transparencies and reflections), working in cluttered environments, where occlusions and collisions are highly present. Being able to solve these challenges allows smart factories to operate with flexible and elastic solutions. It is in this context that robotic grasping takes on fundamental importance. In this work, the task of object grasping has been addressed by defining a brand new vision-based method called occupation channel. The method allows to estimate the affordance score of each grasping point of the objects, choosing the best object to be picked up avoiding collisions. Furthermore, the occupation channel method is integrated through a dual pipeline, CAD-based and CAD-less. These pipelines are composed by Deep Learning and Computer Vision methods capable of solving the problems concerning not only the object grasping but also instance segmentation and 6D pose estimation. In particular, the proposed pipelines deal with intelligent grasping in different scenarios, CAD-based scenarios in case the 3D CAD models are available allowing to have a deep knowledge of the specific use case; and CAD-less scenarios in which it is necessary to exploit the zero-shot generalization ability of the models to generalize on unknown objects. The results obtained from the several robotic grasping experiments finally demonstrate the effectiveness of the proposed occupation channel method, being able to solve cluttered and no-cluttered environment, reporting grasping rates of 98% in this last case and 81% in cluttered scene.