• Actor-Critic
• Filling Machine
• Process Control
• Reinforcement
• Simulated Env

Il controllo di processo e' la disciplina che applica la teoria del controllo automatico ai processi industriali in modo da mantenere e massimizzare il livello desiderato di produttività rendendo il processo economicamente sostenibile. Il nostro progetto si focalizza sul controllo di una macchina riempitrice con l'obiettivo di mantenere il livello di fluido attorno a un riferimento fissato. Oggigiorno gli avanzati controllori basati su modelli sono ben consolidati nelle industrie di processo ma una performance eccellente richiede manutenzione regolare, altrimenti, variazioni delle caratteristiche del processo o cambiamenti del riferimento possono causare un degrado, richiedendo quindi una reidentificazione del modello che tipicamente implica l'iniezione di eccitazioni esterne provocando un' onerosa interruzione della produzione. Sfruttando i recenti progressi nel Deep Reinforcement Learning e la disponibilita' di simulatori sempre piu' realistici, l'obiettivo della tesi e' studiare, analizzare e implementare una nuova tecnica di controllo di processo dove la policy di controllo e' imparata in una configurazione model-free. Il nostro contributo e' molteplice e include: lo sviluppo di diversi algoritmi di Reinforcement Learning in modo da definire un buon agente in grado di agire come controllore, un'analisi del livello di maturita' del simulatore Simcenter Amesim e la creazione di un piano per l'industria 4.0 su come affrontare tali tipologie di problemi suggerendo le migliori tecniche da applicare. Il controllore di Reinforcement Learning piu' promettente e' basato sull' algoritmo Soft Actor Critic e predicendo un valore residuo rispetto all'azione precedente e' possibile ottenere un controllo regolare evitando un elevato consumo energetico.
Risultati sperimentali mostrano l'efficacia dell'approccio proposto raggiungendo risultati migliori in termini di stabilità del livello su alcune configurazioni dell'ambiente simulato paragonato al controllore PID. Tali risultati aprono a ulteriori sviluppi rendendo questo approccio non solo una soluzione alternativa alle metodologie classiche ma anche una metrica di comparazione per aiutare gli esperti del settore a migliorare le esistenti soluzioni basate su modelli.

Process control is the discipline which applies automatic control theory to indus- trial processes in order to maintain and maximize the desired level of productivity making the process economically sustainable. Our project is focused on the control of a filling machine with the aim to maintain fluid level around a fixed set-point. Nowadays advanced model-based controllers are well established in process indus- tries but excellent performance requires regular maintenance, otherwise, drift in process characteristics or set-point changes can cause degradation, thus requiring a model re-identification which typically involves the injection of external excita- tions introducing an expensive interruption to production. By leveraging recent advances in Deep Reinforcement Learning and the availability of increasingly re- alistic simulators, objective of the thesis is to study, analyze, and implement a new process control technique where the control policy is learned in a model-free setting. Our contribution is manifold and includes: the development of several Reinforcement Learning algorithms to define a good agent able to act as a con- troller, a maturity level analysis of Simcenter Amesim simulator and the creation of a blueprint for Industry 4.0 on how to tackle such kinds of problems by sug- gesting the best techniques to apply. The most promising Reinforcement Learning controller is based on Soft Actor Critic algorithm and by predicting a residual value with respect to the previous action it is possible to obtain a smooth control and avoid high power consumption. Experimental results show the effectiveness of the proposed approach reaching better results in terms of level stability on some simulated environment settings compared with a PID controller. Such results open up to further developments making this approach not only an alternative solution to classical methodologies but also a comparison metric to help domain knowledge improve existing model-based solutions.