Riassunto analitico
I veicoli ibridi (HEV) hanno guadagnato notevole attenzione negli ultimi anni come soluzione efficace per ridurre il consumo di carburante e le emissioni. Raggiungere un controllo ottimale dei componenti del powertrain in un HEV è cruciale per massimizzare l'efficienza energetica e garantire un'esperienza di guida senza soluzione di continuità. Tuttavia, progettare strategie di controllo per gli HEV è un compito complesso a causa delle intricate interazioni tra vari componenti e della necessità di adattarsi a diverse condizioni di guida.
Questa tesi si concentra sull'indagare sull'applicabilità delle tecniche di reinforcement learning (RL) per il controllo dei veicoli HEV utilizzando un modello altamente dettagliato del powertrain. Il reinforcement learning, una sottocategoria dell'apprendimento automatico, offre un approccio promettente per affrontare le sfide di controllo negli HEV, consentendo a un agente di apprendere politiche di controllo ottimali attraverso interazioni con l'ambiente. Sfruttare gli algoritmi RL nel contesto di un modello altamente dettagliato del powertrain consente di comprendere in modo completo il comportamento dinamico del veicolo e facilita lo sviluppo di strategie di controllo più accurate.
La metodologia di ricerca comprende diverse fasi chiave. In primo luogo, viene condotta una vasta revisione della letteratura per esaminare le strategie di controllo all'avanguardia per gli HEV e le applicazioni di RL nel settore automobilistico. Questa revisione serve da base per progettare un nuovo quadro di controllo dei veicoli basato su RL che può gestire efficacemente le complessità del modello altamente dettagliato del powertrain.
Per valutare il quadro proposto, viene sviluppato un ambiente di simulazione semplificato che incorpora un modello del powertrain che rappresenta il comportamento dei componenti dell'HEV, tra cui il motore, il motore elettrico, la batteria e la dinamica del veicolo. L'ambiente di simulazione tiene conto di vari scenari di guida, tra cui la guida urbana, la crociera autostradale e le manovre aggressive, per valutare le prestazioni dell'agente RL.
Tutti i risultati ottenuti sul modello semplificato vengono applicati a un ambiente di simulazione ad alta fedeltà, integrando un modello dettagliato del powertrain che cattura accuratamente la dinamica e le interazioni del motore, del motore elettrico, della batteria e di altri componenti rilevanti.
L'agente RL viene addestrato utilizzando una combinazione di algoritmi off-policy e on-policy, consentendogli di apprendere politiche di controllo ottimali basate su segnali di ricompensa legati all'efficienza energetica, alle prestazioni del veicolo e al comfort del conducente. Il processo di addestramento comporta un'estensiva esplorazione per scoprire strategie di controllo efficaci che si adattano a diverse condizioni di guida.
Le prestazioni del quadro di controllo dei veicoli basato su RL vengono valutate in modo approfondito e confrontate con le strategie di controllo basate su regole tradizionali e altre metodologie all'avanguardia. Vengono analizzate e confrontate metriche chiave delle prestazioni, tra cui l'efficienza del carburante, le emissioni e la dinamica del veicolo, in diversi scenari di guida e condizioni ambientali.
I risultati di questo studio contribuiscono a far avanzare la comprensione dell'applicabilità delle tecniche RL per il controllo dei veicoli HEV su modelli altamente dettagliati del powertrain. Le scoperte dimostrano il potenziale di RL nell'ottimizzare le strategie di controllo del powertrain, portando a un miglioramento dell'efficienza energetica e a una riduzione dell'impatto ambientale. Le conoscenze acquisite da questa ricerca forniscono una base per lo sviluppo di sistemi di controllo avanzati per futuri HEV e supportano gli obiettivi più ampi della mobilità sostenibile.
|
Abstract
Hybrid Electric Vehicles (HEVs) have gained significant attention in recent years
as an effective solution for reducing fuel consumption and emissions. Achieving optimal control
of the powertrain components in an HEV is crucial for maximizing energy efficiency and providing
a seamless driving experience. However, designing control strategies for HEVs is a complex task
due to the intricate interactions among various components and the need to adapt to different
driving conditions.
This thesis focuses on investigating the applicability of reinforcement learning (RL) techniques
for HEV vehicle control using a highly detailed powertrain model. RL, a subset of machine learning,
offers a promising approach to address the control challenges in HEVs by enabling an agent to
learn optimal control policies through interactions with the environment. Leveraging RL algorithms
in the context of a highly detailed powertrain model allows for a comprehensive understanding of
the dynamic behavior of the vehicle and facilitates the development of more accurate control
strategies.
The research methodology encompasses several key stages. Firstly, an extensive literature review
is conducted to examine the state-of-the-art control strategies for HEVs and RL applications
in the automotive domain. This review serves as the foundation for designing a novel RL-based
vehicle control framework that can effectively handle the complexities of the highly detailed
powertrain model.
To evaluate the proposed framework, a simplified simulation environment is developed,
incorporating a powertrain model that represents the behavior of the HEV components,
including the engine, electric motor, battery, and vehicle dynamic.
The simulation environment considers various driving scenarios, including urban driving,
highway cruising, and aggressive maneuvers, to assess the performance of the RL agent.
All the results obtained on the simplified model are applied to an high-fidelity simulation
environment, integrating a detailed powertrain model that accurately captures the
dynamics and interactions of the engine, motor, battery, and other relevant components.
The RL agent is trained using a combination of off-policy and on-policy algorithms, enabling it
to learn optimal control policies based on reward signals tied to energy efficiency,
vehicle performance, and driver comfort. The training process involves extensive exploration
and exploitation to discover effective control strategies that adapt to different driving
conditions.
The performance of the RL-based vehicle control framework is extensively evaluated and compared
with traditional rule-based control strategies and other state-of-the-art methods.
Key performance metrics, including fuel economy, emissions and vehicle dynamics,
are analyzed and compared across different driving scenarios and environmental conditions.
The results of this study contribute to advancing the understanding of the applicability of
RL techniques for HEV vehicle control on highly detailed powertrain models. The findings
demonstrate the potential of RL in optimizing powertrain control strategies, leading to improved
energy efficiency and reduced environmental impact. The insights gained from this research provide
a foundation for the development of advanced control systems for future HEVs and support the
broader goals of sustainable transportation.
|
