Riassunto analitico
I Large Language Models sono sistemi di intelligenza artificiale generativa in grado di comprendere e generare il linguaggio naturale umano. Gli LLM possono essere applicati in molti campi della conoscenza e adattati a numerosi casi d'uso. Possono semplificare un'attività lavorativa, migliorare l'utilizzo di alcuni servizi al cliente e assistere le persone nella ricerca di soluzioni innovative a problemi complessi.
In questa tesi viene presentata una panoramica completa dell'architettura LLM, comprese le metodologie di utilizzo e i potenziali rischi. Successivamente si individua la presenza della lingua italiana nella ricerca LLM e le difficoltà nella creazione di modelli italiani. La creazione di dataset di addestramento adeguati richiede tempo e risorse significativi. A causa della mancanza di dataset italiani curati, la maggior parte dei modelli disponibili vengono addestrati su soluzioni alternative, come le traduzioni automatiche di dataset esistenti. Tuttavia, se confrontati con i modelli linguistici più diffusi, gli LLM italiani presentano prestazioni inferiori.
Questa tesi si concentra sulla revisione e sull'analisi comparativa di 109 potenziali modelli di Fill-Mask e Question Answering per la lingua italiana. Tali modelli sono stati identificati su diverse piattaforme e repository (come Scopus, Hugging Face e GitHub) e testati con un metodo a due fasi progettato per valutare se un modello è in grado di comprendere ed elaborare la lingua italiana. Dai risultati di quei test emerge che sono 92 i modelli validati per la lingua Italiana. Infine, 32 modelli italiani sono stati valutati su un caso d'uso specifico, ovvero l'estrazione di eventi da articoli di cronaca nera. La valutazione di un insieme di 30 notizie rivela l'inadeguatezza dei modelli Fill-Mask per questo compito, in contrasto con gli output relativamente accurati generati dai modelli Question Answering.
|
Abstract
Large Language Models are generative AI systems capable of understanding and generating human natural language. LLMs can be applied across many fields of knowledge and adapted to plenty of use cases. They can simplify a work task, improve the use of some customer services and assist people in finding innovative solutions to complex problems.
In this thesis, a comprehensive overview of the LLMs architecture is presented, including utilization methodologies and potential risks. Subsequently, the presence of the Italian language in LLM research and the difficulties in creating Italian models are identified.
Building adequate training datasets necessitates significant time and resources. Due to the lack of curated Italian datasets, most available models are trained on alternative solutions, such as machine translations of existing datasets. However, if compared to popular language models, such Italian LLMs present inferior performances.
This thesis focuses on the review and comparative analyses of 109 potential Fill-Mask and Question Answering models for the Italian language. Those models have been identified on different platforms and repositories (such as Scopus, Hugging Face and GitHub) and tested with a designed two-phase method to assess if a model is able to understand and elaborate on the Italian language. From the results of those tests, it emerges that there are 92 Italian-validated models.
Lastly, 32 Italian models have been evaluated on a specific use case, i.e. the event extraction from crime news articles. The evaluation of a set of 30 news reveals the inadequacy of Fill-Mask models for this task, contrasting with the relatively accurate outputs generated by Question Answering models.
|