• Generative AI
• Knowledge Graph
• Large Language Model
• Multi-agent system
• RAG

Contesto: Le Large Language Models (LLMs) sono una popolare sotto categoria dell'Intelligenza Artificiale Generativa (GenAI). Recenti ricerche sottolineano un interesse crescente nella relazione complementare tra LLMs e Knowledge Graphs (KGs) per la risoluzione di svariati compiti. Per compiti molto complessi, una LLM singola non è sempre ottimale e può richiedere una suddivisione in sotto-compiti e un flusso di lavoro più simile a quello umano. Questo ha portato all'adozione di framework multi agenti LLM-based. L'utilizzo di KGs e LLMs e la loro intersezione nel sistemi multi-agente è però un argomento recente e gli studi disponibili sono quindi limitati. Per eseguire compiti particolari, le tecniche di Retriaval Augmented Generation (RAG) possono essere sfruttate dagli agenti per estrapolare rilevanti informazioni dai KGs. Altri compiti richiedono l'utilizzo delle abilità generative di agenti LLM-based accoppiati a chiamate di funzione pre-definite per l'aggiornamento del contenuto di un KG. Questo sottolinea il bisogno di esplorare le possibilità sulla combinazione di KGs e LLMs per la risoluzione di compiti in sistemi multi-agente e la valutazione delle performance su diversi scenari.
Obiettivo: Nella nostra tesi vogliamo esplorare l'integrazione deglle LLMs con i KGs usando un approccio multi-agente, sia per estrarre la conoscenza delle LLMs con il recupero d'informazioni dal KGs che per creare del contenuto nella forma di KGs tramite l'utilizzo delle LLMs stesse. In breve, la nostra tesi si focalizza sull'utilizzo e la generazione di KGs come risorse d'informazioni tramite l'uso di multipli agenti cooperativi con l'obiettivo di risolvere svariati compiti.
Metodo: Forniamo un flusso di lavoro generale per un sistema multi-agente che usa agenti non-LLM e LLM-powered che lavorano con i KGs per risolvere compiti di varia complessità. Alcuni agenti sono specializzati con tecniche RAG, abilitando alle LLMs l'accesso a diversi tipi di conoscenza esterna, inclusi i KGs. In aggiunta, investighiamo con l'aiuto degli agenti la generazione di conoscenza in formato di grafo.
Risultati: Costruiamo, rifiniamo e valutiamo la nostra soluzione su due casi d'uso, uno è un sistema di raccomandazione per film e l'altro revisiona articoli scientifici. I nostri ritrovamenti mostrano che la combinazione di KGs e LLMs costruiti in un approccio multi-agente può abilitare un management più autonomo ed efficiente dei KGs. Questo li rende più accessibili ad utenti più o meno esperti, nonostante il bisogno di miglioramenti per raggiungere risultati migliori.

Context: Large Language Models (LLMs) are a highly popular subfield of Generative Artificial Intelligence (GenAI). Current research highlights a growing interest in the complementary relationship between LLMs and Knowledge Graphs (KGs), to solve various tasks. For more complex tasks, one LLM alone is not always optimal and may require a more human-like workflow and decomposed approach, leading to the adoption of LLM-based multi-agent frameworks. However, the utilization of KGs and LLMs and their intersection in multi-agent systems is an emerging topic with limited research available. To perform particular tasks, Retrieval Augmented Generation (RAG) can be employed by agents to extract relevant information from the KGs. Other tasks require employing the generative abilities of LLM-based agents paired with pre-defined call functions to update KG content. This highlights a need to explore the possibilities of combining KGs and LLMs when solving tasks in multi-agent systems and evaluate the performance under different scenarios. Goal: In our thesis, we want to explore the integration of LLMs with KGs using a multi-agent approach, both by extending the knowledge of LLMs by information retrieval from the KGs and also by creating content in the form of KGs through the use of LLMs. In short, our thesis will focus on the utilization and generation of KGs as information sources through the use of multiple cooperating agents with the goal of solving various tasks. Method: We provide a general workflow for a multi-agent system that uses non-LLM and LLM-powered agents working with KGs to solve tasks of varying complexity. Some agents are specialized with RAG techniques, enabling the LLMs to have access to different types of external knowledge, including KGs. Additionally, we also investigate the generation of knowledge in graph format with the help of agents. Results: We build, refine and evaluate our solution on two use cases, one being a movie recommendation system and another where the system aims to review scientific papers. Our findings show that the combination of KGs and LLMs built in a multi-agent manner can enable more efficient and autonomous management of KGs, making them accessible to both expert and non-expert users, despite the need for improvements to achieve better results.