Riassunto analitico
Doxee, è un’ azienda high-tech multinazionale leader nell’offerta di prodotti in ambito Customer Communications Management (CCM), Digital Customer Experience e Dematerializzazione. Si pone l’obiettivo di implementare nella propria infrastruttura Headlight di un framework per ottimizzare e monitorare le prestazioni e i costi per il processing layer di Headlight per il caso d’uso della Business Intelligence. Questo comporta l’analisi dei log infrastrutturali e delle metriche applicative per identificarne le aree di miglioramento dell’infrastruttura di elaborazione dati basata su AWS Glue.
Il progetto di questo elaborato consiste nella creazione di un’infrastruttura a supporto delle decisioni relative a politiche di billing per l’architettura Headlight, ad oggi mancante.
Tali politiche si riferiscono al calcolo e alla ripartizione del costo dell’architettura.
L’obiettivo del progetto è quindi fornire indicazioni utili per migliorare l'efficienza e ridurre i costi dell’infrastruttura di elaborazione, oltre a suddividere il costo dell'infrastruttura su metriche di business come il numero di documenti elaborati e la tipologia di clienti. Migliorare l’efficienza e ridurre i costi significa trovare la configurazione ottimale delle unità di elaborazione dei dati (DPU) in relazione al costo, tempo di esecuzione e numero di elementi processati. Questi dati vengono poi rappresentati mediante grafici per facilitarne la lettura e la comprensione
Per rispondere a queste necessità sono state condotte analisi relative ai componenti dell’infrastruttura di Headlight per poter individuare i processi principali e capire quali informazioni possono essere estratte.
Il contesto considerato per lo sviluppo è Amazon Web Services, cioè una piattaforma che offre servizi di cloud computing, elaborazione e distribuzione di contenuti.
L’infrastruttura del progetto è composta da un Glue Job che elabora i log generati dai Glue Job di Headlight per ottenere informazioni relative al tempo di esecuzione, al numero di elementi processati, il cliente servito e alla configurazione del Glue Job. Utilizzando questi dati per popolare il database di riferimento.
Per ottener tali informazioni è stato necessario modificare il codice di esecuzione dei Glue Job presenti nell’infrastruttura Headlight per stampare questi dati nei loro log.
Il database, popolato dal Glue Job, che è un servizio di elaborazione dei dati serverless che esegue codice in risposta a eventi e gestisce automaticamente le risorse di elaborazione richieste da tale codice. Il database è stato interrogato da Tableau, un software di Business Intelligent e data visualization che permette di analizzare, visualizzare e condividere dati in modo intuitivo e interattivo. Tableua è stato utilizzato per la creazione di grafici che mostreranno diverse informazioni, tra cui il costo giornaliero di tutti i job presenti in Headlight e il costo mensile per cliente.
|
Abstract
Doxee, is a leading multinational high-tech company offering products in the areas of Customer Communications Management (CCM), Digital Customer Experience and Dematerialisation. It aims to implement a framework in its Headlight infrastructure to optimise and monitor the performance and cost of the Headlight processing layer for the Business Intelligence use case. This involves analysing infrastructure logs and application metrics to identify areas for improvement in the AWS Glue-based data processing infrastructure.
The project of this paper is to create a decision support infrastructure for billing policies for the Headlight architecture, which is currently lacking.
These policies relate to the calculation and allocation of the cost of the architecture.
The objective of the project is therefore to provide guidance to improve efficiency and reduce the cost of the processing infrastructure, as well as to allocate the cost of the infrastructure on business metrics such as the number of documents processed and the type of customers. Improving efficiency and reducing costs means finding the optimal configuration of data processing units (DPUs) in relation to cost, execution time and number of items processed. This data is then represented by means of graphs to make it easier to read and understand.
In order to meet these needs, analyses were conducted on the components of Headlight's infrastructure in order to identify the main processes and understand what information can be extracted.
The context considered for the development is Amazon Web Services, i.e. a platform offering cloud computing, processing and content distribution services.
The infrastructure of the project consists of a Glue Job that processes the logs generated by Headlight's Glue Jobs to obtain information regarding the execution time, the number of items processed, the client served and the configuration of the Glue Job. Using this data to populate the reference database.
To obtain this information, it was necessary to modify the execution code of the Glue Jobs in the Headlight infrastructure to print this data in their logs.
The database was populated by the Glue Job, which is a serverless data processing service that executes code in response to events and automatically manages the processing resources required by that code. The database was queried by Tableau, a business intelligence and data visualisation software that enables intuitive and interactive data analysis, visualisation and sharing. Tableua was used to create graphs showing various information, including the daily cost of all jobs in Headlight and the monthly cost per customer.
|
