Riassunto analitico
I modelli di machine learning vengono valutati principalmente in base alle prestazioni, a volte vengono persino utilizzati senza sapere come utilizzano i dati per fare previsioni. Pertanto, capire come un modello utilizza i dati per predire, al di là di un'analisi delle prestazioni, ci consente di scoprire se si concentra sui dati più significativi, ciò è importante per valutare la qualità e l'affidabilità. Inoltre, ogni modello acquisisce conoscenza durante la fase di training sui dati, questa può essere utilizzata per spiegare il suo comportamento ed avere intuizioni.
Il comportamento dei modelli DL è difficile da spiegare anche su un singolo esempio di dati, sonopresenti strumenti di spiegazione che ci permettono di conoscere, per un singolo esempio, l'impatto dei valori di input sul punteggio di previsione di qualsiasi modello attraverso un'analisi perturbativa. Propongo di generare una grande quantità di spiegazioni locali e raggrupparle per elaborare una spiegazione più ampia e profonda. È possibile visualizzare e aggregare le spiegazioni da diversi punti di vista, trovare correlazioni frequenti tra valori di input e output e verificare che il modello utilizzi i dati in modo razionale.
Pertanto, propongo di combinare uno strumento di spiegazione locale e tecniche di clustering per individuare sotto comportamenti che descrivono il modello. Gruppi di spiegazioni simili evidenziano comportamenti distinti del modello con qualità diverse, aiutando a stabilire la fiducia.
Infine, un'analisi separata del comportamento di questi sotto-modelli ci consente di trovare punti di forza e di debolezza del modello e di comprendere il comportamento globale in tutte le sue sottoparti visibili.
Segue l'analisi del comportamento di Magellan e DeepMatcher, due modelli allo stato dell'arte per il problema di Entity Resolution che utilizzano rispettivamente Machine Learning e Deep Learning. Il raggruppamento delle spiegazioni di questi modelli mostra intuizioni e risultati interessanti, che saranno discussi.
|
Abstract
Machine learning models are primarily evaluated by performance, and sometimes they are used without knowing how they utilize data to make predictions.
Therefore, understanding how a model uses data to predict, beyond a performance analysis, allows us to find out if it focuses on the most significant piece of data, that is important for assessing quality and reliability. Moreover, every model acquires knowledge from data during the training, which can be used to explain its behaviour and extract insights.
The behavior of DL models is hard to explain even on a single data example, there are explanation tools that, for a single example, allows us to know the impact of the input values over the prediction score of any model through a perturbation analysis. I propose to compute a large number of local explanations and cluster them to refine a wider and deeper explanation. It is possible to visualize and aggregate the explanations from different points of view, find frequent correlations between input values and output, and verify that the model uses the data rationally.
Therefore, I propose to combine a local explanation tool and clustering techniques to spot templates that describe the defined model. Thus, clusters of similar explanations highlight distinct behaviors of the model with different qualities, this division helps to establish trust.
Finally, a separate analysis of these template behavior allows us to find the strengths and the weaknesses of the model and understand the global behavior in all its visible sub-part.
It follows an analysis of the behavior of Magellan and DeepMatcher, the state of the art for the Entity Matching problem which use Machine Learning and Deep Learning respectively. The clustering of the explanations of these models shows interesting insights and results, which will be discussed.
|
