Data Quality Management (DQM): cos’è e come implementarlo

Con la moltiplicazione di canali, sistemi IT e touchpoint le organizzazioni raccolgono sempre più dati relativi a clienti, a prodotti e agli stessi processi di produzione, pertanto la gestione della qualità dei dati diventa ogni giorno più strategica e cruciale per il business.
Il Data Quality Management consiste in un insieme di processi e tecnologie il cui obiettivo è migliorare la qualità dei dati utilizzati per le analisi e il processo decisionale in ottica data-driven.

Il Data Quality Management è l’insieme di pratiche intraprese per mantenere dati e informazioni di alta qualità durante tutto il processo di trattamento dei dati, dall’acquisizione o data ingestion, all’implementazione della data architecture, fino alla loro diffusione e integrazione con altri sistemi e alla fase di analisi degli stessi.

La gestione della data quality ha lo scopo di aiutare le organizzazioni a tracciare gli errori nei loro dati e nei processi relativi, in modo da impostare le necessarie azioni correttive e preventive in modo da ridurre il rischio di futuri errori. Il processo mira inoltre a valutare se i dati nei loro sistemi sono accurati per servire allo scopo previsto.

La qualità dei dati viene utilizzata per descrivere il grado in cui i dati sono accurati, completi, aggiornati e coerenti con le regole dei requisiti aziendali o con standard normativi condivisi.

Il data quality management è un processo essenziale per estrarre il reale valore dai dati aziendali, in quanto le organizzazioni hanno bisogno di dati di alta qualità di cui potersi fidare per prendere decisioni critiche ed essere realmente data-driven.

“La mancanza di fiducia nei dati impedisce alle organizzazioni di utilizzare i propri dati per prendere decisioni aziendali di grande impatto, causando inefficienza e, in definitiva, perdite finanziarie.”

La qualità dei dati è una parte importante dell'attuazione di un data governance framework e ha per le aziende vantaggi tangibili:

Ottimizzare il processo decisionale

Una buona gestione della qualità dei dati è alla base di tutte le iniziative aziendali, in quanto dati obsoleti o inaffidabili possono portare a errori e determinare decisioni sbagliate, per questo la definizione di un framework di data quality definito deve essere seguito da tutti i reparti aziendali.

Utilizzare in maniera più efficiente tutte le risorse

Dati di bassa qualità in un'organizzazione significa che le risorse, comprese le finanze, vengono utilizzate in modo inefficiente. Quando le aziende mantengono la qualità dei dati attraverso le pratiche DQM, le salva dallo spreco di risorse portando a risultati maggiori e riducendo i costi inutili.

Rispettare la compliance

Una data governance corretta richiede procedure e comunicazioni chiare, basate su una buona base dati e a livello di database le policy per uno stato di salute “accettabile” vengono appunto garantite dal data quality management.

Migliorare le lead per il business

Una gestione dei dati volta alla qualità è strettamente correlata al successo delle iniziative di marketing e all’identificazione di target clienti pertinenti e coerenti con gli obiettivi aziendali.

Scopri il Data Quality Management >

Per implementare un sistema di Data Quality Management efficiente sono necessarie una serie di misure propedeutiche e di processi condivisi dall’organizzazione:

Garantire la governance dei dati

La data governance è un insieme di processi, ruoli, standard e metriche che garantiscono che le organizzazioni utilizzino i dati in modo efficiente e sicuro. L'implementazione di un sistema di governance è un passaggio fondamentale per garantire la definizione di ruoli e responsabilità nella gestione della qualità dei dati.

Impostare un processo di data profiling

Il data profiling è il processo di monitoraggio e di pulizia dei dati che viene utilizzato per ottenere informazioni dettagliate sui dati esistenti, allo scopo di confrontarli con gli obiettivi di qualità, stabilendo quindi uno standard da raggiungere. Implica: 

• validare i dati disponibili rispetto ai propri metadati
• creare relazioni tra i dati e eseguire modelli statistici
• verificare i dati e definire rapporti di data quality

Il processo di data profiling stabilisce le tendenze che aiutano a scoprire ed esporre le incongruenze nei dati, per eventuali correzioni o aggiustamenti.

Definire regole di data quality

Avere delle regole di qualità è ovviamente il punto di partenza di ogni processo di Data Quality, dato che servono per rilevare e impedire ai dati compromessi di infettare la “salute” dell’intero set di dati. Con queste regole, definite in base agli obiettivi e i requisiti aziendali, è possibile correggere le incoerenze tra dati di valore.

Definire il data reporting

Un processo di rimozione e registrazione di tutti i dati compromettenti è cruciale per consentire un processo standard di applicazione delle regole sui dati. L’obiettivo è avere visibilità sullo stato dei dati in qualsiasi momento e in tempo reale ed è quindi necessario l’utilizzo di una soluzione di reporting online e automatizzata per segnalare lo stato di qualità e le eccezioni esistenti all’interno di una dashboard della qualità dei dati, in modo da gestirli e adottare strategie correttive.

Condividere un processo di data repair

Il processo di data repair è il processo per determinare il modo migliore per correggere i dati e il modo più efficiente in cui impostare una strategia correttiva e preventiva futura. In questo processo si identifica la causa principale che ha originato il difetto dei dati e si avvia un piano di vera e propria “bonifica”, che può prevedere anche una revisione o aggiornamento delle regole di data quality.

I KPI sulla qualità dei dati devono essere chiaramente definiti per fornire la base migliore e più solida per le analisi future e per monitorare l’efficacia degli interventi di miglioramento della qualità.

Queste metriche comprendono diversi aspetti della qualità, ovvero precisione, consistenza, completezza, integrità e tempestività, così come l’unicità dei dati.

Precisione

La precisione misura il grado di correttezza dei valori dei dati ed è fondamentale per la capacità di trarre conclusioni accurate dai dati. Indicherà se i dati sono privi di errori significativi.

Una metrica tipica per misurare l'accuratezza è il rapporto tra dati ed errori, che tiene traccia del numero di errori noti (come voci mancanti, incomplete o ridondanti) rispetto al set di dati.

Completezza

Questo KPI valuta se ci sono informazioni sufficienti a livello di tracciato dati per trarre delle conclusioni ed è soddisfatta quando tutto il tracciato dati è popolato. Una metrica di esempio in questo caso è il numero di valori vuoti all’interno di un set di dati

Consistenza

La consistenza o coerenza dei dati si focalizza su elementi di dati uniformi in diverse istanze di dati, ovvero specifica che due valori di dati estratti da set di dati separati non devono entrare in conflitto tra loro.

Integrità

Esprime il concetto di validazione dei dati allo scopo di garantire che i dati siano conformi alle procedure e policy interne oppure a normative specifiche.

Tempestività

La tempestività corrisponde all'aspettativa di disponibilità e accessibilità delle informazioni. In altre parole, misura il tempo che intercorre tra il momento in cui i dati sono attesi e il momento in cui sono prontamente disponibili per l'uso.

Il Data Quality Management è come anticipato parte del framework di Data Governance che in Lutech è un insieme di tecniche, ruoli e processi organizzativi volti a gestire in modo efficace le tematiche di conoscenza, qualità, sicurezza, accessibilità e proprietà dei dati aziendali.

Lutech Data Governance

L’approccio che Lutech propone relativamente all’avvio di progetti di introduzione o evoluzione della Data Governance è di tipo graduale, iterativo e «leggero», sia come impatto organizzativo che come introduzione di strumenti, con focus sui processi e non sui tool.

Il progetto è quindi affrontato in modo incrementale secondo le fasi seguenti:

• Assessment, in cui viene valutato il livello di data governance maturity del cliente per definire una roadmap
• Definizione degli Obiettivi e Ambito, vengono identificate quelle che sono le Persone, Processi e Tecnologie che dovranno essere attivati relativamente ai Pillar del Framework coinvolti  
• Esecuzione sui Pillar del Framework in Ambito, ovvero il Build e la Delivery dei business process, guidelines e soluzioni tecnologiche sulla base dei Pillar del Framework coinvolti nella iterazione, tra cui appunto la data quality
• Monitoraggio

Lutech ti guida nell’implementazione della Data Quality Management nella tua azienda, contattaci