Datenqualität
Datenqualität ist der Grad, in dem Daten für ihren vorgesehenen Zweck geeignet sind, meist gemessen anhand von Dimensionen wie Genauigkeit, Vollständigkeit, Konsistenz, Aktualität, Gültigkeit und Eindeutigkeit.
Was ist Datenqualität?
Qualität wird an einem Verwendungszweck gemessen, daher kann dieselbe Tabelle für eine Entscheidung gut genug und für eine andere unbrauchbar sein. Eine Kundentabelle, in der 95 % der Postleitzahlen ausgefüllt sind, mag für das regionale Vertriebsreporting genügen und für den Druck von Versandetiketten nutzlos sein.
Deshalb formulieren reife Teams Qualität als explizite Regeln mit Zielwerten, etwa „order_id ist eindeutig“ oder „Bestellungen sind bis 06:00 Uhr geladen“, und messen die Erfolgsquote pro Tabelle im Zeitverlauf. Eine Zahl, deren Entwicklung Sie verfolgen können, schlägt ein Adjektiv wie „sauber“.
Die andere Hälfte ist die Verantwortlichkeit. Jeder wichtige Datensatz braucht eine namentlich benannte Person, die die Zielwerte festlegt, Warnmeldungen erhält und Fehler behebt oder eskaliert, meist im Rahmen von Data Stewardship. Ohne sie werden Tests rot, und nichts passiert.
Welche Dimensionen der Datenqualität gibt es, und wie werden sie gemessen?
Jede Dimension wird erst nützlich, wenn sie eine Formel und einen Schwellenwert hat.
Vollständigkeit: Nicht-Null-Werte geteilt durch die Gesamtzahl der Zeilen für ein Pflichtfeld.
Eindeutigkeit: eindeutige Schlüssel geteilt durch Zeilen; alles unter 1,0 bedeutet Duplikate.
Gültigkeit: Zeilen, die eine Format- oder Bereichsregel erfüllen, etwa ein gültiges E-Mail-Muster, geteilt durch Zeilen.
Konsistenz: Anteil der Datensätze, deren Werte über Systeme hinweg übereinstimmen, zum Beispiel der Status im CRM gegenüber dem Status in der Abrechnung.
Aktualität: Zeit seit dem letzten erfolgreichen Ladevorgang im Vergleich zum vereinbarten Aktualitätsziel.
Genauigkeit: Anteil einer Stichprobe, der mit einem verifizierten realen Wert übereinstimmt, meist von Hand geprüft.
Wie sieht Arbeit an der Datenqualität in der Praxis aus?
Praktische Qualitätsarbeit bedeutet automatisierte Tests für die Tabellen, die Entscheidungen speisen, mit Warnmeldungen, die einen namentlich benannten Owner erreichen. Nehmen wir einen Abo-Box-Anbieter mit 80 Mitarbeitenden, dessen Churn-Dashboard gelegentlich unmögliche Ausschläge zeigt.
Der Analytics Engineer ergänzt dbt-Tests: not_null und unique auf subscription_id, accepted_values auf status und relationships zur Kundentabelle.
Eine Aktualitätsprüfung schlägt fehl, wenn die Abrechnungsdaten älter als sechs Stunden sind.
Fehlschläge werden in einem Slack-Channel gepostet, mit Markierung des Tabellen-Owners.
Eine wöchentliche Scorecard zeigt die Erfolgsquoten pro Domäne.
Angenommen, die Ausschläge gehen auf doppelte Zeilen aus einer wiederholten Synchronisierung zurück; der Eindeutigkeitstest stoppt sie nun, bevor das Dashboard aktualisiert wird.
Die Scorecard verändert auch die Gespräche mit den Quellteams: Die Abrechnung kann sehen, dass ihr Aktualitätsziel in diesem Monat dreimal verfehlt wurde, und warum.
Was sind häufige Fehler in Datenqualitätsprogrammen?
Der häufigste Fehler ist, zu messen, was leicht zu testen ist, statt dessen, was Entscheidungen beeinträchtigt. Null-Prüfungen auf jeder Spalte erzeugen eine Flut von Warnmeldungen, während der eine Join, der den Umsatz doppelt zählt, ungetestet bleibt.
Überall 100 % anstreben, obwohl 99 % für die Marketing-Attribution in Ordnung sein mögen, für die Rechnungsstellung aber nicht.
Kein Owner pro Datensatz, sodass Warnmeldungen gesehen und ignoriert werden.
Nur im Warehouse testen, obwohl der Fehler in einem Webformular oder einem manuellen Import entsteht.
Beginnen Sie mit den wenigen Tabellen hinter Umsatz, Kundenzahlen und Vorstandskennzahlen und erweitern Sie dann die Abdeckung.
Es hilft auch, Fehlern einen Preis zuzuordnen. Wenn eine doppelte Bestellung den Umsatz in einem Vorstandsbericht aufbläht oder ein falsches E-Mail-Feld dazu führt, dass eine Kampagne 5.000 Kunden verfehlt, schreibt sich der Business Case für Tests von selbst; abstrakte „Qualitätswerte“ gewinnen selten Budget.
Welche Tools werden zur Steuerung der Datenqualität eingesetzt?
Regelbasierte Test-Tools prüfen, was Sie erwarten; Observability-Tools erkennen, woran Sie beim Testen nicht gedacht haben. dbt-Tests, Great Expectations und Soda decken explizite Regeln ab. Monte Carlo, Anomalo und ähnliche Observability-Plattformen lernen normale Muster bei Volumen, Schema und Verteilung und melden Anomalien.
Der fortlaufende Prozess mit Ownern, Zielwerten und Eskalation ist das Datenqualitätsmanagement; die eigentliche Korrekturarbeit ist die Datenbereinigung, und die Rückverfolgung eines fehlerhaften Werts zu seiner Quelle stützt sich auf Data Lineage.
Datenqualitätstests vs. Data Observability
Regelbasierte Tests | Data Observability | |
|---|---|---|
Erkennt | Bekannte Fehlerbedingungen, für die Sie Regeln geschrieben haben | Unerwartete Änderungen bei Volumen, Schema oder Verteilung |
Einrichtung | Tests pro Tabelle oder Spalte schreiben | Verbinden und Baselines lernen lassen |
Beispielprüfung | order_id muss eindeutig sein | Zeilenanzahl liegt weit unter dem Normalwert |
Typische Tools | dbt-Tests, Great Expectations, Soda | Monte Carlo, Anomalo |
Schwäche | Übersieht, was niemand vorhergesehen hat | Kann ohne Feinabstimmung viele Fehlalarme erzeugen |
Wie verbessert VIZIO AI die Datenqualität?
VIZIO AI behandelt Qualität als Modellierungsproblem: Formate einmal zentral abgleichen, damit jedes Team dieselben Werte liest. Für eine US-amerikanische E-Commerce-Marke für Damenmode nutzte das DX Studio Precog, um Marketing-, Vertriebs- und Preisdaten aufzunehmen, und baute ein konsistentes Datenmodell, das Formate über Systeme hinweg abglich. Die Datengenauigkeit verbesserte sich um 28 %, und operative Entscheidungen fielen 32 % schneller.
Für ein globales Unternehmen für Kreditauskünfte und Risikoanalysen sparte der Ersatz doppelter Excel-Arbeitsblätter durch ein Power-Query-ETL in Power BI jährlich mehr als 1.500 Stunden manuelles Reporting ein. Wo Sie anfangen sollten: Formulieren Sie drei Qualitätsregeln für die Tabelle hinter Ihrer meistbeachteten KPI und führen Sie sie täglich aus.
Datenqualität in Fallstudien von VIZIO AI
- Real-Time Fashion Analytics ›Ein konsistentes Datenmodell, das Marketing-, Vertriebs- und Preisformate abgleicht, verbesserte die Datengenauigkeit um 28 %.
- Marketing Performance and Workforce Analysis Dashboard ›Der Ersatz doppelter Excel-Arbeitsblätter durch ein Power-Query-ETL sparte jährlich mehr als 1.500 Stunden manuelles Reporting ein.