Data Profiling
Data Profiling (Datenprofilierung) ist der Prozess, einen Datensatz zu scannen, um seine tatsächliche Struktur, seinen Inhalt und seine Qualität zu messen, etwa Null-Raten, eindeutige Werte, Wertebereiche und Formate, bevor sich jemand für Reporting, Migration oder Modellierung darauf verlässt.
Was ist Data Profiling?
Profiling ersetzt Annahmen über einen Datensatz durch Messungen. Laut Dokumentation enthält eine Spalte vielleicht US-Postleitzahlen; ein Profil zeigt, dass 4 % der Zeilen leer sind, 2 % nur vier Ziffern haben, weil eine führende Null verloren ging, und einige „N/A“ enthalten.
Es findet meist zu drei Zeitpunkten statt: wenn eine neue Quelle angebunden wird, vor einer Migration oder Zusammenführung und kontinuierlich als Teil des Monitorings. Es ist diagnostisch, nicht korrigierend: Profiling findet die Probleme, während Datenbereinigung und Korrekturen an der Pipeline sie beheben.
Das Ergebnis ist ein Profil: eine Zusammenfassung pro Spalte, die ein Engineer, Analyst oder fachlicher Owner in wenigen Minuten lesen kann. Sein eigentlicher Wert liegt in dem Gespräch, das es anstößt, etwa ob ein leerer Wert „unbekannt“ oder „nicht zutreffend“ bedeutet, was nur der Fachbereich beantworten kann.
Was misst ein Datenprofil?
Ein nützliches Profil prüft zunächst jede Spalte für sich und dann, wie Spalten und Tabellen zueinander in Beziehung stehen. Die Standardmessungen fallen in drei Gruppen.
Spaltenprofiling: Zeilenanzahl, Null-Rate (Null-Werte / Zeilen insgesamt), Anzahl eindeutiger Werte, Minimum, Maximum, Mittelwert, häufigste Werte und Verteilung der Zeichenkettenlängen.
Musterprofiling: Anteil der Werte, die erwarteten Formaten entsprechen, etwa einem E-Mail-Regex, ISO-Datumsangaben oder Telefonnummernmustern.
Spalten- und tabellenübergreifend: Schlüsselkandidaten (Spalten, die zu 100 % eindeutig sind), funktionale Abhängigkeiten (die Postleitzahl bestimmt den Bundesstaat) und verwaiste Fremdschlüssel, etwa Bestellungen, deren Kunden-ID nicht existiert.
Jede Messung wird deutlich nützlicher, sobald sie mit einem Schwellenwert oder dem Profil der Vorwoche verglichen wird, denn eine plötzliche Änderung ist oft das erste Anzeichen für ein defektes vorgelagertes System.
Wie sieht Data Profiling in der Praxis aus?
Nehmen wir einen regionalen Versicherungsmakler, der nach der Übernahme einer kleineren Agentur zwei CRMs zusammenführt. Bevor Felder gemappt werden, führt ein Data Engineer in einem Notebook ydata-profiling auf beiden Kundentabellen aus und geht die HTML-Berichte mit dem Leiter des operativen Geschäfts durch.
Angenommen, die Profile zeigen, dass das übernommene CRM Datumsangaben als Text in zwei Formaten speichert, dass 11 % seiner Telefonnummern keine Ländervorwahl haben und dass das Feld „Policentyp“ 37 verschiedene Werte aufweist, während das Haupt-CRM 8 hat. Die Kunden-E-Mail ist in einem System zu 98 % eindeutig, im anderen aber nur zu 85 %, sodass sie allein nicht als Schlüssel für die Zusammenführung dienen kann.
Erstellen Sie eine Mapping-Tabelle, die die 37 Policentypen auf 8 reduziert.
Standardisieren Sie Datums- und Telefonformate beim Laden.
Gleichen Sie Kunden anhand von E-Mail plus Geburtsdatum ab und leiten Sie mehrdeutige Treffer zur manuellen Prüfung weiter.
In diesem Beispiel vermeidet die Migration, dass am ersten Tag Tausende doppelter Kunden entstehen.
Wo liegen die Grenzen von Data Profiling?
Ein Profil zeigt Ihnen, wie die Daten aussehen, nicht ob sie richtig sind. Eine Umsatzspalte kann keine Null-Werte und einen plausiblen Wertebereich haben und trotzdem falsch sein, weil eine Währungsumrechnung doppelt angewendet wurde.
Blinde Flecken durch Stichproben: Das Profiling einer 1-%-Stichprobe kann seltene, aber kritische Fehler übersehen.
Einmalige Berichte: Ein Profil, das einmal vor dem Go-live erstellt wird, veraltet; planen Sie es regelmäßig ein oder machen Sie aus den Erkenntnissen Tests.
Datenschutzrisiken: Listen der häufigsten Werte können personenbezogene Daten offenlegen, daher sollten Sie einschränken, wer Profile von PII-Spalten sieht.
Rauschen: Das Profiling jeder Spalte jeder Tabelle erzeugt Berichte, die niemand liest; beginnen Sie mit den Spalten, die zentrale Kennzahlen bestimmen.
Welche Tools werden für Data Profiling verwendet?
Profiling ist in viele Tools integriert, daher hängt die Wahl davon ab, ob Sie Exploration, automatisierte Tests oder Monitoring brauchen.
Exploration: ydata-profiling (ehemals pandas-profiling) für Python, die Ansicht für Spaltenqualität und -verteilung von Power Query in Power BI.
Tests in Pipelines: Great Expectations, Soda, dbt-Tests, AWS Deequ für Spark.
Plattformen: Datenqualitäts- und Katalog-Suiten wie Informatica, Talend, Atlan und Collibra enthalten Profiling.
Profiling ist ein Baustein für das umfassendere Datenqualitätsmanagement und für ein formelles Daten-Audit, das auch Verantwortlichkeiten, Zugriffe und Compliance überprüft.
Data Profiling vs. Datenbereinigung
Data Profiling | Datenbereinigung | |
|---|---|---|
Zweck | Messen, wie die Daten aussehen | Fehler und Inkonsistenzen beheben |
Verändert die Daten? | Nein, nur lesend | Ja, korrigiert oder entfernt Datensätze |
Typisches Ergebnis | Statistiken, Verteilungen, Anomalielisten | Standardisierter, deduplizierter Datensatz |
Wann es läuft | Vor der Integration, danach regelmäßig | Nachdem Probleme erkannt wurden |
Beispiel-Tools | ydata-profiling, Great Expectations, Soda | dbt-Modelle, OpenRefine, Python-Skripte |
Wie nutzt VIZIO AI Data Profiling?
Die Fallstudien von VIZIO AI beschreiben Profiling nicht als eigenes Ergebnis, doch mehrere Projekte beginnen genau mit den Problemen, die Profiling aufdeckt: Duplikate und inkonsistente Formate in zusammengeführten Systemen. Für einen US-amerikanischen Anbieter von Hörakustik, der durch Übernahmen Altsysteme geerbt hatte, führte das DX Studio Patienten-, Geräte- und CRM-Daten zusammen, die unter doppelten Datensätzen und inkonsistentem Reporting gelitten hatten.
Diese saubere Grundlage speiste das KI-gestützte Dashboard zur Patientenbindung, das die Rückgabequote von Hörgeräten in den Pilotkliniken um 12–15 % senkte und den manuellen Reporting-Aufwand um 40 % verringerte. Für eine US-amerikanische Non-Profit-Organisation in der Jugendförderung reduzierte ein standardisierter Dateneingabeprozess in einem Dashboard für operative Effizienz Datenfehler um 30 %.
Wo Sie anfangen sollten: Profilieren Sie die eine Tabelle, von der Ihre wichtigste Kennzahl abhängt, und machen Sie aus den drei gravierendsten Befunden automatisierte Tests.
Data Profiling in Fallstudien von VIZIO AI
- Patient Retention Analytics ›Die Zusammenführung duplikatanfälliger Patienten-, Geräte- und CRM-Daten ermöglichte prädiktive Modelle, die die Rückgabequote von Hörgeräten in den Pilotkliniken um 12–15 % senkten.
- Operational Efficiency Enhancement ›Eine standardisierte Dateneingabe über alle Beratungsprogramme hinweg reduzierte Datenfehler um 30 % und sparte jährlich rund 2.000 Stunden für die Berichtserstellung.