Datentransformation
Datentransformation ist der Prozess, Daten aus ihrer Quellstruktur, ihrem Format oder ihren Werten in die Form zu überführen, die ein Zielsystem oder eine Analyse benötigt, durch Schritte wie Bereinigung, Typkonvertierung, Joins, Aggregation und Umformung.
Was ist Datentransformation?
Bei der Transformation werden aus Rohdatensätzen Geschäftsdefinitionen, etwa was als „aktiver Kunde“ oder „Nettoumsatz“ zählt. Sie findet entweder vor dem Laden statt, im klassischen ETL, oder nach dem Laden innerhalb des Warehouse, im ELT, dem vorherrschenden Muster bei Snowflake, BigQuery und Databricks.
Es ist sinnvoll, drei Ebenen zu unterscheiden. Strukturelle Änderungen verändern die Form: Joins, Pivots, Normalisierung. Änderungen auf Wertebene korrigieren den Inhalt: Typkonvertierung, Einheiten- und Währungsumrechnung.
Semantische Änderungen bilden Geschäftslogik ab. Die meisten Teams ordnen diese in Schichten an, üblicherweise Staging-, Intermediate- und Mart-Modelle.
Staging-Modelle nehmen eine leichte Eins-zu-eins-Bereinigung jeder Quelltabelle vor. Intermediate-Modelle kombinieren Quellen und wenden gemeinsame Logik an. Marts stellen finale Tabellen in einer Granularität bereit, die ein Dashboard oder das Finanzteam direkt nutzen kann, und sind die einzige Schicht, die Fachanwender abfragen sollten.
Was sind die gängigen Schritte der Datentransformation?
Fast jede Pipeline wiederholt dieselbe Handvoll Operationen, und jede davon sollte getestet werden.
Deduplizieren anhand eines stabilen Schlüssels, etwa Bestell-ID plus Positionsnummer.
Typen konvertieren und standardisieren sowie Zeitzonen, wobei Zeitstempel meist in UTC gespeichert werden.
Codes zuordnen zu Standards, zum Beispiel ISO-3166-Ländercodes und ISO-4217-Währungscodes.
Verknüpfen und anreichern mit Referenzdaten wie Produktkatalogen.
Aggregieren auf die Granularität, die Reports benötigen, etwa Tagesumsatz pro SKU.
Kennzahlen ableiten, zum Beispiel Bruttomarge = (Umsatz − Wareneinsatz) / Umsatz.
In dbt fangen die vier integrierten generischen Tests (unique, not_null, accepted_values und relationships) die meisten Fehler frühzeitig ab.
Wie sieht Datentransformation in der Praxis aus?
Der Prüfstein für eine gute Transformationsschicht ist, dass Finance und Marketing endlich dieselbe Umsatzzahl berichten. Nehmen wir einen Möbelhändler mit 70 Mitarbeitenden, der über Shopify und Amazon verkauft.
Fivetran lädt beide Quellen stündlich in Snowflake.
dbt-Staging-Modelle benennen Spalten um, konvertieren die Zeitstempel von Amazon und die Shop-Zeit-Zeitstempel von Shopify nach UTC und rechnen Preise in eine einheitliche Währung um.
Eine Lookup-Tabelle ordnet Amazon-ASINs internen SKUs zu.
Ein Intermediate-Modell vereint Bestellungen und zieht Rückerstattungen ab; ein Mart-Modell gibt den täglichen Nettoumsatz nach SKU und Kanal aus.
Angenommen, in der ersten Woche schlägt ein Eindeutigkeitstest fehl und deckt doppelte Amazon-Bestellpositionen auf, die die Umsatzreports aufgebläht hatten.
Nach der Korrektur gleicht das Finanzteam den Mart jeden Monat mit den Auszahlungen ab, statt die Zahlen in einer Tabellenkalkulation neu aufzubauen.
Was sind die Fallstricke der Datentransformation?
Die teuersten Transformationsfehler verlieren oder duplizieren Zeilen stillschweigend, statt einen Fehler auszulösen.
Inner Joins, die Zeilen verlieren: Bestellungen ohne passendes Produkt verschwinden aus dem Umsatz.
Fan-out-Joins: Ein Join auf eine Tabelle mit mehreren Zeilen pro Schlüssel vervielfacht die Summen.
Logik im BI-Tool: dieselbe Kennzahl, in drei Dashboards unterschiedlich definiert.
Überschreiben von Rohdaten: Ohne das Original lässt sich ein Logikfehler weder nachspielen noch beheben.
Für einmalige Fragen ist ein leichter Ansatz richtig; aufwendige Modellierung lohnt sich nur für wiederholt genutzte Kennzahlen. Der Abgleich der Zeilenanzahl zwischen Schichten ist ein günstiger Datenqualitäts-Check, der die meisten stillen Verluste aufdeckt.
Worin unterscheidet sich Datentransformation von Datenbereinigung und Datenintegration?
Bereinigung behebt Fehler, Integration führt Quellen zusammen, und Transformation formt Daten in das Modell um, das ein Anwendungsfall benötigt. Datenbereinigung entfernt fehlerhafte Werte; Datenintegration verbindet Systeme; Transformation umfasst etwas von beidem, konzentriert sich aber auf Struktur und Geschäftslogik, die ein Datenmodell dann formalisiert.
Die gängigsten Tools sind dbt und reines SQL im Warehouse, Apache Spark für große Volumen, Power Query in Excel und Power BI, Google Dataform, Matillion sowie Python mit pandas oder Polars für kleinere Jobs. Unabhängig vom Tool sollten Sie Transformationscode in der Versionskontrolle mit Code-Review halten, damit eine Änderung an der Umsatzdefinition sichtbar, geprüft und umkehrbar ist.
Transformation vor dem Laden (ETL) vs. Transformation im Warehouse (ELT)
Transformation vor dem Laden | Transformation im Warehouse | |
|---|---|---|
Wo die Logik läuft | Separater Verarbeitungsserver oder separates Tool | Innerhalb von Snowflake, BigQuery, Databricks |
Rohdaten bleiben erhalten | Oft nicht | Ja, in Staging-Tabellen |
Typische Tools | Informatica, SSIS, Talend, Power Query | dbt, Dataform, SQL |
Am besten geeignet für | Entfernen sensibler Felder vor der Speicherung | Schnelle Iteration an der Geschäftslogik |
Hauptnachteil | Nach einem Logikfehler schwerer nachzuspielen | Rechenkosten im Warehouse steigen |
Wie geht VIZIO AI an Datentransformation heran?
VIZIO AI betrachtet ein gemeinsames Datenmodell als zentrales Ergebnis, denn Dashboards stimmen nur überein, wenn die Definitionen übereinstimmen. Für eine schnell wachsende US-amerikanische E-Commerce-Marke für Damenmode hat unser DX Studio die Erfassung von Marketing-, Vertriebs- und Preisdaten über Precog automatisiert und dann ein konsistentes Datenmodell aufgebaut, das unterschiedliche Formate über Systeme hinweg in einer KPI-Schicht zusammenführte.
Dieses Modell speiste Echtzeit-Dashboards für SKU-Performance, Werbe-ROI und Preiselastizität. Die Marke verbesserte die Datengenauigkeit um 28 % und ermöglichte 32 % schnellere operative Entscheidungen. Wo Sie anfangen sollten: Wählen Sie die eine Kennzahl, die zwei Teams derzeit unterschiedlich berichten, und schreiben Sie ihre Definition in SQL auf.