Data Lineage
Data Lineage (Datenherkunft) ist die Aufzeichnung darüber, woher ein Datenelement stammt, welche Systeme und Transformationen es durchlaufen hat und wo es genutzt wird – meist dargestellt als Graph von Quelltabellen bis zu Dashboards und Modellen.
Was ist Data Lineage?
Lineage beantwortet zwei Fragen: „Woher stammt diese Zahl?“ (Upstream) und „Was bricht, wenn ich das ändere?“ (Downstream). Sie wird auf drei Detailebenen erfasst:
Tabellenebene: Modell A liest aus den Tabellen B und C.
Spaltenebene: Das Dashboard-Feld „net_revenue“ ergibt sich aus orders.amount minus refunds.amount.
Business Lineage: derselbe Pfad, verständlich erklärt für Prüfer und Führungskräfte.
Sie wird meist automatisch erzeugt, indem SQL geparst, Abfrage-Logs des Warehouse ausgelesen oder Run-Events aus Pipelines gesammelt werden.
Wie wird Data Lineage erfasst?
Die meisten modernen Stacks erzeugen bereits Teil-Lineage; die Arbeit besteht darin, sie zu einem Graphen zusammenzufügen. dbt baut aus jedem ref()-Aufruf einen Abhängigkeitsgraphen und veröffentlicht ihn auf seiner Docs-Site. Der OpenLineage-Standard ermöglicht es Airflow, Spark und dbt, Run-Events auszugeben, die ein Backend wie Marquez speichert.
Auch Warehouses helfen: Snowflake stellt Objektabhängigkeiten und Zugriffshistorie bereit, und Google Cloud bietet Lineage über Dataplex. Ein Datenkatalog wie DataHub, OpenMetadata, Atlan oder Collibra führt diese Feeds dann zusammen und ergänzt Owner und Beschreibungen.
Wie sieht Data Lineage in der Praxis aus?
Lineage zahlt sich aus, sobald sich eine vertrauenswürdige Zahl über Nacht ändert. Stellen Sie sich ein Fintech mit 150 Mitarbeitenden und rund 300 dbt-Modellen vor. Am Montagmorgen ist der Umsatz im CFO-Dashboard niedriger als der Wert vom Freitag.
Der Analyst öffnet den Graphen auf Spaltenebene für die Umsatzkachel.
Er führt über zwei Zwischenmodelle zurück zu einer Stripe-Quelltabelle.
Ein Konnektor-Update hat ein Feld umbenannt, sodass ein Modell jetzt Nullwerte liest.
Vor der Korrektur prüft der Analyst die Auswirkungen downstream: Angenommen, 14 Modelle und 3 Dashboards hängen von dieser Spalte ab.
Die Korrektur und die Information an die Stakeholder gehen gemeinsam raus, noch bevor das Board-Paket erstellt wird.
Derselbe Graph wird anschließend zur Leitplanke. Das Team ergänzt einen CI-Check, der bei jedem Pull Request, der eine Quelltabelle berührt, die betroffenen Downstream-Modelle auflistet – so wird die nächste Umbenennung im Review entdeckt statt an einem Montag.
Ohne Lineage bedeutet dieselbe Untersuchung, SQL-Dateien einzeln durchzulesen und auf Slack herumzufragen, was den Großteil eines Tages kosten kann.
Warum ist Data Lineage wichtig, und wo stößt sie an Grenzen?
Lineage verkürzt die Ursachenanalyse und macht Änderungen sicherer, wird aber überall dort blind, wo Daten gesteuerte Tools verlassen. Zu den Vorteilen zählen schnelleres Debugging, Impact-Analysen vor Schemaänderungen und Nachweise für Regulierung wie das Verzeichnis von Verarbeitungstätigkeiten nach Art. 30 DSGVO oder die Grundsätze zur Datenaggregation nach BCBS 239 im Bankwesen.
Die Lücken sind vorhersehbar: Tabellenkalkulationen, Ad-hoc-Python-Skripte und manuelle Uploads erzeugen selten Lineage. Handgezeichnete Diagramme veralten innerhalb von Monaten, und das Parsen auf Spaltenebene kann bei dynamischem SQL an Grenzen stoßen. Kleinen Teams mit einem Dutzend Modellen genügt womöglich schon dbt docs allein.
Wie unterscheidet sich Data Lineage von einem Datenkatalog?
Ein Katalog ist das Inventar der Datenbestände; Lineage ist die Karte, wie diese Bestände zusammenhängen. Die meisten Kataloge zeigen Lineage an, aber Lineage (zum Beispiel dbt docs) gibt es auch ohne Katalog. Beide unterstützen Data Governance, und beide setzen Pipelines voraus, die als Code definiert sind – eine Kernpraxis von DataOps.
Lineage unterscheidet sich zudem von Provenienz. Provenienz beschreibt Ursprung und Historie eines bestimmten Datensatzes oder einer Datei, etwa wer ein Dokument wann erstellt hat; Lineage beschreibt den Fluss zwischen Datensätzen und Prozessen. Regulierte Teams brauchen beides: Lineage, um zu zeigen, wie eine berichtete Zahl entsteht, und Provenienz, um zu zeigen, woher einzelne Eingaben stammen.
Prüfen Sie bei der Bewertung von Tools, ob Lineage auf Spaltenebene verfügbar ist, ob sie Ihre BI-Schicht (Power BI, Tableau, Looker) abdeckt und ob sie sich bei jedem Lauf automatisch aktualisiert.
Data Lineage vs. Datenkatalog
Data Lineage | Datenkatalog | |
|---|---|---|
Kernfrage | Woher stammt das, und was speist es? | Welche Daten gibt es, und wem gehören sie? |
Struktur | Gerichteter Graph von Abhängigkeiten | Durchsuchbares Inventar von Datenbeständen |
Erfasst aus | SQL-Parsing, Abfrage-Logs, Run-Events | Metadaten-Crawlern und manueller Pflege |
Hauptnutzer | Data Engineers, die Pipelines debuggen oder ändern | Analysten auf der Suche nach vertrauenswürdigen Daten |
Beispiel-Tools | dbt docs, OpenLineage, Marquez | DataHub, Atlan, Collibra |
Wie geht VIZIO AI an Data Lineage heran?
VIZIO AI hält jede Kennzahl auf einem einzigen, dokumentierten Pfad vom Quellsystem bis zum Dashboard – genau das macht Lineage nachvollziehbar. Für eine internationale Rechtsboutique mit Sitz in Spanien verband das DX Studio HubSpot CRM und Finanzsysteme über sichere APIs zu einem SQL Data Warehouse, mit automatisierten Synchronisierungs-Pipelines und Datenvalidierungsschichten, die Power BI speisen.
Die Fallstudie nennt kein Lineage-Tool; die Überschneidung besteht darin, dass jeder KPI über eine validierte Route fließt statt über manuelle Excel-Exporte. Die Kanzlei reduzierte den Zeitaufwand für das Performance-Reporting um 70 % und verbesserte Genauigkeit und Zuverlässigkeit der Daten um 45 %. Wo Sie anfangen sollten: Erzeugen Sie dbt docs oder die Abhängigkeitsansicht Ihres Warehouse für Ihre fünf wichtigsten Dashboards.