Zum Inhalt springen

Glossar

Data Governance & Sicherheit

Datenkatalogisierung (Data Catalog)

Datenkatalogisierung ist der Prozess, ein durchsuchbares Verzeichnis der Datensätze eines Unternehmens aufzubauen und zu pflegen – mit Metadaten dazu, was jeder Datensatz enthält, wem er gehört, woher er stammt und ob man ihm vertrauen kann.

Aktualisiert am · Vom VIZIO AI Team

Was ist Datenkatalogisierung?

Ein Katalog leistet für Tabellen, was ein Bibliotheksverzeichnis für Bücher leistet: Er zeigt, was existiert und wo es zu finden ist, ohne die Daten zu verschieben. Er speichert Metadaten, nicht die Daten selbst.

Erfasst werden drei Arten von Metadaten. Technische Metadaten umfassen Schemata, Spaltentypen und Aktualisierungszeiten.

Fachliche Metadaten umfassen verständliche Beschreibungen, Glossarbegriffe und Verantwortliche. Operative Metadaten umfassen Nutzung, Abfragehäufigkeit und Lineage, also welche vorgelagerten Quellen jede Tabelle speisen und welche Dashboards von ihr abhängen.

Der Katalog steht neben dem Data Warehouse, den BI-Tools und den Pipelines, nicht in ihnen. Er beantwortet vier wiederkehrende Fragen schnell: Gibt es diese Daten, was bedeutet diese Spalte, wen frage ich, und was geht kaputt, wenn ich sie ändere?

Wie bauen Sie einen Datenkatalog auf?

Automatisches Einsammeln liefert Ihnen das Verzeichnis; erst menschliche Kuratierung macht es vertrauenswürdig. Eine praktikable Einführung folgt einer absehbaren Reihenfolge.

  1. Quellen anbinden: Crawler lesen Schemata aus Snowflake, BigQuery, Postgres, dbt-Projekten und BI-Tools.

  2. Priorisieren: Wählen Sie die 20 bis 50 am häufigsten abgefragten Tabellen, statt alles zu dokumentieren.

  3. Verantwortliche zuweisen: Jede zertifizierte Tabelle erhält einen namentlich benannten Owner und einen Steward; so wird der Katalog mit Data Stewardship verknüpft.

  4. Beschreiben und taggen: verständliche Definitionen, PII-Tags, Erwartungen an die Aktualität.

  5. Zertifizieren: Gold-Tabellen als vertrauenswürdig markieren; veraltete kennzeichnen.

  6. Einbetten: Kataloginformationen in den Tools anzeigen, die die Mitarbeitenden ohnehin nutzen, etwa Slack oder die BI-Ebene.

Wie sieht Datenkatalogisierung in der Praxis aus?

Stellen Sie sich ein Fintech mit 300 Mitarbeitenden vor, in dem Analysten vier verschiedene „customers“-Tabellen finden und niemand weiß, welche die Finanzabteilung nutzt. Das Datenteam verbindet DataHub mit Snowflake, dbt und Looker, wodurch die Lineage von der Quelle bis zum Dashboard automatisch erzeugt wird.

Angenommen, das Team zertifiziert anschließend eine Kundentabelle, dokumentiert seine Definition eines aktiven Kunden und taggt jede Spalte mit personenbezogenen Daten. Veraltete Tabellen erhalten einen Warnhinweis und einen Verweis auf die Ersatztabelle.

In diesem Beispiel sind das greifbare Ergebnis weniger doppelte Tabellen und ein schnelleres Onboarding: Eine neue Analystin sucht nach „aktive Kunden“, sieht die zertifizierte Tabelle, ihren Owner und ihre vorgelagerten Quellen und beginnt noch am selben Tag mit der Arbeit. Die PII-Tags erleichtern zudem die Eingrenzung von DSGVO-Auskunfts- und Löschanfragen.

Warum scheitern Datenkatalog-Projekte?

Die meisten Kataloge scheitern an Vernachlässigung, nicht an der Technik: Beschreibungen veralten, und die Mitarbeitenden verlieren das Vertrauen. Die typischen Fehlerbilder sind absehbar.

  • Uferloser Umfang: der Versuch, 10.000 Tabellen zu dokumentieren, bevor irgendjemand einen Nutzen sieht.

  • Keine Verantwortlichkeit: Metadaten, für die niemand zuständig ist, verfallen innerhalb von Monaten.

  • Separates Ziel: Ein Katalog, an dessen Besuch man denken muss, wird ignoriert; eingebetteter Kontext wird genutzt.

  • Tool vor Richtlinie: eine Plattform kaufen, ohne Entscheidungen zur Data Governance über Definitionen und Zugriffe getroffen zu haben.

Für ein kleines Team mit einem Data Warehouse und einem gut dokumentierten dbt-Projekt kann die von dbt generierte Dokumentationsseite vorerst ausreichen.

Welche Tools werden für die Datenkatalogisierung eingesetzt?

Katalog-Tools teilen sich in Enterprise-Plattformen, Open-Source-Projekte und Kataloge auf, die in eine Cloud oder ein Data Warehouse integriert sind. Die richtige Wahl hängt vor allem davon ab, wie viele Systeme Sie abdecken müssen.

  • Kommerziell: Alation, Collibra, Atlan.

  • Open Source: DataHub (ursprünglich bei LinkedIn entstanden), OpenMetadata, Amundsen (ursprünglich bei Lyft entstanden).

  • Plattform-nativ: Databricks Unity Catalog, AWS Glue Data Catalog, Google Dataplex, Microsoft Purview.

Katalogisierung unterscheidet sich vom Stammdatenmanagement: Ein Katalog beschreibt Datensätze, während MDM die Einträge darin zu einer maßgeblichen Version jedes Kunden oder Produkts abgleicht.

Testen Sie beim Vergleich von Tools drei Dinge auf Ihrem eigenen Stack: wie viele Ihrer Quellen native Konnektoren haben, ob Lineage auf Spaltenebene durch Ihre dbt-Modelle hindurch funktioniert und ob Zugriffsrichtlinien über Tags durchgesetzt oder nur angezeigt werden können.

Datenkatalog vs. Data Dictionary

Datenkatalog

Data Dictionary

Umfang

Alle Datensätze über viele Systeme hinweg

Eine Datenbank oder Anwendung

Inhalt

Technische, fachliche und Nutzungs-Metadaten plus Lineage

Spaltennamen, Typen und Definitionen

Pflege

Automatisiertes Crawling plus menschliche Kuratierung

Meist von Hand geschrieben und aktualisiert

Zielgruppe

Analysten, Engineers, Governance und Fachanwender

Entwickler und DBAs des jeweiligen Systems

Suche

Volltextsuche, Ranking nach Beliebtheit, Vertrauenskennzeichen

Wird als Dokument oder Tabelle gelesen

Wie geht VIZIO AI an Datenkatalogisierung heran?

Die veröffentlichten Fallstudien von VIZIO AI enthalten keine eigenständige Katalog-Einführung, aber mehrere Projekte gehen dasselbe Grundproblem an: widersprüchliche Definitionen über Systeme hinweg. Für eine US-amerikanische E-Commerce-Marke für Damenmode baute das DX Studio ein Echtzeit-Dashboard für Fashion-Analytics auf einem konsistenten Datenmodell, das die Formate aus Marketing, Vertrieb und Preisgestaltung in einem gemeinsamen KPI-Modell zusammenführte und die Datengenauigkeit um 28 % verbesserte.

Für eine spanische Rechtsboutique verbesserten automatisierte Validierungsschichten hinter einem Marketing-Intelligence-Dashboard für Kanzleien die Genauigkeit und Zuverlässigkeit der Daten um 45 %. Abgestimmte Definitionen und Verantwortliche sind genau das, was ein Katalog später festhält.

Wo Sie anfangen sollten: Listen Sie Ihre zehn meistgenutzten Tabellen auf und halten Sie für jede einen Owner und eine Definition fest.

Facebook-Logo
X-Logo
LinkedIn-Logo
Reddit-Logo
Telegram-Logo

AI-first denken.
Zukunftsschnell handeln.

Lassen Sie uns bauen, was als Nächstes kommt! Von Produktideen und intelligenten Workflows bis zu datengetriebenen Systemen und skalierbaren Growth Operations.

Strategiegespräch buchen