Data Mesh
Data Mesh ist ein 2019 von Zhamak Dehghani vorgestellter organisatorischer Ansatz für Analytics, bei dem Geschäftsdomänen ihre Daten als Produkte auf einer gemeinsamen Self-Service-Plattform unter föderierter Governance verantworten und veröffentlichen.
Was ist Data Mesh?
Data Mesh ist ein Betriebsmodell, kein Produkt, das man kaufen kann: Es verlagert die Verantwortung für analytische Daten von einem zentralen Team auf die Domänenteams, die sie erzeugen. Es beruht auf vier Prinzipien:
Domänenverantwortung: Das Payments-Team verantwortet die Zahlungsdaten durchgängig.
Daten als Produkt: Jeder Datensatz hat einen benannten Verantwortlichen, eine Dokumentation, Qualitätsziele und Konsumenten, die er bedient.
Self-Service-Plattform: Ein zentrales Plattformteam stellt Speicher, Pipelines, Katalog und Zugriffstools bereit, damit Domänen keine Infrastruktur neu aufbauen müssen.
Föderierte, automatisierte Governance: Gemeinsame Regeln, etwa die Kennzeichnung personenbezogener Daten (PII), werden gemeinsam vereinbart und automatisch im Code durchgesetzt.
Es ist eine Antwort auf einen bestimmten Engpass: ein zentrales Datenteam, das mit den Anfragen aus Dutzenden von Geschäftsbereichen, die es nur teilweise versteht, nicht Schritt halten kann.
Was macht einen Datensatz zu einem Datenprodukt?
Ein Datenprodukt ist ein Datensatz mit einem Vertrag: Konsumenten kennen Schema, Verantwortlichen, Aktualität und Qualität, bevor sie sich darauf verlassen. Dehghani nennt Eigenschaften wie auffindbar, adressierbar, vertrauenswürdig, selbstbeschreibend, interoperabel und sicher. In der Praxis bedeutet das meist:
Einen registrierten Eintrag in einem Katalog wie DataHub oder Collibra.
Einen Datenvertrag (Data Contract), der Spalten, Typen, Verantwortlichen und Änderungsrichtlinie festlegt.
Service-Level-Ziele, zum Beispiel „innerhalb einer Stunde aktualisiert, unter 0,1 % leere Kunden-IDs“.
Versionierung, damit Breaking Changes als neue Version mit einem Übergangszeitraum für die Abkündigung ausgeliefert werden.
Wie sieht Data Mesh in der Praxis aus?
Ein Mesh zeigt sich darin, dass mehrere Domänenteams gesteuerte Tabellen auf einer gemeinsamen Plattform veröffentlichen, während das zentrale Team Tools statt Berichte baut. Stellen Sie sich einen Online-Marktplatz mit 2.000 Mitarbeitenden vor, mit separaten Engineering-Gruppen für Payments, Logistik und Suche sowie einem zentralen Datenteam mit einem monatelangen Anfragestau.
Das Plattformteam liefert eine Vorlage: ein dbt-Projekt, CI-Prüfungen, Snowflake-Schemas und automatische Katalogregistrierung.
Payments veröffentlicht ein Produkt „abgewickelte Transaktionen“ mit einem Aktualitätsziel von einer Stunde und einem schriftlichen Vertrag.
Eine Governance-Gruppe aus Domänenleitern vereinbart, dass jede PII-Spalte eine Kennzeichnung tragen muss, und die CI blockiert Merges, bei denen eine fehlt.
Finanzen und Marketing nutzen das Produkt direkt, statt Tickets einzureichen.
Angenommen, der zentrale Rückstau halbiert sich innerhalb von zwei Quartalen: Der Gewinn entsteht dadurch, dass Domänen ihre eigenen Konsumenten bedienen.
Am stärksten ändert sich die Verantwortlichkeit. Wenn die Tabelle der abgewickelten Transaktionen ausfällt, wird der Payments-Engineer in Rufbereitschaft alarmiert, nicht ein zentraler Analyst, der den Code des Zahlungsdienstes nie gesehen hat.
Wann sollten Sie Data Mesh nicht einführen?
Data Mesh eignet sich für große Organisationen mit vielen Domänen und Engineering-Kapazität in jeder davon; für die meisten kleineren Unternehmen verursacht es Kosten, ohne einen echten Engpass zu lösen. Warnsignale, dass es verfrüht ist:
Ein Datenteam aus einer Handvoll Personen bedient das gesamte Unternehmen ohne lange Warteschlange.
Domänenteams haben keine Engineers, die Pipelines und Rufbereitschaft verantworten können.
Zentrale Kennzahlen wie der Umsatz sind noch nirgends einheitlich definiert.
Typische Fehlermuster sind doppelte Infrastruktur, widersprüchliche Definitionen derselben Kennzahl in verschiedenen Domänen und „Mesh nur dem Namen nach“, bei dem das zentrale Team unter neuen Bezeichnungen weiterhin die gesamte Arbeit erledigt.
Wie unterscheidet sich Data Mesh von einem Data Warehouse oder einer Data Fabric?
Ein Warehouse ist eine Technologie, eine Data Fabric eine Integrationsarchitektur und ein Mesh ein Verantwortungsmodell, das auf beidem laufen kann. Ein Data Warehouse speichert modellierte Daten; eine Data Fabric verbindet verteilte Quellen über Metadaten und Virtualisierung. Viele Meshes laufen auf einem einzigen Snowflake-, BigQuery- oder Databricks-Konto, aufgeteilt in Schemas, die den Domänen gehören.
Unterstützende Tools sind dbt Mesh für projektübergreifende Referenzen, Unity Catalog in Databricks für gesteuertes Teilen und Data-Contract-Tools in der CI. Auch ein Data Lakehouse ist als gemeinsame Speicherschicht verbreitet.
Data Mesh vs. zentralisierte Datenplattform
Data Mesh | Zentralisierte Plattform | |
|---|---|---|
Wer die Pipelines verantwortet | Domänenteams | Ein zentrales Datenteam |
Am besten geeignet für | Große Organisationen mit vielen Domänen | Kleine und mittelständische Unternehmen |
Governance | Föderierte Regeln, im Code durchgesetzt | Zentral festgelegt und angewendet |
Hauptrisiko | Inkonsistente Definitionen zwischen Domänen | Zentrales Team wird zum Engpass |
Rolle des Plattformteams | Baut Self-Service-Tools | Baut Pipelines und Berichte |
Wie geht VIZIO AI an Data Mesh heran?
Die veröffentlichten Projekte von VIZIO AI sind zentralisierte Lösungen, was für die meisten mittelständischen Unternehmen der richtige erste Schritt vor jeder Bewegung hin zu einem Mesh ist. Für einen saudi-arabischen Entwickler von Luxusimmobilien integrierte das Venture Studio Zoho CRM, Google Analytics und Meltwater in ein Data Warehouse mit Power-BI-Dashboards und einem Executive Command Center.
Die Fallstudie ist kein Mesh, zeigt aber die Voraussetzung, die ein Mesh braucht: gemeinsame KPI-Definitionen über Vertrieb, Marketing und Projektteams hinweg. Sie reduzierte die Zeit für manuelles Reporting um 22 %, verbesserte den Einblick in die Konversion von Leads zu Verkäufen um 15 % und erhöhte die teamübergreifende Verantwortlichkeit. Wo Sie anfangen sollten: Zählen Sie die offenen Datenanfragen pro Domäne; wenn kein Team eindeutig der Engpass ist, zentralisieren Sie zuerst.