Zum Inhalt springen

Glossar

Data Engineering

Data Fabric

Data Fabric ist ein Architekturansatz, der Daten über Datenbanken, Clouds und Anwendungen hinweg über eine gemeinsame Schicht aus Metadaten-, Integrations- und Governance-Services verbindet, sodass Menschen Daten finden und nutzen können, ohne sie zuerst alle in einen Speicher zu kopieren.

Aktualisiert am · Vom VIZIO AI Team

Was ist eine Data Fabric?

Eine Data Fabric ist ein Designmuster, kein einzelnes Produkt: Sie kombiniert mehrere Tools um eine gemeinsame Metadatenschicht. Die Idee, bekannt gemacht von Analystenhäusern wie Gartner und Forrester, lautet: Die Systeme, die Ihre Daten beschreiben, sollten mehr von der Integrationsarbeit automatisch erledigen.

Im Zentrum stehen „aktive“ Metadaten: Der Katalog erfasst nicht nur Tabellennamen, sondern auch, wer was nutzt, wie aktuell es ist und was es enthält. Diese Metadaten steuern dann Suche, Zugriffsrichtlinien, Empfehlungen und den passenden Integrationsstil – ob geplante Kopie, Stream oder föderierte Live-Abfrage. Datenkatalogisierung und Datenvirtualisierung sind zwei ihrer Hauptbestandteile.

Was sind die Bausteine einer Data Fabric?

Fünf Schichten tauchen in fast jeder Implementierung auf, jede mit eigener Tool-Kategorie.

  • Katalog und Metadaten: Alation, Collibra, Atlan oder Microsoft Purview erfassen Schemas, Lineage und Nutzung.

  • Integration: Batch-Pipelines (Informatica, Fivetran) und Streams (Apache Kafka) für Daten, die kopiert werden müssen.

  • Virtualisierung und Föderation: Denodo oder Trino-basierte Engines wie Starburst fragen Daten dort ab, wo sie liegen.

  • Richtlinien und Governance: Klassifizierung, Maskierung und Zugriffsregeln, einmal definiert und überall durchgesetzt.

  • Semantische Schicht: gemeinsame Geschäftsdefinitionen, zum Beispiel der dbt Semantic Layer oder AtScale.

Kein Anbieter deckt alle fünf gleich gut ab, weshalb die meisten Data Fabrics zusammengesetzt statt gekauft werden.

Wie sieht eine Data Fabric in der Praxis aus?

Der Nutzen zeigt sich, wenn ein Analyst Daten aus vielen Systemen in Tagen statt Wochen finden, anfordern und abfragen kann. Nehmen Sie einen Versicherer mit 3.000 Mitarbeitenden, mit Policen in einer On-Premise-Oracle-Datenbank, Schäden in SQL Server, Kundeninteraktionen in Salesforce und Analytics in Snowflake.

Das Datenplattform-Team verbindet einen Katalog mit allen vier Quellen, der Spalten mit personenbezogenen Daten automatisch kennzeichnet. Eine Maskierungsrichtlinie für diese Spalten wird einmal geschrieben und angewendet, egal ob die Daten in Snowflake oder über Trino abgefragt werden. Eine Kundenansicht verknüpft Schäden und Policen per Föderation, ohne die Schadendatenbank zu kopieren, und die am häufigsten ausgeführten Joins werden aus Geschwindigkeitsgründen in Snowflake materialisiert.

Angenommen, ein Aktuar musste früher mehrere Wochen auf Zugriff warten; jetzt durchsucht er den Katalog, beantragt Zugriff, und eine richtlinienbasierte Freigabe kommt innerhalb eines Tages zurück.

Welche Zielkonflikte bringt eine Data Fabric mit sich?

Eine Data Fabric verlagert Komplexität in die Metadaten und funktioniert daher nur, wenn jemand diese Metadaten pflegt. Abzuwägende Zielkonflikte:

  • Kataloge veralten schnell, wenn Verantwortliche Datensätze nicht dokumentieren oder zertifizieren.

  • Föderierte Abfragen über Netzwerke und On-Premise-Systeme können langsam sein und Produktivdatenbanken belasten.

  • Anbieter verwenden das Label großzügig, sodass „Fabric“ in einer Vertriebspräsentation nur eine Konnektor-Bibliothek bedeuten kann.

  • Lizenzen für Katalog-, Virtualisierungs- und Governance-Tools summieren sich schnell.

Ein Unternehmen mit 30 Mitarbeitenden und einer Handvoll SaaS-Tools braucht keine; ein ELT-Tool, das ein Data Warehouse befüllt, löst dasselbe Problem mit weit weniger Overhead.

Wie unterscheidet sich eine Data Fabric von einem Data Mesh?

Eine Data Fabric ist eine technologische Antwort auf verstreute Daten; ein Data Mesh ist eine organisatorische. Data Mesh, 2019 von Zhamak Dehghani beschrieben, überträgt die Verantwortung für Datenprodukte an Fachdomänen wie Schadenbearbeitung oder Abrechnung, mit einer Self-Service-Plattform und föderierter Governance. Eine Data Fabric hält mehr Kontrolle zentral und setzt auf Automatisierung und Metadaten, um Quellen zu verbinden.

Beide schließen sich nicht aus. Ein Unternehmen kann Domänen ihre Datenprodukte im Mesh-Stil verantworten lassen und gleichzeitig Fabric-Tooling für den gemeinsamen Katalog und die Durchsetzung von Richtlinien nutzen. Die eigentliche Frage ist, ob Ihr Engpass in der Technologie oder in der Verantwortung liegt; wenn Teams sich nicht einigen können, wem die Kundendaten gehören, löst mehr Tooling das nicht – und bessere Datenintegration allein auch nicht.

Data Fabric vs. Data Mesh

Data Fabric

Data Mesh

Grundidee

Daten über gemeinsame Metadaten und Automatisierung verbinden

Domänen verantworten und veröffentlichen Daten als Produkte

Primärer Hebel

Technologie und Tooling

Organisation und Verantwortung

Governance

Überwiegend zentral, richtlinienbasiert

Föderiert über Domänen hinweg

Datenbewegung

Mischung aus Kopieren und Live-Föderation

Jede Domäne entscheidet selbst

Hauptrisiko

Veraltete Metadaten und langsame föderierte Abfragen

Ungleichmäßige Qualität zwischen Domänen

Passt am besten

Viele Systeme, starkes zentrales Datenteam

Große Unternehmen mit leistungsfähigen Domänenteams

Wie geht VIZIO AI an Data-Fabric-Projekte heran?

VIZIO AI geht das Problem, auf das eine Data Fabric abzielt – über Dateien, APIs und Systeme verstreute Daten –, mit passend dimensionierten Pipelines statt mit einem vollständigen Fabric-Stack an. Für ein globales Rohstoffhandelsunternehmen mit Sitz in Großbritannien baute das DX Studio eine individuelle ETL-Pipeline, die Tabellen, APIs und historische Dateien – darunter Marktpreise, Batterieladezustand, Dispatch-Zeitpläne und Wetter-Feeds – in einer standardisierten Struktur hinter einem Live-Dashboard zusammenführte.

Die Architektur war cloud-nativ und modular, sodass neue Assets und Regionen ohne Neuaufbau hinzugefügt werden konnten. Sie reduzierte den manuellen Reporting-Aufwand um 19 % und den operativen Overhead um 8 %. Ein Enterprise-Katalog oder eine Virtualisierungsschicht war nicht Teil davon. Wo Sie anfangen sollten: Listen Sie jede Quelle, ihren Verantwortlichen und die benötigte Aktualität auf.

Facebook-Logo
X-Logo
LinkedIn-Logo
Reddit-Logo
Telegram-Logo

AI-first denken.
Zukunftsschnell handeln.

Lassen Sie uns bauen, was als Nächstes kommt! Von Produktideen und intelligenten Workflows bis zu datengetriebenen Systemen und skalierbaren Growth Operations.

Strategiegespräch buchen