Zum Inhalt springen

Glossar

Data Engineering

Datenföderation

Datenföderation (Data Federation) ist eine Architektur, mit der Nutzer eine einzige Abfrage über mehrere getrennte Datenbanken oder Systeme ausführen und ein kombiniertes Ergebnis erhalten, ohne die Daten vorher in einen zentralen Speicher zu kopieren.

Aktualisiert am · Vom VIZIO AI Team

Was ist Datenföderation?

Bei der Föderation bleiben die Daten, wo sie sind, und stattdessen wandert die Abfrage. Eine Föderations-Engine stellt entfernte Quellen – etwa eine Postgres-Datenbank, einen S3-Bucket und eine SaaS-API – so bereit, als wären sie Tabellen in einem virtuellen Schema.

Wenn ein Nutzer SQL ausführt, zerlegt die Engine die Abfrage in Teilabfragen, schickt jede an die richtige Quelle und verknüpft dann die Teilergebnisse. Das gegenteilige Muster ist die Konsolidierung, bei der eine ETL-Pipeline zuerst alles in ein Data Warehouse kopiert.

Praxistauglich wurde Föderation mit Engines, die dafür gebaut sind. Facebook begann 2012 mit der Entwicklung von Presto, um Daten an Ort und Stelle abzufragen, und dessen Fork Trino bringt heute Konnektoren für viele Datenbanken, Object Stores und Dateiformate mit.

Wie funktioniert eine föderierte Abfrage?

Jede föderierte Abfrage durchläuft vier Phasen: Parsen, Planen, Push-down und Zusammenführen.

  1. Parsen: Die Engine liest das SQL und ordnet Tabellennamen den Konnektoren zu.

  2. Planen: Sie schätzt, welche Quelle welche Zeilen enthält und wie teuer jeder Abruf ist.

  3. Push-down: Filter und Aggregationen werden an jede Quelle geschickt, damit weniger Daten über das Netzwerk laufen.

  4. Zusammenführen: Teilergebnisse werden verknüpft und als ein Ergebnis zurückgegeben.

Push-down ist der Dreh- und Angelpunkt der Performance: Ein Filter, den der Konnektor nicht weiterreichen kann, zwingt die Engine, ganze Tabellen zu laden.

Viele Engines ergänzen einen Ergebnis-Cache, damit wiederholte Abfragen den Umweg sparen – was die Grenze zu einer leichtgewichtigen Kopie verwischt.

Wie sieht Datenföderation in der Praxis aus?

Föderation glänzt bei gelegentlichen systemübergreifenden Fragen, bei denen der Bau einer Pipeline länger dauern würde als die Antwort. Stellen Sie sich einen B2B-Hersteller mit 200 Mitarbeitenden vor, dessen Aufträge in einem On-Premise-ERP auf SQL Server liegen und dessen Web-Leads in BigQuery.

  • Die Analytics-Leiterin richtet Trino mit einem SQL-Server-Konnektor und einem BigQuery-Konnektor ein.

  • Sie schreibt eine einzige Abfrage, die Lead-Quelle und Erstauftragswert über die Kundendomain verknüpft.

  • Die Antwort – etwa, dass Messe-Leads doppelt so große Erstaufträge platzieren wie Paid-Search-Leads – liegt noch am selben Nachmittag vor.

Für die erste Antwort waren weder eine Pipeline noch neuer Speicher noch ein Ticket an den Data Engineer nötig.

Da die Frage künftig monatlich gestellt wird, verlagert das Team später beide Tabellen ins Warehouse.

Wo liegen die Grenzen der Datenföderation?

Föderation tauscht Speicherkosten gegen Risiken zur Abfragezeit: Jede Abfrage hängt davon ab, dass jede Quelle schnell und erreichbar ist.

  • Last auf Produktivsystemen: Schwere Abfragen können das ERP oder die Anwendungsdatenbank verlangsamen, die Kunden bedient.

  • Netzwerkgebundene Joins: Zwei große Tabellen quellenübergreifend zu verknüpfen, ist oft weit langsamer als innerhalb eines Warehouses.

  • Keine Historie: Quellen halten meist nur den aktuellen Stand, sodass Trendfragen irgendwo gespeicherte Snapshots benötigen.

  • Inkonsistente Schlüssel: Föderation verknüpft Daten, bereinigt sie aber nicht – nicht übereinstimmende Kunden-IDs verfälschen die Ergebnisse weiterhin.

Eine praktische Schwelle: Wenn ein föderiertes Dashboard jeden Morgen von Dutzenden Personen geöffnet wird, trifft jeder Aufruf erneut die Quellsysteme, und eine geplante Kopie ist meist günstiger und sicherer.

Wie unterscheidet sich Datenföderation von Datenvirtualisierung?

Föderation ist die Fähigkeit, quellenübergreifend abzufragen, während Virtualisierung die umfassendere Schicht ist, die darauf semantische Modellierung, Caching und Sicherheit aufsetzt. Mehr dazu unter Datenvirtualisierung. In der Praxis überschneiden sich die Begriffe, und viele Anbieter verwenden sie synonym.

Gängige Tools sind Trino und Starburst, Presto, Denodo, Dremio, föderierte Abfragen in BigQuery, External Tables in Snowflake sowie Postgres Foreign Data Wrappers (postgres_fdw). Eine Data Fabric nutzt Föderation typischerweise als eine von mehreren Integrationsmethoden.

Prüfen Sie bei der Auswahl drei Dinge: welche Konnektoren Push-down für Ihre Quellen unterstützen, wie die Engine mit Zugangsdaten und Row-Level Security umgeht und ob sie häufig abgefragte Ergebnisse cachen kann.

Datenföderation vs. Data Warehousing

Datenföderation

Data Warehousing

Wo die Daten liegen

Bleiben in den Quellsystemen

In einen zentralen Speicher kopiert

Aktualität

So aktuell wie die jeweilige Quelle

So aktuell wie der letzte Ladevorgang

Abfragegeschwindigkeit

Abhängig von der langsamsten Quelle und dem Netzwerk

Vorhersehbar, optimierter Speicher

Historie

Meist nur aktueller Stand

Bewahrt Snapshots und vollständige Historie

Am besten für

Ad-hoc-, seltene systemübergreifende Fragen

Tägliches Reporting und Dashboards

Wie geht VIZIO AI an Datenföderation heran?

Die umgesetzten Projekte von VIZIO AI setzen auf Konsolidierung statt Föderation, wenn dieselben systemübergreifenden Fragen täglich gestellt werden. Für eine Kanzlei für Familienrecht in Seattle mit Daten in Lawmatics, Clio Manage und QuickBooks baute das DX Studio ein zentrales SQL Data Warehouse mit täglicher Synchronisierung, statt die drei Systeme live abzufragen; das Dashboard für operative Kanzlei-Analytics reduzierte den manuellen Reporting-Aufwand um 65 % und verbesserte die Genauigkeit des Umsatz-Trackings um 42 %. Das Warehouse speichert zudem eine tägliche Historie, die Live-Abfragen auf die drei Quellsysteme nicht hätten liefern können.

Die Entscheidungsregel hinter dieser Wahl gilt auch für Föderation: Wird ein systemübergreifender Join täglich gebraucht und muss er schnell bleiben, kopieren Sie die Daten; wird er selten gebraucht, fragen Sie sie an Ort und Stelle ab.

Wo Sie anfangen sollten: Listen Sie Ihre systemübergreifenden Fragen auf und wie oft jede gestellt wird, bevor Sie sich für eines der beiden Muster entscheiden.

Facebook-Logo
X-Logo
LinkedIn-Logo
Reddit-Logo
Telegram-Logo

AI-first denken.
Zukunftsschnell handeln.

Lassen Sie uns bauen, was als Nächstes kommt! Von Produktideen und intelligenten Workflows bis zu datengetriebenen Systemen und skalierbaren Growth Operations.

Strategiegespräch buchen