Datenvirtualisierung
Datenvirtualisierung ist ein Integrationsansatz, mit dem Nutzer Daten über mehrere Datenbanken, Warehouses und APIs hinweg über eine einzige logische Schicht abfragen können, ohne diese Daten zuvor in einen zentralen Speicher zu kopieren.
Was ist Datenvirtualisierung?
Statt die Daten zur Abfrage zu bewegen, bewegt Virtualisierung die Abfrage zu den Daten. Eine virtuelle Schicht stellt Tabellen und Views bereit, die wie eine einzige Datenbank aussehen, doch jede Anfrage wird zur Laufzeit in Teilabfragen an die zugrunde liegenden Quellen übersetzt.
Die Schicht enthält Metadaten und Logik (Mappings, Joins, Sicherheitsregeln) statt der Datensätze selbst, abgesehen von optionalen Caches. Sie liegt zwischen Konsumenten wie BI-Tools, APIs und Notebooks und einer Mischung von Quellen: operativen Datenbanken, Cloud-Warehouses, Dateien im Objektspeicher und SaaS-APIs. Sie ist eng verwandt mit Datenföderation, womit meist die Engine zur Aufteilung von Abfragen in ihrem Kern gemeint ist.
Wie funktioniert Datenvirtualisierung?
Die Performance hängt fast vollständig davon ab, wie viel Arbeit die virtuelle Schicht an jede Quelle delegieren (Push-down) kann. Eine typische Abfrage durchläuft vier Schritte.
Parsen: Die Schicht empfängt eine SQL-Abfrage gegen einen virtuellen View, zum Beispiel Kunden verknüpft mit offenen Rechnungen.
Planen: Der Optimizer zerlegt sie in quellspezifische Abfragen und entscheidet, wo Filter und Aggregationen laufen.
Push-down: Filter wie region = 'EMEA' werden innerhalb jeder Quelle ausgeführt, sodass nur passende Zeilen übertragen werden.
Kombinieren: Die Ergebnisse werden in der Schicht zusammengeführt, optional gecacht und an den Nutzer zurückgegeben.
Sicherheit auf Zeilenebene und Spaltenmaskierung lassen sich zentral in dieser Schicht anwenden, was zu ihren stärksten Governance-Funktionen zählt.
Die meisten Plattformen bieten außerdem Caching oder Materialized Views für langsame oder ratenbegrenzte Quellen, etwa SaaS-APIs, die nur eine bestimmte Anzahl von Aufrufen pro Minute erlauben. Caching tauscht ein wenig Aktualität gegen vorhersehbare Geschwindigkeit.
Wie sieht Datenvirtualisierung in der Praxis aus?
Stellen Sie sich eine mittelgroße Bank vor, die eine einheitliche Kundensicht für Kundenbetreuer möchte, deren Kernbankensystem aber auf einer On-Premises-Oracle-Datenbank läuft, die aus regulatorischen Gründen nicht frei repliziert werden darf. Kartendaten liegen in einem separaten System und CRM-Aktivitäten in Salesforce.
Das Datenteam setzt Denodo ein, definiert einen virtuellen „Customer 360“-View, der die drei Quellen über die Kunden-ID verknüpft, und maskiert Kontonummern für alle außerhalb von Compliance. Angenommen, die Betreuer öffnen den View in Tableau und sehen minutengenaue Salden, weil jede Abfrage die Live-Systeme trifft.
In diesem Beispiel vermeidet die Bank, eine weitere Kopie sensibler Daten aufzubauen und zu verwalten. Sie cacht dennoch sich langsam ändernde Referenztabellen und plant aufwendige historische Analysen im Warehouse statt auf den Live-Systemen.
Wann ist Datenvirtualisierung die falsche Wahl?
Virtualisierung stößt an ihre Grenzen, wenn Abfragen aufwendig, Quellen langsam oder historische Daten wichtig sind. Sie übernimmt die Geschwindigkeit und Verfügbarkeit der schwächsten Quelle in jedem Join.
Große historische Analysen: Jahre an Transaktionen systemübergreifend zu scannen, geht in einem Warehouse meist schneller.
Last auf Produktivsystemen: Analytische Abfragen können die operativen Datenbanken verlangsamen, auf die sie zugreifen.
Keine Historie: Quellen überschreiben Datensätze oft, sodass stichtagsbezogenes Reporting gespeicherte Snapshots braucht.
Aufwendige Transformation: Komplexe Bereinigungslogik, die bei jeder Abfrage läuft, wird langsam und teuer.
Viele Organisationen kombinieren daher beides: Virtualisierung für Echtzeit-Lookups und schnelles Prototyping, Materialisierung in ein Warehouse für aufwendiges Reporting.
Worin unterscheidet sich Datenvirtualisierung von ETL und Data Warehousing?
ETL kopiert und formt Daten nach Zeitplan in einen zentralen Speicher; Virtualisierung lässt die Daten, wo sie sind, und integriert sie zum Abfragezeitpunkt. Bei ETL findet die Integrationsarbeit einmal pro Ladevorgang statt statt einmal pro Abfrage. Die Wahl ist ein Abwägen zwischen Aktualität und Agilität auf der einen und Performance und Historie auf der anderen Seite.
Gängige Tools sind Denodo, TIBCO Data Virtualization, Starburst (basierend auf Trino), Dremio und Microsofts PolyBase in SQL Server. Virtualisierung ist zudem ein häufiger Baustein einer Data-Fabric-Architektur, während klassisches Data Warehousing der Standard für konsistentes, historisches BI-Reporting bleibt.
Datenvirtualisierung vs. ETL in ein Warehouse
Datenvirtualisierung | ETL in ein Warehouse | |
|---|---|---|
Datenbewegung | Keine; Abfrage am Speicherort | Nach Zeitplan kopiert |
Aktualität | So aktuell wie die Quelle | Stand des letzten Ladevorgangs |
Historische Snapshots | Nur, wenn die Quellen Historie speichern | Gespeichert und versioniert |
Geschwindigkeit bei aufwendigen Analysen | Begrenzt durch die langsamste Quelle | Optimiert für große Scans |
Zeit bis zum ersten Ergebnis | Tage, durch das Definieren von Views | Wochen, durch den Aufbau von Pipelines |
Wie geht VIZIO AI an Datenvirtualisierung heran?
Die veröffentlichten Projekte von VIZIO AI konsolidieren Daten physisch statt virtuell, was zeigt, wann ein zentraler Speicher die bessere Wahl ist. Für eine Kanzlei für Familienrecht in Seattle hat das DX Studio Lawmatics, Clio Manage und QuickBooks in ein zentrales SQL-Data-Warehouse mit täglicher automatisierter Synchronisierung integriert, das ein Analytics-Dashboard zur operativen Performance der Kanzlei in Power BI speist.
Da die Kanzlei Historie benötigte (abgerechneter versus vereinnahmter Umsatz im Zeitverlauf und Trends bei der Auslastung der Anwälte), passte ein Warehouse besser als eine Live-Föderation. SaaS-APIs wie diese setzen zudem Ratenlimits, die Föderation zum Abfragezeitpunkt für Dashboards langsam machen. Das Projekt senkte den manuellen Reporting-Aufwand um 65 % und verbesserte die Genauigkeit der Umsatzverfolgung um 42 %.
Wo Sie anfangen sollten: Listen Sie die benötigten Abfragen auf und markieren Sie, welche Live-Daten und welche Historie erfordern; diese Aufteilung entscheidet meist zwischen den beiden Ansätzen.