Data Lakehouse
Ein Data Lakehouse ist eine Datenarchitektur, die Daten als offene Dateien in kostengünstigem Objektspeicher ablegt, aber eine Tabellenschicht mit Transaktionen, Schemas und Indizierung ergänzt, sodass dieselbe Kopie sowohl BI-Abfragen als auch Machine Learning bedient.
Was ist ein Data Lakehouse?
Das Lakehouse soll das Zwei-Kopien-Problem beenden: eine Kopie der Daten im Lake für Data Science, eine weitere im Warehouse für BI. Stattdessen liegen die Daten einmalig im Objektspeicher wie Amazon S3, Azure Data Lake Storage oder Google Cloud Storage, meist als Parquet-Dateien.
Darüber sitzt ein offenes Tabellenformat, das nachverfolgt, welche Dateien zu welchem Zeitpunkt eine Tabelle bilden. Diese Metadatenschicht verleiht einem ansonsten bloßen Ordner voller Dateien Warehouse-ähnliche Garantien (ACID-Transaktionen, Schema-Durchsetzung, Time Travel). Der Begriff wurde um 2020 von Databricks bekannt gemacht.
Aus welchen Komponenten besteht ein Lakehouse?
Ein Lakehouse besteht aus vier Schichten, die von verschiedenen Anbietern stammen können – das ist sein größter Reiz.
Objektspeicher: günstig, langlebig und praktisch unbegrenzt.
Offenes Tabellenformat: Delta Lake, Apache Iceberg oder Apache Hudi, die Transaktionen, Schema-Evolution und Snapshots bereitstellen.
Katalog: Unity Catalog, AWS Glue oder ein REST-Katalog wie Apache Polaris, der Tabellennamen den Dateien zuordnet und Berechtigungen durchsetzt.
Engines: Spark, Trino, Flink, DuckDB, Databricks SQL oder Snowflake, die dieselben Tabellen lesen.
Viele Teams organisieren Tabellen nach dem „Medallion“-Muster: Bronze für Rohdaten, Silber für bereinigte und vereinheitlichte Daten, Gold für geschäftsfertige Aggregate.
Wie sieht ein Data Lakehouse in der Praxis aus?
Stellen Sie sich ein Connected-Fitness-Unternehmen mit einer Postgres-App-Datenbank, einem wachsenden Berg an Geräte-Telemetrie in S3 und einem separaten Warehouse für das Finanzreporting vor. Data Scientists trainieren Churn-Modelle auf den S3-Dateien, während die Finanzabteilung das Warehouse abfragt – und die beiden sind sich bei der Zahl aktiver Nutzer nie einig.
Das Team wandelt die Telemetrie und nächtliche Datenbankextrakte in Iceberg-Tabellen in S3 um, registriert sie in einem Katalog und baut mit dbt auf Spark Silber- und Gold-Schichten auf. Die Power-BI-Dashboards der Finanzabteilung lesen Gold-Tabellen über eine SQL-Engine; Data Scientists lesen Silber-Tabellen direkt aus Notebooks.
In diesem Beispiel zählen nun beide Gruppen aktive Nutzer aus derselben Tabelle, und die separaten Warehouse-Ladejobs können abgeschaltet werden. Dank der Time-Travel-Funktion von Iceberg können Data Scientists zudem den Trainingsdatensatz eines Modells exakt so reproduzieren, wie er an einem bestimmten Datum war.
Welche Zielkonflikte bringt ein Lakehouse mit sich?
Ein Lakehouse tauscht etwas Einfachheit gegen Flexibilität und geringere Speicherkosten. Es passt zu Organisationen, die tatsächlich sowohl ML-Workloads in großem Maßstab als auch BI-Anforderungen haben; für ein Unternehmen, das nur Dashboards nutzt, ist ein verwaltetes Warehouse meist einfacher.
Tabellenpflege: Compaction, Ablauf von Snapshots und Abstimmung der Dateigrößen sind Ihre Aufgabe, sofern die Plattform sie nicht automatisiert.
Nebenläufigkeit: Viele kleine Schreibprozesse auf derselben Tabelle können Commit-Konflikte verursachen.
Verteilte Governance: Berechtigungen müssen im Katalog durchgesetzt werden, sonst kann jede Engine mit Speicherzugriff sie umgehen.
Formatwahl: Die Engine-Unterstützung für Delta, Iceberg und Hudi variiert – prüfen Sie daher jedes Tool, das Sie einsetzen möchten.
Wie unterscheidet sich ein Data Lakehouse von einem Data Lake oder Data Warehouse?
Ein Data Lake speichert Dateien günstig, kann aber keine konsistenten Tabellen garantieren; ein Warehouse garantiert Konsistenz, speichert Daten aber in einem proprietären Format; ein Lakehouse strebt beides an. Die Unterschiede zeigen sich darin, wer die Daten lesen kann und wie sicher sie sich ändern lassen. Einem einfachen Data Lake fehlen Transaktionen, sodass zwei gleichzeitig schreibende Jobs eine Tabelle halb aktualisiert zurücklassen können.
Klassisches Data Warehousing bleibt die schlüsselfertigste Option für SQL-Analytics. Ein Lake ohne Tabellenformat genügt für Archive und Landing Zones für Rohdaten. Auch die Kosten spielen eine Rolle: Objektspeicher ist günstig, aber Compute-Engines rechnen weiterhin jede Abfrage ab, sodass die Einsparungen vom Abfrageverhalten abhängen.
Das Lakehouse ist der Mittelweg, wenn Machine Learning und BI große Datensätze teilen, und wird oft mit Data Mesh verglichen – das allerdings ein Verantwortungsmodell und kein Speicherdesign ist.
Data Lakehouse vs. Data Warehouse
Data Lakehouse | Data Warehouse | |
|---|---|---|
Speicherung | Offene Dateien im Objektspeicher | Vom Anbieter verwaltet, oft proprietäres Format |
Datentypen | Strukturiert, semistrukturiert und unstrukturiert | Hauptsächlich strukturierte Tabellen |
Engines | Viele Engines lesen dieselben Tabellen | Meist die eigene Engine des Warehouse |
ML-Zugriff | Direkter Dateizugriff aus Notebooks | Export oder Konnektor erforderlich |
Betrieb | Mehr Tuning und Tabellenpflege | Weitgehend vom Anbieter verwaltet |
Wie geht VIZIO AI an Lakehouse-ähnliche Architekturen heran?
Die veröffentlichten Projekte von VIZIO AI nutzen zentrale Warehouses statt eines Lakehouse auf Basis offener Tabellenformate – es handelt sich also um eine ehrliche Überschneidung, nicht um eine direkte Entsprechung. Die gemeinsame Idee ist ein Datenfundament, das sowohl Reporting als auch ML bedient.
Für einen US-Audiologieanbieter mit durch Übernahmen geerbten Altsystemen vereinte das DX Studio Patientenakten, Gerätedaten und CRM-Eingaben in einem zentralen Warehouse und trainierte dann auf genau diesem Fundament Modelle mit Python und Azure ML für ein KI-gestütztes Dashboard zur Patientenbindung in Power BI. In den Pilotkliniken sank die Rückgabequote von Hörgeräten um 12–15 % und der manuelle Reporting-Aufwand um 40 %.
Wo Sie anfangen sollten: Prüfen Sie, ob Ihre ML- und BI-Teams derzeit mit getrennten Kopien derselben Daten arbeiten und wie oft ihre Zahlen voneinander abweichen.