Data Lake
Ein Data Lake ist ein zentrales Speicher-Repository, meist kostengünstiger Cloud-Objektspeicher, das rohe strukturierte, semistrukturierte und unstrukturierte Daten in ihrem Ursprungsformat vorhält, bis jemand sie verarbeiten oder analysieren muss.
Was ist ein Data Lake?
Das prägende Merkmal ist Schema-on-Read: Dateien landen zuerst, und eine Struktur wird erst angewendet, wenn jemand sie abfragt. Ein Data Warehouse funktioniert umgekehrt und erzwingt ein Schema, bevor Daten geladen werden.
In der Praxis besteht die Speicherschicht aus Amazon S3, Azure Data Lake Storage Gen2 oder Google Cloud Storage und enthält Parquet, Avro, JSON, CSV, Logs, Bilder oder Audio. Viele Teams gliedern sie in Zonen, oft Bronze (roh), Silber (bereinigt) und Gold (kuratiert) genannt – ein Aufbau, den Databricks als Medallion-Architektur bekannt gemacht hat. Engines wie Apache Spark, Trino und Amazon Athena lesen die Dateien direkt.
Aus welchen Komponenten besteht ein Data Lake?
Speicher allein ist nur ein Bucket; ein nutzbarer Lake braucht Ingestion, einen Katalog, ein Tabellenformat, Rechenleistung und Zugriffskontrolle.
Ingestion: Batch-Konnektoren wie Fivetran oder Airbyte sowie Streams über Apache Kafka oder Amazon Kinesis Data Firehose.
Katalog: AWS Glue Data Catalog oder Databricks Unity Catalog erfassen, was jeder Datensatz ist – die Aufgabe der Datenkatalogisierung.
Tabellenformat: Apache Iceberg, Delta Lake oder Apache Hudi ergänzen einfache Dateien um Transaktionen, Schema-Evolution und Löschungen auf Zeilenebene.
Rechenleistung: Spark für aufwendige Verarbeitung, Athena oder Trino für SQL.
Zugriffskontrolle: Berechtigungen auf Tabellen- und Spaltenebene über AWS Lake Formation oder Unity Catalog.
Wie sieht ein Data Lake in der Praxis aus?
Lakes lohnen sich, wenn Daten groß, unordentlich oder noch nicht vollständig verstanden sind. Nehmen Sie ein Flottentelematik-Unternehmen mit 200 Mitarbeitenden, dessen Geräte alle 30 Sekunden GPS- und Motordaten von beispielsweise 10.000 Fahrzeugen senden.
Kinesis Data Firehose schreibt rohes JSON nach Datum partitioniert in S3.
Ein nächtlicher Spark-Job wandelt es in Parquet-Dateien in Iceberg-Tabellen um, die deutlich kleiner und schneller zu durchsuchen sind.
Der Glue Data Catalog registriert die Tabellen, damit Data Scientists sie mit Athena abfragen können.
Tägliche Zusammenfassungen pro Fahrzeug werden für kundenseitige Dashboards in Snowflake geladen.
Die Rohdatenhistorie bleibt im günstigen Speicher, sodass das Team sein Predictive-Maintenance-Modell mit Messwerten aus mehreren Jahren neu trainieren kann, ohne etwas erneut zu erheben. Die eine Regel, die das Team vom ersten Tag an durchsetzt: Jeder neue Datensatz erhält einen Owner und einen Katalogeintrag, bevor er landet – genau das verhindert, dass der Lake zum Sumpf wird.
Welche Risiken hat ein Data Lake, und wann sollten Sie darauf verzichten?
Ein Lake ohne Verantwortlichkeiten und Katalog wird zum „Data Swamp“, dem niemand vertraut und in dem sich niemand zurechtfindet. Weitere wiederkehrende Probleme:
Small-Files-Problem: Millionen winziger Dateien verlangsamen jede Abfrage; Compaction-Jobs sind nötig.
Keine Transaktionen bei einfachen Dateien: Gleichzeitige Schreibvorgänge können halb geschriebene Daten hinterlassen, sofern kein Tabellenformat verwendet wird.
Löschanfragen: Eine Löschung nach Art. 17 DSGVO innerhalb unveränderlicher Parquet-Dateien umzusetzen, erfordert ein Format, das Löschungen auf Zeilenebene unterstützt.
Verzichten Sie darauf, wenn Ihre Daten überwiegend Tabellen aus einer Handvoll SaaS-Tools sind und die Volumen überschaubar bleiben. Ein Warehouse wie BigQuery oder Snowflake allein ist einfacher und günstiger zu betreiben.
Wie unterscheidet sich ein Data Lake von einem Data Warehouse oder Lakehouse?
Ein Lake speichert alles roh und günstig, ein Warehouse speichert modellierte Tabellen für schnelles SQL, und ein Lakehouse ergänzt den Lake-Speicher um Warehouse-Funktionen. Ein Data Lakehouse stützt sich typischerweise auf Iceberg oder Delta Lake, um Transaktionen und schnelles SQL bereitzustellen. Die Grenzen sind verschwommen: Snowflake und BigQuery können Iceberg-Tabellen im Objektspeicher abfragen, während Databricks SQL-Warehousing auf Delta Lake anbietet.
Entscheiden Sie nach Workload. Machine Learning auf Logs, Bildern oder Sensordaten spricht für einen Lake.
Finanzreporting auf sauberen CRM- und Abrechnungsdaten spricht für ein Warehouse. Teams mit beiden Anforderungen setzen zunehmend auf das Lakehouse-Muster, damit eine einzige Kopie der Daten beides bedient, gespeist von ETL- oder Streaming-Pipelines.
Data Lake vs. Data Warehouse
Data Lake | Data Warehouse | |
|---|---|---|
Schema | Beim Lesen angewendet | Beim Schreiben erzwungen |
Datentypen | Rohdateien: JSON, Parquet, Bilder, Logs | Modellierte, überwiegend relationale Tabellen |
Typische Nutzer | Data Engineers und Data Scientists | Analysten und BI-Tools |
Speicherkosten | Niedrig, Objektspeicher | Höher, verwaltete Rechenleistung und Speicher |
Hauptrisiko | Wird zum unkatalogisierten Data Swamp | Starres Schema bremst neue Quellen |
Beispiel-Tools | S3, ADLS, Iceberg, Spark, Athena | Snowflake, BigQuery, Redshift |
Wie geht VIZIO AI an Data Lakes und zentrale Datenspeicherung heran?
In den Fallstudien von VIZIO AI werden Quellen in unterschiedlichen Formaten in einer strukturierten Schicht zentralisiert – genau das Problem, das ein Lake löst, auch wenn die Beschreibungen von einheitlichen Pipelines statt ausdrücklich von einem Lake sprechen. Für ein britisches Rohstoffhandelsunternehmen mit Fokus auf Batteriespeicher baute unser DX Studio eine individuelle ETL-Pipeline, die Tabellen, APIs, historische Dateien und Wetter-Feeds in eine standardisierte, cloud-native Struktur zusammenführte und den manuellen Reporting-Aufwand um 19 % sowie den operativen Overhead um 8 % senkte.
Für eine britische Cybersecurity-Forschungsorganisation streamte unser Growth Studio Informationen aus mehreren Quellen über Kafka, sodass mehr als 500.000 Datensätze in unter einer Sekunde dargestellt wurden. Wo Sie anfangen sollten: Listen Sie jede Quelle, ihr Format und ihr tägliches Volumen auf, bevor Sie sich für Lake, Warehouse oder beides entscheiden.
Data Lake in Fallstudien von VIZIO AI
- Real-Time Investment Performance Dashboard ›Eine Pipeline, die Tabellen, APIs, historische Dateien und Wetter-Feeds vereint, reduzierte den manuellen Reporting-Aufwand eines Rohstoffhandelsunternehmens um 19 %.
- Real-Time Ransomware Monitoring ›Eine Kafka-Streaming-Pipeline ermöglichte es einer britischen Forschungsorganisation, mehr als 500.000 Ransomware-Datensätze in unter einer Sekunde darzustellen.