Data Lake (Veri Gölü)
Data lake (veri gölü), yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış ham veriyi, biri işlemeye veya analiz etmeye ihtiyaç duyana kadar kendi yerel formatında tutan, genellikle düşük maliyetli bulut nesne depolamasına dayanan merkezi bir depolama alanıdır.
Data lake nedir?
Belirleyici özelliği okuma anında şemadır (schema-on-read): Dosyalar önce depoya iner, yapı ise yalnızca biri onları sorguladığında uygulanır. Bir veri ambarı ise tam tersi şekilde çalışır ve veri yüklenmeden önce bir şema dayatır.
Pratikte depolama katmanı Amazon S3, Azure Data Lake Storage Gen2 veya Google Cloud Storage'dır ve Parquet, Avro, JSON, CSV, günlük kayıtları (log), görüntü veya ses dosyalarını barındırır. Birçok ekip bunu genellikle bronze (ham), silver (temizlenmiş) ve gold (düzenlenmiş) olarak adlandırılan bölgelere ayırır; bu düzeni Databricks medallion mimarisi adıyla yaygınlaştırmıştır. Apache Spark, Trino ve Amazon Athena gibi motorlar dosyaları doğrudan okur.
Bir data lake'in bileşenleri nelerdir?
Depolama tek başına yalnızca bir bucket'tır; kullanılabilir bir data lake için veri alımı, bir katalog, bir tablo formatı, işlem gücü ve erişim kontrolü gerekir.
Veri alımı: Fivetran veya Airbyte gibi toplu konnektörler ve Apache Kafka veya Amazon Kinesis Data Firehose üzerinden akışlar.
Katalog: AWS Glue Data Catalog veya Databricks Unity Catalog her veri setinin ne olduğunu kaydeder; bu, veri kataloglamanın işidir.
Tablo formatı: Apache Iceberg, Delta Lake veya Apache Hudi, düz dosyaların üzerine işlemler (transaction), şema evrimi ve satır düzeyinde silme ekler.
İşlem gücü: Ağır işleme için Spark, SQL için Athena veya Trino.
Erişim kontrolü: Tablo ve sütun düzeyinde AWS Lake Formation veya Unity Catalog izinleri.
Data lake pratikte nasıl görünür?
Data lake'ler, veri büyük, dağınık veya henüz tam anlaşılmamış olduğunda değerini kanıtlar. Cihazları, diyelim ki 10.000 araçtan her 30 saniyede bir GPS ve motor verisi gönderen 200 kişilik bir filo telematiği şirketini ele alalım.
Kinesis Data Firehose ham JSON'u tarihe göre bölümlenmiş şekilde S3'e yazar.
Gece çalışan bir Spark işi bunu Iceberg tablolarında Parquet'e dönüştürür; bu tablolar çok daha küçüktür ve çok daha hızlı taranır.
Glue Data Catalog tabloları kaydeder; böylece veri bilimciler bunları Athena ile sorgulayabilir.
Araç bazlı günlük özetler, müşteriye dönük paneller için Snowflake'e yüklenir.
Ham geçmiş ucuz depolamada kalır; böylece ekip kestirimci bakım modelini hiçbir şeyi yeniden toplamadan yıllarca biriken ölçümlerle yeniden eğitebilir. Ekibin ilk günden uyguladığı tek kural şudur: Her yeni veri seti, depoya inmeden önce bir sahip ve bir katalog kaydı alır; data lake'in bir bataklığa dönüşmesini önleyen de budur.
Data lake'in riskleri nelerdir ve ne zaman kaçınmalısınız?
Sahipliği ve kataloğu olmayan bir data lake, kimsenin güvenmediği ve içinde yol bulamadığı bir "veri bataklığına" (data swamp) dönüşür. Tekrarlayan diğer sorunlar:
Küçük dosyalar sorunu: Milyonlarca küçük dosya her sorguyu yavaşlatır; sıkıştırma (compaction) işleri gerekir.
Düz dosyalarda işlem desteği yok: Bir tablo formatı kullanılmadıkça eşzamanlı yazmalar yarım yazılmış veri bırakabilir.
Silme talepleri: Değiştirilemez Parquet dosyaları içinde GDPR Madde 17 kapsamındaki bir silme talebini yerine getirmek, satır düzeyinde silmeyi destekleyen bir format gerektirir.
Verileriniz çoğunlukla birkaç SaaS aracından gelen tablolardan oluşuyor ve hacimler mütevazıysa bundan kaçının. BigQuery veya Snowflake gibi tek başına bir ambar daha basit ve işletmesi daha ucuzdur.
Data lake, veri ambarından veya lakehouse'tan nasıl ayrılır?
Data lake her şeyi ham ve ucuz şekilde saklar, veri ambarı hızlı SQL için modellenmiş tabloları saklar, lakehouse ise data lake depolamasının üzerine ambar özellikleri ekler. Bir data lakehouse, işlemleri ve hızlı SQL'i sağlamak için genellikle Iceberg veya Delta Lake'e dayanır. Sınırlar bulanıklaştı: Snowflake ve BigQuery nesne depolamadaki Iceberg tablolarını sorgulayabilirken Databricks, Delta Lake üzerinde SQL ambarı sunuyor.
İş yüküne göre seçin. Günlük kayıtları, görüntüler veya sensör verileri üzerinde makine öğrenimi data lake'i öne çıkarır.
Temiz CRM ve faturalama verileri üzerinde finans raporlaması ambarı öne çıkarır. Her iki ihtiyaca da sahip ekipler, verinin tek bir kopyasının her ikisine de hizmet etmesi için giderek daha fazla lakehouse kalıbını benimsiyor; bu kopya ETL veya akış pipeline'larıyla beslenir.
Data lake ve veri ambarı karşılaştırması
Data lake | Veri ambarı | |
|---|---|---|
Şema | Okuma anında uygulanır | Yazma anında dayatılır |
Veri türleri | Ham dosyalar: JSON, Parquet, görüntüler, günlük kayıtları | Modellenmiş, çoğunlukla ilişkisel tablolar |
Tipik kullanıcılar | Veri mühendisleri ve veri bilimciler | Analistler ve BI araçları |
Depolama maliyeti | Düşük, nesne depolama | Daha yüksek, yönetilen işlem gücü ve depolama |
Ana risk | Kataloglanmamış bir veri bataklığına dönüşmek | Katı şema yeni kaynakları yavaşlatır |
Örnek araçlar | S3, ADLS, Iceberg, Spark, Athena | Snowflake, BigQuery, Redshift |
VIZIO AI data lake'lere ve merkezi depolamaya nasıl yaklaşıyor?
VIZIO AI'ın vaka çalışmaları, farklı formatlardaki kaynakları tek bir yapılandırılmış katmanda merkezileştirir; bu, bir data lake'in çözdüğü sorundur, ancak yazılı özetler adıyla bir data lake'ten değil, birleşik pipeline'lardan söz eder. Batarya depolamaya odaklanan Birleşik Krallık merkezli bir emtia ticareti firması için DX Studio'muz tabloları, API'leri, geçmiş dosyaları ve hava durumu akışlarını tek, standart ve bulut yerelinde bir yapıya çeken özel bir ETL pipeline'ı geliştirerek manuel raporlama süresini %19, operasyonel yükü %8 azalttı.
Birleşik Krallık merkezli bir siber güvenlik araştırma kuruluşu için Growth Studio'muz çok kaynaklı istihbarat verisini Kafka üzerinden akış olarak aktardı; böylece 500.000'den fazla kayıt bir saniyenin altında görüntülendi. Nereden başlamalı: Data lake, ambar ya da ikisi arasında seçim yapmadan önce her kaynağı, formatını ve günlük hacmini listeleyin.
VIZIO AI vaka çalışmalarında Data Lake (Veri Gölü)
- Real-Time Investment Performance Dashboard ›Tabloları, API'leri, geçmiş dosyaları ve hava durumu akışlarını birleştiren bir pipeline, bir emtia ticareti firmasında manuel raporlama süresini %19 azalttı.
- Real-Time Ransomware Monitoring ›Bir Kafka akış pipeline'ı, Birleşik Krallık merkezli bir araştırma kuruluşu için 500.000'den fazla fidye yazılımı kaydının bir saniyenin altında görüntülenmesini sağladı.