İçeriğe geç

Sözlük

Veri Mühendisliği

Data Lake (Veri Gölü)

Data lake (veri gölü), yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış ham veriyi, biri işlemeye veya analiz etmeye ihtiyaç duyana kadar kendi yerel formatında tutan, genellikle düşük maliyetli bulut nesne depolamasına dayanan merkezi bir depolama alanıdır.

Güncelleme: · Hazırlayan: VIZIO AI ekibi

Data lake nedir?

Belirleyici özelliği okuma anında şemadır (schema-on-read): Dosyalar önce depoya iner, yapı ise yalnızca biri onları sorguladığında uygulanır. Bir veri ambarı ise tam tersi şekilde çalışır ve veri yüklenmeden önce bir şema dayatır.

Pratikte depolama katmanı Amazon S3, Azure Data Lake Storage Gen2 veya Google Cloud Storage'dır ve Parquet, Avro, JSON, CSV, günlük kayıtları (log), görüntü veya ses dosyalarını barındırır. Birçok ekip bunu genellikle bronze (ham), silver (temizlenmiş) ve gold (düzenlenmiş) olarak adlandırılan bölgelere ayırır; bu düzeni Databricks medallion mimarisi adıyla yaygınlaştırmıştır. Apache Spark, Trino ve Amazon Athena gibi motorlar dosyaları doğrudan okur.

Bir data lake'in bileşenleri nelerdir?

Depolama tek başına yalnızca bir bucket'tır; kullanılabilir bir data lake için veri alımı, bir katalog, bir tablo formatı, işlem gücü ve erişim kontrolü gerekir.

  • Veri alımı: Fivetran veya Airbyte gibi toplu konnektörler ve Apache Kafka veya Amazon Kinesis Data Firehose üzerinden akışlar.

  • Katalog: AWS Glue Data Catalog veya Databricks Unity Catalog her veri setinin ne olduğunu kaydeder; bu, veri kataloglamanın işidir.

  • Tablo formatı: Apache Iceberg, Delta Lake veya Apache Hudi, düz dosyaların üzerine işlemler (transaction), şema evrimi ve satır düzeyinde silme ekler.

  • İşlem gücü: Ağır işleme için Spark, SQL için Athena veya Trino.

  • Erişim kontrolü: Tablo ve sütun düzeyinde AWS Lake Formation veya Unity Catalog izinleri.

Data lake pratikte nasıl görünür?

Data lake'ler, veri büyük, dağınık veya henüz tam anlaşılmamış olduğunda değerini kanıtlar. Cihazları, diyelim ki 10.000 araçtan her 30 saniyede bir GPS ve motor verisi gönderen 200 kişilik bir filo telematiği şirketini ele alalım.

  1. Kinesis Data Firehose ham JSON'u tarihe göre bölümlenmiş şekilde S3'e yazar.

  2. Gece çalışan bir Spark işi bunu Iceberg tablolarında Parquet'e dönüştürür; bu tablolar çok daha küçüktür ve çok daha hızlı taranır.

  3. Glue Data Catalog tabloları kaydeder; böylece veri bilimciler bunları Athena ile sorgulayabilir.

  4. Araç bazlı günlük özetler, müşteriye dönük paneller için Snowflake'e yüklenir.

Ham geçmiş ucuz depolamada kalır; böylece ekip kestirimci bakım modelini hiçbir şeyi yeniden toplamadan yıllarca biriken ölçümlerle yeniden eğitebilir. Ekibin ilk günden uyguladığı tek kural şudur: Her yeni veri seti, depoya inmeden önce bir sahip ve bir katalog kaydı alır; data lake'in bir bataklığa dönüşmesini önleyen de budur.

Data lake'in riskleri nelerdir ve ne zaman kaçınmalısınız?

Sahipliği ve kataloğu olmayan bir data lake, kimsenin güvenmediği ve içinde yol bulamadığı bir "veri bataklığına" (data swamp) dönüşür. Tekrarlayan diğer sorunlar:

  • Küçük dosyalar sorunu: Milyonlarca küçük dosya her sorguyu yavaşlatır; sıkıştırma (compaction) işleri gerekir.

  • Düz dosyalarda işlem desteği yok: Bir tablo formatı kullanılmadıkça eşzamanlı yazmalar yarım yazılmış veri bırakabilir.

  • Silme talepleri: Değiştirilemez Parquet dosyaları içinde GDPR Madde 17 kapsamındaki bir silme talebini yerine getirmek, satır düzeyinde silmeyi destekleyen bir format gerektirir.

Verileriniz çoğunlukla birkaç SaaS aracından gelen tablolardan oluşuyor ve hacimler mütevazıysa bundan kaçının. BigQuery veya Snowflake gibi tek başına bir ambar daha basit ve işletmesi daha ucuzdur.

Data lake, veri ambarından veya lakehouse'tan nasıl ayrılır?

Data lake her şeyi ham ve ucuz şekilde saklar, veri ambarı hızlı SQL için modellenmiş tabloları saklar, lakehouse ise data lake depolamasının üzerine ambar özellikleri ekler. Bir data lakehouse, işlemleri ve hızlı SQL'i sağlamak için genellikle Iceberg veya Delta Lake'e dayanır. Sınırlar bulanıklaştı: Snowflake ve BigQuery nesne depolamadaki Iceberg tablolarını sorgulayabilirken Databricks, Delta Lake üzerinde SQL ambarı sunuyor.

İş yüküne göre seçin. Günlük kayıtları, görüntüler veya sensör verileri üzerinde makine öğrenimi data lake'i öne çıkarır.

Temiz CRM ve faturalama verileri üzerinde finans raporlaması ambarı öne çıkarır. Her iki ihtiyaca da sahip ekipler, verinin tek bir kopyasının her ikisine de hizmet etmesi için giderek daha fazla lakehouse kalıbını benimsiyor; bu kopya ETL veya akış pipeline'larıyla beslenir.

Data lake ve veri ambarı karşılaştırması

Data lake

Veri ambarı

Şema

Okuma anında uygulanır

Yazma anında dayatılır

Veri türleri

Ham dosyalar: JSON, Parquet, görüntüler, günlük kayıtları

Modellenmiş, çoğunlukla ilişkisel tablolar

Tipik kullanıcılar

Veri mühendisleri ve veri bilimciler

Analistler ve BI araçları

Depolama maliyeti

Düşük, nesne depolama

Daha yüksek, yönetilen işlem gücü ve depolama

Ana risk

Kataloglanmamış bir veri bataklığına dönüşmek

Katı şema yeni kaynakları yavaşlatır

Örnek araçlar

S3, ADLS, Iceberg, Spark, Athena

Snowflake, BigQuery, Redshift

VIZIO AI data lake'lere ve merkezi depolamaya nasıl yaklaşıyor?

VIZIO AI'ın vaka çalışmaları, farklı formatlardaki kaynakları tek bir yapılandırılmış katmanda merkezileştirir; bu, bir data lake'in çözdüğü sorundur, ancak yazılı özetler adıyla bir data lake'ten değil, birleşik pipeline'lardan söz eder. Batarya depolamaya odaklanan Birleşik Krallık merkezli bir emtia ticareti firması için DX Studio'muz tabloları, API'leri, geçmiş dosyaları ve hava durumu akışlarını tek, standart ve bulut yerelinde bir yapıya çeken özel bir ETL pipeline'ı geliştirerek manuel raporlama süresini %19, operasyonel yükü %8 azalttı.

Birleşik Krallık merkezli bir siber güvenlik araştırma kuruluşu için Growth Studio'muz çok kaynaklı istihbarat verisini Kafka üzerinden akış olarak aktardı; böylece 500.000'den fazla kayıt bir saniyenin altında görüntülendi. Nereden başlamalı: Data lake, ambar ya da ikisi arasında seçim yapmadan önce her kaynağı, formatını ve günlük hacmini listeleyin.

Facebook logosu
X logosu
LinkedIn logosu
Reddit logosu
Telegram logosu

Önce yapay zekâyı düşünün.
Geleceğin hızında ilerleyin.

Sıradakini birlikte inşa edelim! Ürün fikirlerinden akıllı iş akışlarına, veri odaklı sistemlerden ölçeklenebilir büyüme operasyonlarına kadar.

Strateji Görüşmesi Planlayın