Data Lakehouse
Data lakehouse, veriyi düşük maliyetli nesne depolamada açık dosyalar olarak saklayan, ancak üzerine işlemler (transaction), şemalar ve indeksleme sunan bir tablo katmanı ekleyen bir veri mimarisidir; böylece aynı kopya hem BI sorgularına hem de makine öğrenimine hizmet eder.
Data lakehouse nedir?
Lakehouse, iki kopya sorununu ortadan kaldırmak için vardır: verinin bir kopyası veri bilimi için data lake'te, diğeri BI için ambarda. Bunun yerine veri, Amazon S3, Azure Data Lake Storage veya Google Cloud Storage gibi nesne depolamada, genellikle Parquet dosyaları olarak, tek bir kez bulunur.
Üzerinde açık bir tablo formatı yer alır ve her tabloyu her zaman noktasında hangi dosyaların oluşturduğunu takip eder. Aksi hâlde bir dosya klasöründen ibaret olacak yapıya ambar benzeri güvenceleri (ACID işlemleri, şema zorlaması, zamanda yolculuk/time travel) ekleyen şey bu metadata katmanıdır. Terim, 2020 civarında Databricks tarafından yaygınlaştırıldı.
Bir lakehouse'un bileşenleri nelerdir?
Lakehouse, farklı sağlayıcılardan gelebilen dört katmandan oluşur; en büyük cazibesi de budur.
Nesne depolama: Ucuz, dayanıklı ve pratikte sınırsız.
Açık tablo formatı: İşlemler, şema evrimi ve anlık görüntüler (snapshot) sağlayan Delta Lake, Apache Iceberg veya Apache Hudi.
Katalog: Tablo adlarını dosyalarla eşleyen ve izinleri uygulayan Unity Catalog, AWS Glue veya Apache Polaris gibi bir REST kataloğu.
Motorlar: Aynı tabloları okuyan Spark, Trino, Flink, DuckDB, Databricks SQL veya Snowflake.
Birçok ekip tabloları bir "medallion" kalıbında düzenler: ham veri için bronze, temizlenmiş ve uyumlu hâle getirilmiş veri için silver, işe hazır toplulaştırmalar için gold.
Data lakehouse pratikte nasıl görünür?
Bir Postgres uygulama veritabanına, S3'te giderek büyüyen bir cihaz telemetrisi yığınına ve finans raporlaması için ayrı bir ambara sahip, bağlantılı fitness alanında faaliyet gösteren bir şirket düşünün. Veri bilimciler kayıp (churn) modellerini S3 dosyaları üzerinde eğitirken finans ambarı sorgular ve iki grup aktif kullanıcı sayıları konusunda hiçbir zaman anlaşamaz.
Ekip, telemetriyi ve gecelik veritabanı çıktılarını S3'te Iceberg tablolarına dönüştürür, bunları bir katalogda kaydeder ve Spark üzerinde dbt ile silver ve gold katmanları oluşturur. Finansın Power BI'daki panelleri gold tabloları bir SQL motoru üzerinden okur; veri bilimciler ise silver tabloları doğrudan notebook'lardan okur.
Bu örnekte her iki grup da artık aktif kullanıcıları aynı tablodan sayar ve ayrı ambar yükleme işleri emekliye ayrılabilir. Iceberg'in zamanda yolculuk özelliği ayrıca veri bilimcilerin bir modelin eğitim setini belirli bir tarihteki hâliyle birebir yeniden üretmesine olanak tanır.
Lakehouse'un ödünleşimleri nelerdir?
Lakehouse, esneklik ve daha düşük depolama maliyeti karşılığında bir miktar sadelikten vazgeçer. Hem büyük ölçekli ML iş yüklerine hem de BI ihtiyaçlarına gerçekten sahip kuruluşlara uygundur; yalnızca panelleri olan bir şirket için yönetilen bir ambar genellikle daha basittir.
Tablo bakımı: Platform bunları otomatikleştirmediği sürece sıkıştırma, snapshot süresinin dolması ve dosya boyutu ayarı sizin işinizdir.
Eşzamanlılık: Aynı tabloya yazan çok sayıda küçük yazıcı commit çakışmalarına neden olabilir.
Yönetişimin dağılması: İzinler katalogda uygulanmalıdır; aksi takdirde depolamaya erişimi olan herhangi bir motor bunları atlayabilir.
Format seçimi: Delta, Iceberg ve Hudi için motor desteği değişkenlik gösterir; bu yüzden kullanmayı planladığınız her aracı kontrol edin.
Data lakehouse, data lake'ten veya veri ambarından nasıl ayrılır?
Data lake dosyaları ucuza saklar ama tutarlı tabloları garanti edemez; ambar tutarlılığı garanti eder ama veriyi tescilli bir formatta saklar; lakehouse ise her ikisini birden hedefler. Farklar, veriyi kimin okuyabildiğinde ve verinin ne kadar güvenli değiştirilebildiğinde ortaya çıkar. Düz bir data lake işlem desteğinden yoksundur; bu yüzden aynı anda yazan iki iş bir tabloyu yarı güncellenmiş hâlde bırakabilir.
Klasik veri ambarı, SQL analitiği için en hazır (anahtar teslim) seçenek olmaya devam ediyor. Tablo formatı olmayan bir data lake, arşivler ve ham veri iniş bölgeleri için yeterlidir. Maliyet de seçimin bir parçasıdır: Nesne depolama ucuzdur, ancak işlem motorları yine de her sorgu için ücret alır; dolayısıyla tasarruf sorgu alışkanlıklarına bağlıdır.
Lakehouse, makine öğrenimi ve BI büyük veri setlerini paylaştığında orta yoldur ve sıklıkla bir depolama tasarımı değil, bir sahiplik modeli olan data mesh ile karşılaştırılır.
Data lakehouse ve veri ambarı karşılaştırması
Data lakehouse | Veri ambarı | |
|---|---|---|
Depolama | Nesne depolamada açık dosyalar | Sağlayıcı tarafından yönetilen, genellikle tescilli format |
Veri türleri | Yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış | Ağırlıklı olarak yapılandırılmış tablolar |
Motorlar | Birçok motor aynı tabloları okur | Genellikle ambarın kendi motoru |
ML erişimi | Notebook'lardan doğrudan dosya erişimi | Dışa aktarım veya konnektör gerekir |
Operasyon | Daha fazla ayar ve tablo bakımı | Büyük ölçüde sağlayıcı tarafından yönetilir |
VIZIO AI lakehouse tarzı mimarilere nasıl yaklaşıyor?
VIZIO AI'ın yayımlanmış projeleri, açık tablo formatları üzerine kurulu bir lakehouse yerine merkezi ambarlar kullanır; dolayısıyla bu doğrudan bir eşleşme değil, dürüst bir örtüşmedir. Ortak fikir, hem raporlamaya hem de ML'e hizmet eden tek bir veri temelidir.
Satın almalar yoluyla devralınmış eski sistemlere sahip ABD'li bir odyoloji sağlayıcısı için DX Studio, hasta kayıtlarını, cihaz verilerini ve CRM girdilerini merkezi bir ambarda birleştirdi, ardından Power BI'daki yapay zekâ destekli hasta elde tutma paneli için Python ve Azure ML modellerini aynı temel üzerinde eğitti. Pilot kliniklerde işitme cihazı iade oranları %12–15 düştü ve manuel raporlama eforu %40 azaldı.
Nereden başlamalı: ML ve BI ekiplerinizin şu anda aynı verinin ayrı kopyaları üzerinde çalışıp çalışmadığını ve rakamlarının ne sıklıkla uyuşmadığını kontrol edin.