Data Mesh (Veri Ağı)
Data mesh, Zhamak Dehghani tarafından 2019'da ortaya konan ve iş alanlarının (domain) verilerini ortak bir self-servis platform üzerinde, federe yönetişim altında ürün olarak sahiplenip yayımladığı organizasyonel bir analitik yaklaşımıdır.
Data mesh nedir?
Data mesh satın alabileceğiniz bir ürün değil, bir işletim modelidir: analitik verilerin sahipliğini tek bir merkezi ekipten, o verileri üreten alan (domain) ekiplerine taşır. Dört ilkeye dayanır:
Alan sahipliği: ödemeler ekibi ödeme verilerinin uçtan uca sahibidir.
Ürün olarak veri: her veri setinin adı belirli bir sahibi, dokümantasyonu, kalite hedefleri ve hizmet ettiği tüketicileri vardır.
Self-servis platform: merkezi bir platform ekibi depolama, pipeline, katalog ve erişim araçlarını sağlar; böylece alanlar altyapıyı yeniden kurmaz.
Federe hesaplamalı yönetişim: PII etiketleme gibi ortak kurallar birlikte kararlaştırılır ve kod içinde otomatik olarak uygulanır.
Belirli bir darboğaza verilen bir yanıttır: yalnızca kısmen anladığı onlarca iş alanından gelen taleplere yetişemeyen merkezi bir veri ekibi.
Bir veri setini veri ürünü yapan nedir?
Veri ürünü, sözleşmesi olan bir veri setidir: tüketiciler ona bağımlı hâle gelmeden önce şemasını, sahibini, güncelliğini ve kalitesini bilir. Dehghani; keşfedilebilir, adreslenebilir, güvenilir, kendini tanımlayan, birlikte çalışabilir ve güvenli gibi nitelikleri sıralar. Uygulamada bu genellikle şu anlama gelir:
DataHub veya Collibra gibi bir katalogda kayıtlı bir giriş.
Sütunları, türleri, sahibi ve değişiklik politikasını belirten bir veri sözleşmesi.
Hizmet düzeyi hedefleri; örneğin "bir saat içinde yenilenir, null müşteri kimliği oranı %0,1'in altında".
Sürümleme; böylece geriye uyumsuz değişiklikler, bir kullanımdan kaldırma süresiyle yeni bir sürüm olarak yayımlanır.
Data mesh uygulamada nasıl görünür?
Bir mesh, birkaç alan ekibinin ortak bir platforma yönetişimli tablolar yayımlaması ve merkezi ekibin rapor yerine araç geliştirmesi şeklinde kendini gösterir. Ödemeler, lojistik ve arama için ayrı mühendislik gruplarına ve aylarca süren bir talep birikimine sahip merkezi bir veri ekibine sahip 2.000 kişilik bir çevrim içi pazaryerini düşünün.
Platform ekibi bir şablon sunar: bir dbt projesi, CI kontrolleri, Snowflake şemaları ve otomatik katalog kaydı.
Ödemeler ekibi, bir saatlik güncellik hedefi ve yazılı bir sözleşmeyle "tamamlanmış işlemler" ürününü yayımlar.
Alan liderlerinden oluşan bir yönetişim grubu, her PII sütununun bir etiket taşıması gerektiğinde uzlaşır ve CI, etiketi eksik olan merge'leri engeller.
Finans ve pazarlama, talep açmak yerine ürünü doğrudan tüketir.
Diyelim ki merkezi birikim iki çeyrek içinde yarıya iniyor: kazanç, alanların kendi tüketicilerine hizmet etmesinden gelir.
En çok değişen şey hesap verebilirliktir. Tamamlanmış işlemler tablosu bozulduğunda, ödeme servisinin kodunu hiç görmemiş merkezi bir analist değil, ödemeler ekibinin nöbetçi mühendisi uyarılır.
Data mesh ne zaman benimsenmemelidir?
Data mesh, çok sayıda alanı ve her birinin içinde mühendislik kapasitesi olan büyük organizasyonlara uygundur; çoğu küçük şirket için ise gerçek bir darboğazı çözmeden maliyet ekler. Erken olduğunu gösteren uyarı işaretleri:
Birkaç kişilik tek bir veri ekibi, uzun bir kuyruk olmadan tüm şirkete hizmet veriyor.
Alan ekiplerinde pipeline'ları ve nöbet görevlerini sahiplenebilecek mühendis yok.
Gelir gibi temel metrikler henüz hiçbir yerde tutarlı biçimde tanımlanmamış.
Yaygın başarısızlık biçimleri arasında tekrarlanan altyapı, aynı metriğin alanlar arasında çelişkili tanımları ve merkezi ekibin yeni etiketler altında tüm işi yapmaya devam ettiği "sadece adı mesh" durumu yer alır.
Data mesh, veri ambarı veya data fabric'ten nasıl ayrılır?
Veri ambarı bir teknoloji, data fabric bir entegrasyon mimarisi, mesh ise her ikisinin üzerinde de çalışabilen bir sahiplik modelidir. Bir veri ambarı modellenmiş verileri depolar; bir data fabric dağıtık kaynakları metadata ve sanallaştırma aracılığıyla birbirine bağlar. Pek çok mesh, alanlara ait şemalara bölünmüş tek bir Snowflake, BigQuery veya Databricks hesabı üzerinde çalışır.
Destekleyici araçlar arasında projeler arası referanslar için dbt Mesh, yönetişimli paylaşım için Databricks'teki Unity Catalog ve CI içindeki veri sözleşmesi araçları bulunur. Ortak depolama katmanı olarak bir data lakehouse da yaygındır.
Data mesh ve merkezi veri platformu karşılaştırması
Data mesh | Merkezi platform | |
|---|---|---|
Pipeline'ların sahibi | Alan ekipleri | Tek bir merkezi veri ekibi |
En uygun olduğu yapı | Çok sayıda alanı olan büyük organizasyonlar | Küçük ve orta ölçekli şirketler |
Yönetişim | Kod içinde uygulanan federe kurallar | Merkezi olarak belirlenir ve uygulanır |
Ana risk | Alanlar arasında tutarsız tanımlar | Merkezi ekibin darboğaza dönüşmesi |
Platform ekibinin rolü | Self-servis araçlar geliştirir | Pipeline'lar ve raporlar oluşturur |
VIZIO AI, data mesh'e nasıl yaklaşır?
VIZIO AI'ın yayımlanmış projeleri merkezi kurulumlardır ve bu, çoğu orta ölçekli şirket için mesh'e doğru herhangi bir adımdan önce doğru ilk adımdır. Suudi Arabistan merkezli lüks bir gayrimenkul geliştirme firması için Venture Studio, Zoho CRM, Google Analytics ve Meltwater'ı Power BI panelleri ve bir yönetici komuta merkeziyle birlikte tek bir veri ambarında entegre etti.
Bu vaka çalışması bir mesh değildir, ancak bir mesh'in ihtiyaç duyduğu ön koşulu gösterir: satış, pazarlama ve proje ekipleri arasında ortak KPI tanımları. Proje manuel raporlama süresini %22 azalttı, satıştan lead'e dönüşüm içgörüsünü %15 iyileştirdi ve ekipler arası hesap verebilirliği artırdı. Nereden başlamalı: Alan başına açık veri taleplerini sayın; tek bir ekip açıkça darboğaz değilse önce merkezileştirin.