Veri Federasyonu
Veri federasyonu, kullanıcıların veriyi önce merkezi bir depoya kopyalamadan birkaç ayrı veritabanı veya sistem üzerinde tek bir sorgu çalıştırıp birleşik bir sonuç almasını sağlayan bir mimaridir.
Veri federasyonu nedir?
Federasyon veriyi bulunduğu yerde bırakır ve onun yerine sorguyu taşır. Bir federasyon motoru, bir Postgres veritabanı, bir S3 bucket'ı ve bir SaaS API'si gibi uzak kaynakları tek bir sanal şemadaki tablolarmış gibi sunar.
Kullanıcı SQL çalıştırdığında motor bunu alt sorgulara böler, her birini doğru kaynağa gönderir ve ardından kısmi sonuçları birleştirir. Bunun tersi olan kalıp konsolidasyondur; burada bir ETL pipeline'ı her şeyi önce bir veri ambarına kopyalar.
Federasyon, bu amaçla geliştirilmiş motorlarla pratik hâle geldi. Facebook, veriyi yerinde sorgulamak için 2012'de Presto'yu geliştirmeye başladı; onun çatalı (fork) olan Trino bugün birçok veritabanı, nesne deposu ve dosya formatı için konnektörlerle birlikte geliyor.
Federe bir sorgu nasıl çalışır?
Her federe sorgu dört aşamadan geçer: ayrıştırma, planlama, aşağı itme (push-down) ve birleştirme.
Ayrıştırma: Motor SQL'i okur ve tablo adlarını konnektörlerle eşler.
Planlama: Hangi kaynağın hangi satırları tuttuğunu ve her bir veri çekmenin ne kadar maliyetli olduğunu tahmin eder.
Aşağı itme: Filtreler ve toplulaştırmalar her kaynağa gönderilir; böylece ağ üzerinden daha az veri geçer.
Birleştirme: Kısmi sonuçlar birleştirilir ve tek bir sonuç kümesi olarak döndürülür.
Performansın kilit noktası push-down'dır: Konnektörün aşağı itemediği bir filtre, motoru tabloların tamamını çekmeye zorlar.
Birçok motor, tekrarlanan sorguların gidiş-dönüşü atlaması için bir sonuç önbelleği ekler; bu da hafif bir kopyayla arasındaki çizgiyi bulanıklaştırır.
Veri federasyonu pratikte nasıl görünür?
Federasyon, bir pipeline kurmanın soruyu yanıtlamaktan daha uzun süreceği, ara sıra sorulan sistemler arası sorularda öne çıkar. Siparişleri şirket içi bir SQL Server ERP'de, web lead'leri ise BigQuery'de bulunan 200 kişilik bir B2B üreticiyi düşünün.
Analitik lideri, bir SQL Server konnektörü ve bir BigQuery konnektörüyle Trino'yu kurar.
Lead kaynağını müşteri alan adı üzerinden ilk sipariş değeriyle birleştiren tek bir sorgu yazar.
Yanıt (diyelim ki fuar lead'lerinin ilk siparişlerinin ücretli arama lead'lerininkinin iki katı büyüklükte olduğu) aynı öğleden sonra gelir.
İlk yanıt için ne pipeline'a, ne yeni depolamaya ne de veri mühendisine açılan bir talebe ihtiyaç duyuldu.
Bu soru artık her ay sorulacağı için ekip daha sonra iki tabloyu da ambara taşır.
Veri federasyonunun sınırları nelerdir?
Federasyon, depolama maliyetini sorgu anındaki riskle takas eder: Her sorgu, her kaynağın hızlı ve çevrimiçi olmasına bağlıdır.
Üretim sistemleri üzerindeki yük: Ağır sorgular, müşterilere hizmet veren ERP'yi veya uygulama veritabanını yavaşlatabilir.
Ağa bağımlı birleştirmeler: Kaynaklar arasında iki büyük tabloyu birleştirmek, çoğu zaman tek bir ambarın içinde yapmaktan çok daha yavaştır.
Geçmiş yok: Kaynaklar genellikle güncel durumu tutar; bu yüzden trend soruları için bir yerde saklanan anlık görüntüler (snapshot) gerekir.
Tutarsız anahtarlar: Federasyon veriyi birleştirir ama temizlemez; uyuşmayan müşteri kimlikleri sonuçları yine bozar.
Pratik bir eşik: Federe bir panel her sabah onlarca kişi tarafından açılıyorsa, her görüntüleme kaynak sistemlere yeniden yüklenir ve zamanlanmış bir kopya genellikle daha ucuz ve daha güvenlidir.
Veri federasyonu, veri sanallaştırmadan nasıl ayrılır?
Federasyon, kaynaklar arasında sorgu çalıştırma yeteneğidir; sanallaştırma ise bunun üzerine semantik modelleme, önbellekleme ve güvenlik ekleyen daha geniş katmandır. Daha fazlası için veri sanallaştırma maddesine bakın. Pratikte terimler örtüşür ve birçok sağlayıcı bunları birbirinin yerine kullanır.
Yaygın araçlar arasında Trino ve Starburst, Presto, Denodo, Dremio, BigQuery federe sorguları, Snowflake external table'ları ve Postgres foreign data wrapper'ları (postgres_fdw) bulunur. Bir data fabric, federasyonu genellikle çeşitli entegrasyon yöntemlerinden biri olarak kullanır.
Seçim yaparken üç şeyi kontrol edin: Kaynaklarınız için hangi konnektörlerin push-down desteklediğini, motorun kimlik bilgilerini ve satır düzeyinde güvenliği nasıl ele aldığını ve sık kullanılan sonuçları önbelleğe alıp alamadığını.
Veri federasyonu ve veri ambarı karşılaştırması
Veri federasyonu | Veri ambarı | |
|---|---|---|
Verinin bulunduğu yer | Kaynak sistemlerde kalır | Tek bir merkezi depoya kopyalanır |
Güncellik | Her kaynak ne kadar güncelse o kadar | Son yükleme ne kadar güncelse o kadar |
Sorgu hızı | En yavaş kaynağa ve ağa bağlıdır | Öngörülebilir, optimize edilmiş depolama |
Geçmiş | Genellikle yalnızca güncel durum | Anlık görüntüleri ve tüm geçmişi saklar |
En uygun olduğu kullanım | Anlık (ad hoc), seyrek sistemler arası sorular | Günlük raporlama ve paneller |
VIZIO AI veri federasyonuna nasıl yaklaşıyor?
VIZIO AI'ın teslim ettiği projeler, aynı sistemler arası sorular her gün sorulduğunda federasyon yerine konsolidasyonu tercih eder. Verileri Lawmatics, Clio Manage ve QuickBooks'ta bulunan Seattle'daki bir aile hukuku bürosu için DX Studio, üç sistemi canlı sorgulamak yerine günlük senkronizasyonlu merkezi bir SQL veri ambarı kurdu; hukuki operasyonel analitik paneli manuel raporlama süresini %65 azalttı ve gelir takibi doğruluğunu %42 artırdı. Ambar ayrıca günlük geçmişi de tutuyor; üç kaynak sisteme yapılan canlı sorgular bunu sağlayamazdı.
Bu tercihin arkasındaki karar kuralı federasyon için de geçerlidir: Sistemler arası bir birleştirmeye her gün ihtiyaç duyuluyor ve hızlı kalması gerekiyorsa veriyi kopyalayın; nadiren gerekiyorsa yerinde sorgulayın.
Nereden başlamalı: Herhangi bir kalıbı seçmeden önce sistemler arası sorularınızı ve her birinin ne sıklıkla sorulduğunu listeleyin.