İçeriğe geç

Sözlük

Veri Mühendisliği

Veri Federasyonu

Veri federasyonu, kullanıcıların veriyi önce merkezi bir depoya kopyalamadan birkaç ayrı veritabanı veya sistem üzerinde tek bir sorgu çalıştırıp birleşik bir sonuç almasını sağlayan bir mimaridir.

Güncelleme: · Hazırlayan: VIZIO AI ekibi

Veri federasyonu nedir?

Federasyon veriyi bulunduğu yerde bırakır ve onun yerine sorguyu taşır. Bir federasyon motoru, bir Postgres veritabanı, bir S3 bucket'ı ve bir SaaS API'si gibi uzak kaynakları tek bir sanal şemadaki tablolarmış gibi sunar.

Kullanıcı SQL çalıştırdığında motor bunu alt sorgulara böler, her birini doğru kaynağa gönderir ve ardından kısmi sonuçları birleştirir. Bunun tersi olan kalıp konsolidasyondur; burada bir ETL pipeline'ı her şeyi önce bir veri ambarına kopyalar.

Federasyon, bu amaçla geliştirilmiş motorlarla pratik hâle geldi. Facebook, veriyi yerinde sorgulamak için 2012'de Presto'yu geliştirmeye başladı; onun çatalı (fork) olan Trino bugün birçok veritabanı, nesne deposu ve dosya formatı için konnektörlerle birlikte geliyor.

Federe bir sorgu nasıl çalışır?

Her federe sorgu dört aşamadan geçer: ayrıştırma, planlama, aşağı itme (push-down) ve birleştirme.

  1. Ayrıştırma: Motor SQL'i okur ve tablo adlarını konnektörlerle eşler.

  2. Planlama: Hangi kaynağın hangi satırları tuttuğunu ve her bir veri çekmenin ne kadar maliyetli olduğunu tahmin eder.

  3. Aşağı itme: Filtreler ve toplulaştırmalar her kaynağa gönderilir; böylece ağ üzerinden daha az veri geçer.

  4. Birleştirme: Kısmi sonuçlar birleştirilir ve tek bir sonuç kümesi olarak döndürülür.

Performansın kilit noktası push-down'dır: Konnektörün aşağı itemediği bir filtre, motoru tabloların tamamını çekmeye zorlar.

Birçok motor, tekrarlanan sorguların gidiş-dönüşü atlaması için bir sonuç önbelleği ekler; bu da hafif bir kopyayla arasındaki çizgiyi bulanıklaştırır.

Veri federasyonu pratikte nasıl görünür?

Federasyon, bir pipeline kurmanın soruyu yanıtlamaktan daha uzun süreceği, ara sıra sorulan sistemler arası sorularda öne çıkar. Siparişleri şirket içi bir SQL Server ERP'de, web lead'leri ise BigQuery'de bulunan 200 kişilik bir B2B üreticiyi düşünün.

  • Analitik lideri, bir SQL Server konnektörü ve bir BigQuery konnektörüyle Trino'yu kurar.

  • Lead kaynağını müşteri alan adı üzerinden ilk sipariş değeriyle birleştiren tek bir sorgu yazar.

  • Yanıt (diyelim ki fuar lead'lerinin ilk siparişlerinin ücretli arama lead'lerininkinin iki katı büyüklükte olduğu) aynı öğleden sonra gelir.

İlk yanıt için ne pipeline'a, ne yeni depolamaya ne de veri mühendisine açılan bir talebe ihtiyaç duyuldu.

Bu soru artık her ay sorulacağı için ekip daha sonra iki tabloyu da ambara taşır.

Veri federasyonunun sınırları nelerdir?

Federasyon, depolama maliyetini sorgu anındaki riskle takas eder: Her sorgu, her kaynağın hızlı ve çevrimiçi olmasına bağlıdır.

  • Üretim sistemleri üzerindeki yük: Ağır sorgular, müşterilere hizmet veren ERP'yi veya uygulama veritabanını yavaşlatabilir.

  • Ağa bağımlı birleştirmeler: Kaynaklar arasında iki büyük tabloyu birleştirmek, çoğu zaman tek bir ambarın içinde yapmaktan çok daha yavaştır.

  • Geçmiş yok: Kaynaklar genellikle güncel durumu tutar; bu yüzden trend soruları için bir yerde saklanan anlık görüntüler (snapshot) gerekir.

  • Tutarsız anahtarlar: Federasyon veriyi birleştirir ama temizlemez; uyuşmayan müşteri kimlikleri sonuçları yine bozar.

Pratik bir eşik: Federe bir panel her sabah onlarca kişi tarafından açılıyorsa, her görüntüleme kaynak sistemlere yeniden yüklenir ve zamanlanmış bir kopya genellikle daha ucuz ve daha güvenlidir.

Veri federasyonu, veri sanallaştırmadan nasıl ayrılır?

Federasyon, kaynaklar arasında sorgu çalıştırma yeteneğidir; sanallaştırma ise bunun üzerine semantik modelleme, önbellekleme ve güvenlik ekleyen daha geniş katmandır. Daha fazlası için veri sanallaştırma maddesine bakın. Pratikte terimler örtüşür ve birçok sağlayıcı bunları birbirinin yerine kullanır.

Yaygın araçlar arasında Trino ve Starburst, Presto, Denodo, Dremio, BigQuery federe sorguları, Snowflake external table'ları ve Postgres foreign data wrapper'ları (postgres_fdw) bulunur. Bir data fabric, federasyonu genellikle çeşitli entegrasyon yöntemlerinden biri olarak kullanır.

Seçim yaparken üç şeyi kontrol edin: Kaynaklarınız için hangi konnektörlerin push-down desteklediğini, motorun kimlik bilgilerini ve satır düzeyinde güvenliği nasıl ele aldığını ve sık kullanılan sonuçları önbelleğe alıp alamadığını.

Veri federasyonu ve veri ambarı karşılaştırması

Veri federasyonu

Veri ambarı

Verinin bulunduğu yer

Kaynak sistemlerde kalır

Tek bir merkezi depoya kopyalanır

Güncellik

Her kaynak ne kadar güncelse o kadar

Son yükleme ne kadar güncelse o kadar

Sorgu hızı

En yavaş kaynağa ve ağa bağlıdır

Öngörülebilir, optimize edilmiş depolama

Geçmiş

Genellikle yalnızca güncel durum

Anlık görüntüleri ve tüm geçmişi saklar

En uygun olduğu kullanım

Anlık (ad hoc), seyrek sistemler arası sorular

Günlük raporlama ve paneller

VIZIO AI veri federasyonuna nasıl yaklaşıyor?

VIZIO AI'ın teslim ettiği projeler, aynı sistemler arası sorular her gün sorulduğunda federasyon yerine konsolidasyonu tercih eder. Verileri Lawmatics, Clio Manage ve QuickBooks'ta bulunan Seattle'daki bir aile hukuku bürosu için DX Studio, üç sistemi canlı sorgulamak yerine günlük senkronizasyonlu merkezi bir SQL veri ambarı kurdu; hukuki operasyonel analitik paneli manuel raporlama süresini %65 azalttı ve gelir takibi doğruluğunu %42 artırdı. Ambar ayrıca günlük geçmişi de tutuyor; üç kaynak sisteme yapılan canlı sorgular bunu sağlayamazdı.

Bu tercihin arkasındaki karar kuralı federasyon için de geçerlidir: Sistemler arası bir birleştirmeye her gün ihtiyaç duyuluyor ve hızlı kalması gerekiyorsa veriyi kopyalayın; nadiren gerekiyorsa yerinde sorgulayın.

Nereden başlamalı: Herhangi bir kalıbı seçmeden önce sistemler arası sorularınızı ve her birinin ne sıklıkla sorulduğunu listeleyin.

Facebook logosu
X logosu
LinkedIn logosu
Reddit logosu
Telegram logosu

Önce yapay zekâyı düşünün.
Geleceğin hızında ilerleyin.

Sıradakini birlikte inşa edelim! Ürün fikirlerinden akıllı iş akışlarına, veri odaklı sistemlerden ölçeklenebilir büyüme operasyonlarına kadar.

Strateji Görüşmesi Planlayın