İçeriğe geç

Sözlük

Veri Yönetişimi ve Güvenliği

Veri Soy Ağacı (Data Lineage)

Veri soy ağacı (data lineage), bir veri parçasının nereden geldiğinin, hangi sistemlerden ve dönüşümlerden geçtiğinin ve nerede kullanıldığının kaydıdır; genellikle kaynak tablolardan panellere ve modellere uzanan bir grafik olarak çizilir.

Güncelleme: · Hazırlayan: VIZIO AI ekibi

Veri soy ağacı nedir?

Veri soy ağacı iki soruyu yanıtlar: "Bu sayı nereden geldi?" (yukarı akış) ve "Bunu değiştirirsem ne bozulur?" (aşağı akış). Üç ayrıntı düzeyinde kaydedilir:

  • Tablo düzeyi: A modeli B ve C tablolarından okur.

  • Sütun düzeyi: Paneldeki "net_revenue" alanı, orders.amount eksi refunds.amount değerinden türetilir.

  • İş soy ağacı: Aynı yolun denetçiler ve yöneticiler için sade bir dille açıklanması.

Genellikle SQL ayrıştırılarak, ambar sorgu günlükleri okunarak veya pipeline'lardan çalışma olayları toplanarak otomatik olarak üretilir.

Veri soy ağacı nasıl elde edilir?

Çoğu modern yığın zaten kısmi bir soy ağacı üretir; asıl iş bunları tek bir grafikte birleştirmektir. dbt, her ref() çağrısından bir bağımlılık grafiği oluşturur ve bunu kendi dokümantasyon sitesinde yayımlar. OpenLineage standardı, Airflow, Spark ve dbt'nin Marquez gibi bir arka ucun sakladığı çalışma olaylarını yaymasına olanak tanır.

Ambarlar da yardımcı olur: Snowflake nesne bağımlılıklarını ve erişim geçmişini sunar, Google Cloud ise Dataplex üzerinden soy ağacı sağlar. Ardından DataHub, OpenMetadata, Atlan veya Collibra gibi bir veri kataloğu bu akışları birleştirir ve sahipleri ve açıklamaları ekler.

Veri soy ağacı pratikte nasıl görünür?

Veri soy ağacı, güvenilen bir sayı bir gecede değiştiği ilk anda değerini kanıtlar. Yaklaşık 300 dbt modeline sahip 150 kişilik bir fintech şirketini düşünün. Pazartesi sabahı, CFO panelindeki gelir cuma günkü rakamdan daha düşük görünüyor.

  1. Analist, gelir kutucuğu için sütun düzeyindeki grafiği açar.

  2. Grafik iki ara modelden geçerek bir Stripe kaynak tablosuna kadar geri iz sürer.

  3. Bir konnektör güncellemesi bir alanın adını değiştirmiştir; bu yüzden bir model artık null değerler okumaktadır.

  4. Düzeltmeden önce analist aşağı akıştaki etkiyi kontrol eder: Diyelim ki bu sütuna 14 model ve 3 panel bağlı.

Düzeltme ve paydaşlara yönelik mesaj, yönetim kurulu dosyası hazırlanmadan önce birlikte gönderilir.

Aynı grafik daha sonra bir koruma mekanizmasına dönüşür. Ekip, bir kaynak tabloya dokunan her pull request'te etkilenen aşağı akış modellerini listeleyen bir CI kontrolü ekler; böylece bir sonraki ad değişikliği bir pazartesi sabahı değil, kod incelemesinde yakalanır.

Veri soy ağacı olmadan aynı inceleme, SQL dosyalarını tek tek okumak ve Slack'te etrafa sormak anlamına gelir; bu da günün büyük kısmını alabilir.

Veri soy ağacı neden önemlidir ve nerede yetersiz kalır?

Veri soy ağacı kök neden bulma süresini kısaltır ve değişiklikleri daha güvenli hâle getirir, ancak verinin yönetişim altındaki araçlardan çıktığı her yerde kör kalır. Faydaları arasında daha hızlı hata ayıklama, şema değişikliklerinden önce etki analizi ve GDPR Madde 30 işleme faaliyetleri kayıtları veya bankacılıkta BCBS 239 veri toplulaştırma ilkeleri gibi düzenlemeler için kanıt sunma yer alır.

Boşluklar öngörülebilirdir: Tablolama dosyaları (spreadsheet), anlık (ad hoc) Python betikleri ve manuel yüklemeler nadiren soy ağacı bilgisi üretir. Elle çizilen diyagramlar birkaç ay içinde eskir ve sütun düzeyinde ayrıştırma dinamik SQL'de zorlanabilir. Bir düzine modeli olan küçük ekipler yalnızca dbt docs'u yeterli bulabilir.

Veri soy ağacı, veri kataloğundan nasıl ayrılır?

Katalog, veri varlıklarının envanteridir; soy ağacı ise bu varlıkların birbirine nasıl bağlandığının haritasıdır. Çoğu katalog soy ağacını görüntüler, ancak katalog olmadan da soy ağacına (örneğin dbt docs) sahip olabilirsiniz. Her ikisi de veri yönetişimini destekler ve her ikisi de kodla tanımlanmış pipeline'lara dayanır; bu, temel bir DataOps uygulamasıdır.

Soy ağacı, köken bilgisinden (provenance) de farklıdır. Köken bilgisi, belirli bir kaydın veya dosyanın kökenini ve geçmişini tanımlar; örneğin bir belgeyi kimin ve ne zaman oluşturduğu. Soy ağacı ise veri setleri ve süreçler arasındaki akışı tanımlar. Düzenlemeye tabi ekiplerin her ikisine de ihtiyacı vardır: raporlanan bir rakamın nasıl oluşturulduğunu göstermek için soy ağacına, tek tek girdilerin nereden geldiğini göstermek için köken bilgisine.

Araçları değerlendirirken soy ağacının sütun düzeyinde olup olmadığını, BI katmanınızı (Power BI, Tableau, Looker) kapsayıp kapsamadığını ve her çalıştırmada otomatik olarak güncellenip güncellenmediğini kontrol edin.

Veri soy ağacı ve veri kataloğu karşılaştırması

Veri soy ağacı

Veri kataloğu

Temel soru

Bu nereden geldi, neyi besliyor?

Hangi veriler var ve sahibi kim?

Yapı

Bağımlılıkların yönlü grafiği

Aranabilir varlık envanteri

Elde edildiği kaynak

SQL ayrıştırma, sorgu günlükleri, çalışma olayları

Metadata tarayıcıları ve manuel düzenleme

Birincil kullanıcı

Pipeline'larda hata ayıklayan veya değişiklik yapan veri mühendisleri

Güvenilir veri arayan analistler

Örnek araçlar

dbt docs, OpenLineage, Marquez

DataHub, Atlan, Collibra

VIZIO AI veri soy ağacına nasıl yaklaşıyor?

VIZIO AI, her metriği kaynak sistemden panele uzanan tek ve belgelenmiş bir yol üzerinde tutar; soy ağacını izlenebilir kılan da budur. İspanya merkezli uluslararası bir butik hukuk bürosu için DX Studio, HubSpot CRM'i ve finansal sistemleri güvenli API'ler üzerinden tek bir SQL veri ambarına bağladı; Power BI'ı besleyen otomatik senkronizasyon pipeline'ları ve veri doğrulama katmanları kurdu.

Vaka çalışması bir soy ağacı aracının adını vermiyor; örtüşen nokta, her KPI'ın manuel Excel çıktıları yerine doğrulanmış tek bir rotadan akmasıdır. Büro performans raporlama süresini %70 azalttı ve veri doğruluğunu ve güvenilirliğini %45 artırdı. Nereden başlamalı: En çok kullanılan beş paneliniz için dbt docs'u veya ambarınızın bağımlılık görünümünü oluşturun.

Facebook logosu
X logosu
LinkedIn logosu
Reddit logosu
Telegram logosu

Önce yapay zekâyı düşünün.
Geleceğin hızında ilerleyin.

Sıradakini birlikte inşa edelim! Ürün fikirlerinden akıllı iş akışlarına, veri odaklı sistemlerden ölçeklenebilir büyüme operasyonlarına kadar.

Strateji Görüşmesi Planlayın