İçeriğe geç

Sözlük

Veri Yönetişimi ve Güvenliği

Veri Kataloglama

Veri kataloglama, bir kuruluşun veri kümelerinin, her birinin neyi içerdiği, kimin sahibi olduğu, nereden geldiği ve güvenilir olup olmadığına dair meta verilerle birlikte aranabilir bir envanterini oluşturma ve sürdürme sürecidir.

Güncelleme: · Hazırlayan: VIZIO AI ekibi

Veri kataloglama nedir?

Bir katalog, bir kütüphane dizininin kitaplar için yaptığını tablolar için yapar: veriyi taşımadan neyin var olduğunu ve nerede bulunacağını söyler. Verinin kendisini değil, meta verisini depolar.

Üç tür meta veri toplanır. Teknik meta veri; şemaları, sütun türlerini ve yenilenme zamanlarını kapsar.

İş meta verisi; sade dilde açıklamaları, sözlük terimlerini ve sahipleri kapsar. Operasyonel meta veri ise kullanımı, sorgu sıklığını ve veri soy ağacını, yani hangi kaynak sistemlerin her tabloyu beslediğini ve hangi panellerin ona bağlı olduğunu kapsar.

Katalog, veri ambarının, BI araçlarının ve pipeline'ların içinde değil, yanında yer alır. Tekrar tekrar sorulan dört soruyu hızla yanıtlar: bu veri var mı, bu sütun ne anlama geliyor, kime sormalıyım ve bunu değiştirirsem ne bozulur?

Bir veri kataloğu nasıl oluşturulur?

Otomatik toplama size envanteri verir; onu güvenilir kılan ise insan eliyle yapılan düzenlemedir. İşe yarayan bir yaygınlaştırma öngörülebilir bir sırayı izler.

  1. Kaynakları bağlayın: tarayıcılar Snowflake, BigQuery, Postgres, dbt projeleri ve BI araçlarından şemaları okur.

  2. Önceliklendirin: her şeyi belgelemek yerine en çok sorgulanan 20 ila 50 tabloyu seçin.

  3. Sahip atayın: onaylanan her tabloya isimli bir sahip ve bir veri sorumlusu atanır; bu da kataloğu veri sorumluluğuna (data stewardship) bağlar.

  4. Tanımlayın ve etiketleyin: sade dilde tanımlar, kişisel veri (PII) etiketleri, güncellik beklentileri.

  5. Onaylayın: altın tabloları güvenilir olarak işaretleyin; kullanımdan kaldırılanları belirtin.

  6. Yerleştirin: katalog bilgilerini, insanların zaten kullandığı Slack veya BI katmanı gibi araçların içinde görünür kılın.

Veri kataloglama pratikte nasıl görünür?

Analistlerin dört farklı "customers" tablosu bulduğu ve finansın hangisini kullandığını kimsenin bilmediği 300 kişilik bir fintech şirketini düşünün. Veri ekibi DataHub'ı Snowflake, dbt ve Looker'a bağlar; bu da kaynaktan panele kadar veri soy ağacını otomatik olarak oluşturur.

Diyelim ki ekip ardından tek bir customers tablosunu onaylıyor, aktif müşteri tanımını belgeliyor ve kişisel veri barındıran her sütunu etiketliyor. Kullanımdan kaldırılan tablolara bir uyarı bandı ve yerine geçen tabloya bir yönlendirme eklenir.

Bu örnekte somut sonuç, daha az mükerrer tablo ve daha hızlı onboarding'dir: yeni bir analist "active customers" diye arar, onaylı tabloyu, sahibini ve kaynaklarını görür ve aynı gün çalışmaya başlar. PII etiketleri ayrıca GDPR kapsamındaki erişim ve silme taleplerinin kapsamını belirlemeyi kolaylaştırır.

Veri kataloğu projeleri neden başarısız olur?

Kataloglar çoğunlukla teknoloji yüzünden değil, ihmal yüzünden başarısız olur: açıklamalar eskir ve insanlar onlara güvenmeyi bırakır. Tipik hata türleri öngörülebilirdir.

  • Okyanusu kaynatan kapsam: kimse değer görmeden önce 10.000 tabloyu belgelemeye çalışmak.

  • Sahiplik olmaması: kimsenin hesap vermediği meta veri birkaç ay içinde bozulur.

  • Ayrı bir durak olması: insanların ziyaret etmeyi hatırlaması gereken bir katalog göz ardı edilir; iş akışına yerleştirilmiş bağlam ise kullanılır.

  • Politikadan önce araç: tanımlar ve erişim konusunda veri yönetişimi kararları alınmadan bir platform satın almak.

Tek bir veri ambarı ve iyi belgelenmiş bir dbt projesi olan küçük bir ekip için dbt'nin oluşturduğu dokümantasyon sitesi şimdilik yeterli olabilir.

Veri kataloglama için hangi araçlar kullanılır?

Katalog araçları kurumsal platformlar, açık kaynak projeler ve bir bulut ya da veri ambarına yerleşik kataloglar olarak ayrılır. Doğru seçim büyük ölçüde kaç sistemi kapsamanız gerektiğine bağlıdır.

  • Ticari: Alation, Collibra, Atlan.

  • Açık kaynak: DataHub (LinkedIn'de doğdu), OpenMetadata, Amundsen (Lyft'te doğdu).

  • Platforma yerleşik: Databricks Unity Catalog, AWS Glue Data Catalog, Google Dataplex, Microsoft Purview.

Kataloglama, ana veri yönetiminden farklıdır: bir katalog veri kümelerini tanımlarken MDM, bunların içindeki kayıtları her müşteri veya ürünün tek bir altın sürümünde uzlaştırır.

Araçları karşılaştırırken kendi altyapınızda üç şeyi test edin: kaynaklarınızın kaçı için yerel bağlayıcı olduğunu, sütun düzeyinde veri soy ağacının dbt modelleriniz üzerinden çalışıp çalışmadığını ve erişim politikalarının etiketlerden uygulanabildiğini mi yoksa yalnızca görüntülenebildiğini mi.

Veri kataloğu ve veri sözlüğü

Veri kataloğu

Veri sözlüğü

Kapsam

Birçok sistemdeki tüm veri kümeleri

Tek bir veritabanı veya uygulama

İçerik

Teknik, iş ve kullanım meta verisi ile veri soy ağacı

Sütun adları, türleri ve tanımları

Bakım

Otomatik tarama ve insan eliyle düzenleme

Genellikle elle yazılır ve güncellenir

Hedef kitle

Analistler, mühendisler, yönetişim ekipleri ve iş kullanıcıları

O sistemin geliştiricileri ve DBA'ları

Arama

Tam metin arama, popülerlik sıralaması, güven rozetleri

Bir belge veya tablo olarak okunur

VIZIO AI veri kataloglamaya nasıl yaklaşır?

VIZIO AI'ın yayımlanmış vaka çalışmaları bağımsız bir katalog kurulumu içermiyor, ancak birçok proje sistemler arasında çelişen tanımlar gibi aynı temel soruna eğiliyor. ABD'deki bir kadın modası e-ticaret markası için DX Studio, pazarlama, satış ve fiyatlandırmadaki formatları ortak bir KPI modelinde uzlaştıran tutarlı bir veri modeli üzerine gerçek zamanlı bir moda analitiği paneli kurdu ve veri doğruluğunu %28 artırdı.

İspanya merkezli butik bir hukuk firması için bir hukuki pazarlama zekâsı panelinin arkasındaki otomatik doğrulama katmanları, veri doğruluğunu ve güvenilirliğini %45 artırdı. Üzerinde uzlaşılmış tanımlar ve sahipler, bir kataloğun daha sonra kayıt altına aldığı şeylerin ta kendisidir.

Nereden başlamalı: en çok kullanılan on tablonuzu listeleyin ve her biri için bir sahip ve bir tanım yazın.

Facebook logosu
X logosu
LinkedIn logosu
Reddit logosu
Telegram logosu

Önce yapay zekâyı düşünün.
Geleceğin hızında ilerleyin.

Sıradakini birlikte inşa edelim! Ürün fikirlerinden akıllı iş akışlarına, veri odaklı sistemlerden ölçeklenebilir büyüme operasyonlarına kadar.

Strateji Görüşmesi Planlayın