Data Mart (Veri Pazarı)
Data mart; pazarlama, finans veya satış gibi tek bir konuya özgü, bir ekibin raporlama ihtiyaçları için modellenip depolanan ve çoğunlukla daha büyük bir veri ambarından beslenen analitik veri alt kümesidir.
Data mart nedir?
Bir mart, veri ambarını tek bir departmanın gerçekten sorguladığı tablolara indirger ve bunları o departmanın düşünme biçimine göre şekillendirir. Finans faturaları, ödemeleri ve maliyet merkezlerini alır; pazarlama ise kampanyaları, harcamaları ve atfedilen lead'leri.
Çoğu mart yıldız şema kullanır: merkezde bir olgu (fact) tablosu (sipariş, reklam tıklaması veya ödeme başına bir satır) ve onu çevreleyen boyut (dimension) tabloları (müşteri, ürün, tarih, kanal). Ralph Kimball tarafından yaygınlaştırılan bu yapı, Power BI ve Tableau gibi BI araçlarında sorguları basit ve hızlı tutar.
Modern bulut altyapılarında bir mart çoğu zaman ayrı bir veritabanı değil, veri ambarı içinde dbt modelleriyle oluşturulan marts.finance gibi bir şemadır. Bu fikir, tasarlandığı donanımdan daha uzun ömürlü oldu: amaç hiçbir zaman depolama değildi; amaç bir ekibe kendi terminolojisiyle örtüşen bir model sunmaktı.
Data mart türleri nelerdir?
Mart'lar, verilerinin nereden geldiğine göre sınıflandırılır. Üç standart tür vardır:
Bağımlı (dependent): kurumsal bir veri ambarından oluşturulur, böylece tanımlar departmanlar arasında tutarlı kalır. Bu, Bill Inmon'un modelidir.
Bağımsız (independent): merkezi bir veri ambarı olmadan, doğrudan kaynak sistemlerden tek bir ekip için oluşturulur. Başlaması hızlıdır, ancak çelişkili rakamlar üretmeye yatkındır.
Hibrit: büyük ölçüde veri ambarından beslenir, yerel olarak birkaç ek kaynak eklenir.
Kimball'ın bus mimarisi, mart'ları uyumlu boyutlar (conformed dimensions) aracılığıyla birbirine bağlar: her mart'ın kullandığı ortak bir müşteri veya tarih tablosu sayesinde pazarlama ve finans müşterileri aynı şekilde sayar.
Data mart uygulamada nasıl görünür?
İyi bir ilk mart, bir ekibin tekrarlayan sorularını ham tablolara dokunmalarına gerek kalmadan yanıtlar. Pazarlama ekibi müşteri edinme başına maliyeti hesaplamak için sürekli CSV dışa aktaran 200 kişilik bir e-ticaret perakendecisini düşünün.
Veri ekibi, pazarlamanın en sık sorduğu soruları listeler: kanala göre harcama, kanala göre yeni müşteriler, CAC ve 90 günlük tekrar satın alma oranı.
Kampanya başına günlük harcamayı içeren bir olgu tablosu ve ilk siparişleri içeren bir olgu tablosu oluştururlar; ikisi de ortak bir kanal boyutuna ve şirket genelindeki müşteri boyutuna bağlıdır.
dbt modelleri her gece Snowflake'te çalıştırır; Power BI yalnızca pazarlama şemasına bağlanır.
CAC, her raporda ayrı ayrı değil, modelde bir kez tanımlanır.
Diyelim ki dışa aktarma talepleri bir ay içinde sona eriyor. Finans daha sonra aynı müşteri boyutunu kendi mart'ında yeniden kullanır; böylece iki ekip de aynı yeni müşteri sayılarını raporlar.
Data mart'ların artıları ve eksileri nelerdir?
Mart'lar tek bir ekibi hızlandırır; çok fazla bağımsız mart ise şirketin ortak bir noktada buluşmasını yavaşlatır.
Artıları: iş kullanıcıları için daha basit modeller, daha küçük tablolarda daha hızlı sorgular, net sahiplik ve yalnızca ilgili verilerle sınırlı erişim.
Eksileri: mart'lar bağımsızsa tekrarlanan mantık, departmanlar arasında "iki farklı gelir rakamı" ve bakımı gereken ek pipeline'lar.
Şirketin tamamında bir düzineden az temel tablo varsa ayrı bir mart kurmayın; iyi modellenmiş tek bir veri ambarı şeması yeterlidir. Bir ekibin sorguları tekrar tekrar aynı beş ila on join'e ihtiyaç duyuyorsa bir mart kurun.
Data mart, veri ambarı ve veri gölünden nasıl ayrılır?
Veri ambarı tüm organizasyonu, mart tek bir konuyu kapsar; veri gölü ise her biçimdeki ham veriyi depolar. Uygulamada bunlar katmanlar oluşturur: ham veri bir veri gölüne veya hazırlık (staging) alanına düşer, veri ambarı onu entegre eder ve mart'lar belirli ekiplere sunar.
Araçlar büyük ölçüde ortaktır: depolama için Snowflake, BigQuery, Redshift veya Azure Synapse; modelleme için dbt (dokümantasyonu bir "marts" klasörü önerir); tüketim için Power BI, Looker veya Tableau. Databricks üzerindeki bir lakehouse, madalyon mimarisindeki "gold" tablolarla aynı fikri izler.
Data mart ve veri ambarı karşılaştırması
Data mart | Veri ambarı | |
|---|---|---|
Kapsam | Tek bir konu veya departman | Tüm organizasyon |
Tipik boyut | Birkaç olgu tablosu | Yüzlerce tablo |
Ana kullanıcılar | Tek bir ekibin analistleri ve yöneticileri | Veri ekibi ve tüm departmanlar |
Kurulum süresi | Haftalar | Aşamalı olarak kurulan aylar |
Ana risk | Mart'lar arasında tutarsız tanımlar | Herhangi bir ekibe yavaş teslimat |
VIZIO AI, data mart gibi departman düzeyindeki veri modellerini nasıl kurar?
VIZIO AI, ihtiyaç duyan ekip için konu odaklı modeller kurarken tanımları şirket genelindeki verilerle tutarlı tutar. VIZIO AI'ın yayımlanmış vaka çalışmalarından hiçbiri "data mart" olarak etiketlenmemiştir, ancak en yakın örnek departman kapsamlı bir modeldir. Küresel bir kredi raporlama ve risk analitiği firması için DX Studio, Johannesburg pazarlama ekibine yönelik bir pazarlama ve iş gücü veri seti oluşturdu; Smartsheet ve Excel verilerini Power Query ETL ile tek bir Power BI modelinde birleştirdi.
Ekip yılda 1.500 saatten fazla manuel raporlama işini ortadan kaldırdı ve aylık raporlama döngüsünü beş günden iki günün altına indirdi. İspanya merkezli butik bir hukuk bürosu için DX Studio, Power BI'ı besleyen bir pazarlama ve finans veri ambarı kurarak performans raporlama süresini %70 azalttı.
Nereden başlamalı: Tek bir ekibin en sık sorduğu on soruyu listeleyin ve yalnızca bu soruların gerektirdiği olguları ve boyutları modelleyin.
VIZIO AI vaka çalışmalarında Data Mart (Veri Pazarı)
- Marketing Performance and Workforce Analysis Dashboard ›Smartsheet ve Excel'den oluşturulan, pazarlama ekibine yönelik bir Power BI modeli yılda 1.500 saatten fazla manuel raporlama işini ortadan kaldırdı.
- Legal Marketing Intelligence ›Power BI'ı besleyen bir pazarlama ve finans veri ambarı, performans raporlama süresini %70 azalttı.