Veri Modelleme
Veri modelleme, verilerin nasıl yapılandırılacağını tasarlamaktır: hangi varlıkların bulunduğu, hangi niteliklere sahip oldukları ve birbirleriyle nasıl ilişkilendikleri; bunlar bir veritabanında tablolara, anahtarlara ve kısıtlamalara dönüşen kavramsal, mantıksal ve fiziksel modellerle ifade edilir.
Veri modelleme nedir?
Bir veri modeli, iş dilinden veritabanı koduna kadar üç düzeyde çalışır.
Kavramsal: iş varlıkları ve aralarındaki ilişkiler; örneğin “bir Müşteri birçok Sipariş verir.”
Mantıksal: herhangi bir veritabanı ürününden bağımsız olarak nitelikler, birincil ve yabancı anahtarlar ve normalizasyon kuralları.
Fiziksel: PostgreSQL veya Snowflake gibi belirli bir motor için gerçek tablolar, veri türleri, indeksler ve bölümler (partition).
İki stil öne çıkar. Normalize modeller (üçüncü normal form), her olgu yalnızca bir kez saklandığı için işlemsel sistemlere uygundur. Ralph Kimball tarafından yaygınlaştırılan yıldız şemalar olan boyutsal modeller ise analitik iş yüklerine uygundur. Data Vault, denetlenebilir kurumsal veri ambarları için kullanılan üçüncü bir stildir.
Boyutsal bir veri modeli nasıl kurulur?
Kimball’ın dört adımlı süreci, bir analitik modeli tasarlamanın hâlâ standart yoludur.
İş sürecini seçin; örneğin abonelik faturalandırması.
Tanecikliği (grain) belirleyin: olgu tablosundaki bir satırın tam olarak neyi temsil ettiği.
Her satırı tanımlayan boyutları belirleyin: müşteri, ürün, tarih, kanal.
O taneciklikte ölçülen sayısal olguları belirleyin: tutar, miktar, indirim.
Uygulamada iki iyileştirme önemlidir. Yavaş değişen boyutlar (tip 2) geçmişi korur; böylece plan değiştiren bir müşteri her dönem için doğru plan altında raporlanır. Olgu tabloları arasında paylaşılan uyumlu boyutlar ise finans ve pazarlamanın farklı süreçleri aynı müşteri listesine göre kırılımlamasına olanak tanır.
Veri modelleme uygulamada nasıl görünür?
İyi bir model, şirketteki en zor metriğin hesaplanmasını sıradan bir işe dönüştürür. Faturalandırma için Stripe, ek ürün siparişleri için Shopify ve destek için Zendesk kullanan, üç kişinin aylık yinelenen geliri üç farklı şekilde hesapladığı 50 kişilik bir abonelik kutusu şirketini düşünün.
Bir analitik mühendisi BigQuery'de dbt kullanır ve tanecikliği abonelik başına ay başına bir satır olarak belirler. Modelde abonelik aylarından oluşan bir olgu tablosu, plan değişikliklerinin geçmişini korumak için tip 2 olarak izlenen bir müşteri boyutu ve ayrıca ürün ve tarih boyutları bulunur. dbt testleri, anahtarların benzersiz olduğunu, null olmadığını ve boyutlarıyla eşleştiğini kontrol eder.
Ardından MRR ve churn modelde bir kez tanımlanır ve her Looker Studio grafiği aynı tabloyu okur. Diyelim ki her ay bir gün süren bir anlaşmazlık ortadan kalkıyor.
Aynı model daha sonra kimsenin planlamadığı soruları da yanıtlar; örneğin plana göre abone başına destek talebi sayısı; çünkü Zendesk verileri ayrı bir elektronik tabloda durmak yerine müşteri boyutuna bağlanır.
Yaygın veri modelleme hataları nelerdir?
Raporlama hatalarının çoğu yanlış bir formüle değil, belirsiz bir tanecikliğe dayanır. Şunlara dikkat edin:
Siparişleri sipariş satırlarıyla birleştirmenin sipariş toplamlarını tekrarlayıp geliri şişirdiği çoğaltan (fan-out) join'ler.
Analistleri on yönlü join'lere zorlayan aşırı normalize edilmiş analitik tablolar.
Bugün sorulan sorular yerine gelecekteki her varsayımsal ihtiyacı modellemek.
Sütunları uyarı yapmadan yeniden adlandırmak veya kaldırmak; bu, panelleri sessizce bozar.
Tanımların sahibinin olmaması; böylece model, işletmenin konuşma biçiminden uzaklaşır.
Tek bir veritabanına sahip çok erken aşamadaki bir startup çoğu zaman doğrudan sorgulama yapabilir; resmî modelleme, birden fazla kaynak aynı metrikleri beslemeye başladığında karşılığını verir.
Veri modelleme için hangi araçlar kullanılır?
Araçlar diyagram, dönüşüm ve semantik katman olarak ayrılır. Diyagramlar ve fiziksel tasarım için ekipler dbdiagram.io, Lucidchart, erwin Data Modeler veya SqlDBM kullanır. Modelleri bir veri ambarı içinde kod olarak oluşturmak için yaygın seçenekler dbt ve SQLMesh'tir; dönüşümler SQL ile yazılır.
En üstte, BI araçları için metrikleri tanımlayan semantik katmanlar bulunur: Looker'da LookML, Power BI'da semantik modeller ve dbt Semantic Layer. Verilerin önce nereye düştüğü ve nasıl yeniden şekillendirildiği ETL başlığı altında ele alınır.
Pratik bir kural: Diyagramları iş birimleriyle yapılan konuşmalar için saklayın; testleri ve dokümantasyonuyla birlikte dbt veya SQLMesh projesini ise gerçekte geçerli olan model olarak kabul edin.
Normalize model ve boyutsal model karşılaştırması
Normalize (3NF) | Boyutsal (yıldız şema) | |
|---|---|---|
Ne için tasarlanır | İşlemler: ekleme ve güncellemeler | Analiz: okumalar ve toplamalar |
Yapı | Birbiriyle ilişkili çok sayıda dar tablo | Boyutlarla çevrili olgu tabloları |
Tekrar (redundancy) | Minimum, her olgu bir kez saklanır | Sorguları basitleştirmek için bilinçli |
Sorgu stili | Bir rapor için çok sayıda join | Az join, kolay toplama |
Geçmiş | Genellikle yalnızca mevcut durum | Yavaş değişen boyutlar geçmişi korur |
Tipik ortam | PostgreSQL, MySQL uygulama veritabanları | Snowflake, BigQuery, Redshift |
VIZIO AI veri modellemeye nasıl yaklaşır?
VIZIO AI verileri, yönetimin gerçekten üzerinde tartıştığı KPI'lar etrafında modeller ve ardından onları besleyen her şeyi otomatikleştirir. ABD merkezli bir kadın modası e-ticaret markası için DX Studio, farklı sistemlerden gelen pazarlama, satış ve fiyatlandırma verilerini ortak bir KPI modelinde uzlaştıran tutarlı bir veri modeli kurdu. Veri doğruluğu %28 arttı ve operasyonel kararlar %32 daha hızlı alınmaya başlandı.
İspanya merkezli uluslararası butik bir hukuk bürosu için ekip, HubSpot ve finansal sistemleri birbirine bağlayan, metrikleri İspanya, Portekiz ve Yunanistan genelinde tutarlı tutan doğrulama katmanlarına sahip bir SQL veri ambarı kurdu; raporlama süresi %70 azaldı. Nereden başlamalı: En çok tartışılan metriğiniz için tek cümlelik bir taneciklik tanımı yazın.