Veri Ambarı
Veri ambarı (data warehousing), birçok operasyonel sistemdeki veriyi; günlük işlemleri yürütmek için değil, raporlama ve analiz için modellenmiş ve temizlenmiş, sorgulamaya optimize edilmiş tek bir merkezi veritabanında toplama pratiğidir.
Veri ambarı nedir?
Veri ambarı analizi operasyondan ayırır: CRM satış yapmaya devam eder, veri ambarı ise CRM, faturalama ve diğer tüm sistemler genelindeki soruları yanıtlar. Operasyonel veritabanları çok sayıda küçük yazma işlemi için tasarlanır; veri ambarı ise milyonlarca satırı tarayan büyük okuma işlemleri için tasarlanır.
Tipik bir veri ambarı yığını dört katmandan oluşur:
Kaynaklar: CRM, ERP, reklam platformları, ürün veritabanları.
Veri alımı (ingestion): Veriyi bir zamanlamaya göre ya da akış (stream) olarak kopyalayan bağlayıcılar.
Depolama ve modelleme: Ham, temizlenmiş ve iş kullanımına hazır tablolar; çoğunlukla olgu (fact) ve boyut (dimension) tablolarından oluşan bir yıldız şemasında.
Tüketim: BI araçları, not defterleri ve iş uygulamalarına geri veri gönderen reverse ETL.
Modern bulut veri ambarları depolamayı işlem gücünden ayırır; böylece ekipler sabit sunucular için değil, sorgular çalıştıkça öder.
Bir veri ambarı nasıl tasarlanır?
Tasarım, işletmenin yanıtlanmasını istediği sorulardan başlar, ardından veri modeline doğru geriye çalışır. Sağlam bir sıralama:
Kararları listeleyin: Örneğin, "Hangi kanallar yenileme yapan müşteriler getiriyor?"
Bir modelleme yaklaşımı seçin: Ralph Kimball'un boyutsal yaklaşımı her iş süreci için yıldız şemaları kurar; Bill Inmon'un yaklaşımı ise önce normalize edilmiş bir kurumsal çekirdek, ardından mart'lar kurar.
Ayrıntı düzeyini (grain) tanımlayın: Sipariş satırı başına, gün başına ya da oturum başına bir satır. Ayrıntı düzeylerini karıştırmak en yaygın modelleme hatasıdır.
Geçmişi planlayın: Bir müşterinin geçen yıl hangi planda olduğunu bilmeniz gerekiyorsa Tip 2 yavaş değişen boyut (slowly changing dimension) kullanın.
Pipeline'ı katmanlara ayırın: Ham, staging ve mart'lar; genellikle dbt'de ETL veya ELT ile kurulur.
Veri ambarı pratikte nasıl görünür?
İlk veri ambarı genellikle, eskiden bir haftalık tablo çalışması gerektiren tek bir soruyu yanıtlayarak kendini amorti eder. HubSpot, Stripe, Zendesk ve bir Postgres ürün veritabanı kullanan 150 kişilik bir B2B SaaS şirketini ele alalım.
Diyelim ki CFO, edinme kanalına göre net gelir elde tutma oranını (net revenue retention) görmek istiyor. Veri ekibi dört kaynağın tamamını Fivetran ile Snowflake'e yüklüyor, ardından dbt modelleri kuruyor: hesap-ay ayrıntı düzeyinde aylık abonelik geliri için bir olgu tablosu ve hesap, plan ve HubSpot'tan gelen orijinal kanal için boyut tabloları.
Hesap ID'leri, RevOps'un sahibi olduğu bir eşleme tablosu kullanılarak Stripe ve HubSpot arasında eşleştiriliyor. Model canlıya alındıktan sonra metrik Looker'da her gün yenileniyor; aynı tablolar daha sonra yeni bir entegrasyon çalışması gerekmeden bir churn modelini ve bir müşteri sağlığı skorunu da besliyor.
Finans ekibi aylık dışa aktarma ritüelini bırakıyor ve yeni sorular yeni bir proje değil, yalnızca bir sütun ekleme meselesi hâline geliyor.
Bir veri ambarının ödünleşimleri nelerdir?
Veri ambarı, baştaki modelleme ve süregelen bakım maliyeti karşılığında tutarlılık ve analiz hızı kazandırır. Birden fazla ekip sistemler arası sorular sormaya başladığında doğru tercihtir; tek bir aracın yerleşik raporları için ise gereğinden fazladır.
Maliyetin sinsice artması: Sorgu başına ödeme modeli, her yenilemede tabloların tamamını tarayan filtresiz panelleri cezalandırır.
Gecikme: Toplu (batch) yüklemeler verinin saatlerce eski olması anlamına gelir; gerçek zamanlılık bir akış (streaming) tasarımı gerektirir.
Yapılandırılmamış veri: Görseller, ses ve ham loglar bir data lake içinde daha iyi durur.
Sahipsiz modeller: Belirlenmiş sahipler olmadan tablolar çoğalır ve tanımlar kayar.
Tabloları tarihe göre bölümlemek (partitioning) ve her ekip için sorgu bütçeleri belirlemek, sürpriz faturaların çoğunu önler.
Veri ambarının data lake veya lakehouse'tan farkı nedir?
Veri ambarı, hızlı SQL için yapılandırılmış ve modellenmiş veriyi saklar; data lake her türlü ham veriyi düşük maliyetle saklar; lakehouse ise data lake depolamasının üzerine veri ambarı tarzı tablolar ekler. Birçok şirket bunların bir kombinasyonunu kullanır.
Önde gelen veri ambarı platformları arasında Snowflake, Google BigQuery, Amazon Redshift, Azure Synapse Analytics ve ClickHouse bulunur; Databricks ise en bilinen lakehouse platformudur. Daha küçük ekipler için Postgres veya DuckDB son derece yeterli bir ilk veri ambarı olabilir. Bir veri ambarı içinde data mart, finans veya pazarlama gibi tek bir departman için modellenmiş bir alt kümedir. Fivetran, Airbyte ve Stitch gibi veri alım araçları veriyi içeri taşır; dönüştürmeyi dbt üstlenir.
Veri ambarı ve data lake karşılaştırması
Veri ambarı | Data lake | |
|---|---|---|
Saklanan veri | Yapılandırılmış, temizlenmiş, modellenmiş | Her formatta ham dosyalar |
Şema | Yüklemeden önce tanımlanır | Okuma sırasında uygulanır |
Ana kullanıcılar | Analistler ve BI araçları | Veri mühendisleri ve veri bilimciler |
Tipik platformlar | Snowflake, BigQuery, Redshift | Amazon S3, Azure Data Lake Storage |
En uygun olduğu alan | Güvenilir raporlama ve KPI'lar | ML eğitim verisi ve arşivler |
VIZIO AI veri ambarlarını nasıl kurar?
VIZIO AI, veri ambarlarını yöneticilerin gerçekten kullandığı panellerin temeli olarak kurar ve işletmenin hâlihazırda kullandığı sistemleri birbirine bağlar. İspanya merkezli uluslararası bir butik hukuk bürosu için DX Studio ekibimiz, HubSpot CRM'i ve finansal sistemleri güvenli API'ler üzerinden birbirine bağlayan ve Power BI'ı besleyen bir SQL veri ambarı kurdu. Performans raporlama süresi %70 azaldı; İspanya, Portekiz ve Yunanistan genelinde ülkeler arası görünürlük sağlandı.
Suudi Arabistan'daki lüks bir gayrimenkul geliştiricisi için Venture Studio ekibimiz Zoho CRM, Google Analytics ve Meltwater'ı birleşik bir veri ambarına entegre etti ve manuel raporlama süresini %22 azalttı.
Nereden başlamalı: Yönetiminizin her ay sorduğu beş soruyu yazın ve her birinin hangi sistemlere ihtiyaç duyduğunu kontrol edin.
VIZIO AI vaka çalışmalarında Veri Ambarı
- Legal Marketing Intelligence ›Bir SQL veri ambarı, HubSpot ve finans verilerini Power BI için birleştirerek performans raporlama süresini %70 azalttı.
- Real Estate Data & Power BI ›Birleşik bir veri ambarı Zoho CRM, Google Analytics ve Meltwater'ı bir araya getirerek manuel raporlama süresini %22 azalttı.