Veri Mimarı
Veri mimarı, bir kuruluşun verilerinin nasıl yapılandırılacağını, depolanacağını, taşınacağını ve güvence altına alınacağını tasarlayan; mühendislerin ve analistlerin üzerine inşa ettiği modelleri, standartları ve platform planlarını üreten uzmandır.
Veri mimarı nedir?
Veri mimarı planı çizer; veri mühendisleri bu plana göre inşa eder. Mimar, hangi sistemlerin asıl kayıt kaynağı olduğuna, verilerin bunlar arasında nasıl aktığına, analiz için nereye ulaştığına ve her pipeline'ın hangi kurallara uyması gerektiğine karar verir.
Çalışma, veri modellemenin üç katmanını kapsar:
Kavramsal: iş varlıkları (müşteri, sipariş, dava) ve bunların birbiriyle ilişkisi.
Mantıksal: herhangi bir veritabanından bağımsız olarak özellikler, anahtarlar ve ilişkiler.
Fiziksel: seçilen bir platformdaki gerçek tablolar, bölümler, indeksler ve veri türleri.
Mimarlar ayrıca tasarımın büyüdükçe tutarlı kalmasını sağlayan adlandırma kurallarını, güvenlik bölgelerini ve saklama kurallarını belirler. Soruları tanımlayan iş paydaşları ile net spesifikasyonlara ihtiyaç duyan mühendisler arasında konumlanırlar. İyi bir mimari belgesi birkaç sayfaya sığar: kaynakların ve akışların bir diyagramı, temel varlıklar ve her yeni pipeline'ın uyması gereken kurallar.
Bir veri mimarı hangi kararları verir?
Bir veri mimarının değerinin büyük kısmı, geri alınması zor birkaç karardadır. En önemlileri:
Desen: veri türlerine ve ekip yapısına göre veri ambarı, veri gölü, lakehouse veya mesh.
Entegrasyon tarzı: toplu ETL, veri ambarı içinde ELT veya Kafka ile olay akışı.
Modelleme yaklaşımı: BI hızı için Kimball yıldız şemaları veya kurumsal tutarlılık için normalize edilmiş Inmon tarzı bir çekirdek.
Kimlik: tek bir müşterinin CRM, faturalandırma ve destek sistemleri arasında nasıl eşleştirileceği.
Geçmiş: hangi tabloların değişiklik geçmişini tutacağı; örneğin yavaş değişen boyut (SCD) Tip 2.
Kimlik ve geçmişi yanlış kurgulamak klasik başarısızlıktır: raporlar daha sonra "bu, geçen mart ayında nasıl görünüyordu?" sorusunu yanıtlayamaz.
Bir veri mimarının işi pratikte nasıl görünür?
İyi bir mimari, birbirinden kopuk üç aracı sistemler arası soruları yanıtlayan tek bir modele dönüştürür. Randevular için Cliniko, muhasebe için Xero ve pazarlama için HubSpot kullanan 120 kişilik bir fizyoterapi zincirini düşünün.
Diyelim ki yönetim, yönlendirme kaynağı başına geliri görmek istiyor. Mimar ortak bir hasta anahtarı tanımlıyor, veri ambarı olarak BigQuery'yi seçiyor ve günlük yüklemeler için Fivetran bağlayıcılarını belirliyor. Bir yıldız şeması, randevuları ve faturaları olgu tablolarına; hastayı, kliniği ve yönlendirme kaynağını ise boyutlara yerleştiriyor.
Mühendisler bunu dbt'de inşa ediyor. Hasta anahtarı önceden üzerinde uzlaşıldığı için bir Looker Studio raporu, bir HubSpot kampanyasını sonunda ürettiği faturalarla birleştirebiliyor; bunu tek başına hiçbir araç gösteremezdi.
Veri mimarisinde yaygın hatalar nelerdir?
En pahalı mimari hatası, bugünün soruları yerine hayalî bir ölçek için tasarım yapmaktır. 2 GB CRM verisi olan bir şirket için bir Kafka kümesi ve bir lakehouse, hiçbir fayda sağlamadan maliyet ve nöbet yükü ekler.
Tekrar eden diğer sorunlar:
Asıl kayıt kaynağının olmaması: iki sistem de müşteri adresinin "sahibi" olur, bu yüzden güncellemeler çakışır.
Mantığın panellerde olması: iş kuralları veri ambarı yerine Power BI ölçülerine gömülür, böylece her rapor zamanla farklılaşır.
Güvenliğin sonradan düşünülmesi: kişisel veriler maskelenmeden analitik bölgelere kopyalanır.
Basit bir test: yeni bir analist "gelirin" nerede tanımlandığını on dakikadan kısa sürede bulabiliyor mu? Bulamıyorsa mimaride belgelenmiş bir semantik katman eksiktir ve her yeni rapor tanımı biraz farklı şekilde yeniden icat edecektir.
Veri mimarı, veri mühendisinden nasıl farklıdır?
Tasarımın ve standartlarının sahibi mimardır; pipeline'ları inşa etmenin ve çalıştırmanın sahibi ise mühendistir. Küçük ekiplerde genellikle ikisini de bir kişi yapar, ancak bakış açıları farklıdır: mimarlar yıllar boyunca tutarlılık için, mühendisler ise bu sprintte güvenilir teslimat için optimize eder.
Bir veri mühendisi Airflow DAG'lerini, dbt modellerini ve izlemeyi yazar. Mimar, bunların üzerinde uzlaşılan veri standartlarına uyup uymadığını ve bir veri ambarı veya lakehouse gibi hedef tasarıma oturup oturmadığını inceler. Yaygın mimar araçları arasında ER/Studio, erwin, dbdiagram.io ve AWS, Azure ve Google Cloud'un bulut referans mimarileri bulunur.
Veri mimarı ve veri mühendisi karşılaştırması
Veri mimarı | Veri mühendisi | |
|---|---|---|
Ana çıktı | Modeller, standartlar, platform planı | Çalışan pipeline'lar ve tablolar |
Zaman ufku | Yıllar | Sprint'ler ve sürümler |
Tipik araçlar | erwin, ER/Studio, bulut referans tasarımları | dbt, Airflow, Fivetran, Spark |
Temel soru | Veriler nasıl organize edilmeli? | Verileri güvenilir şekilde nasıl taşırız? |
Önledikleri başarısızlık | Tutarsız, birleştirilemeyen veriler | Bozuk veya geciken yüklemeler |
VIZIO AI veri mimarisine nasıl yaklaşır?
VIZIO AI, mimariyi müşterinin vermesi gereken kararlar etrafında tasarlar, ardından yeni kaynakların yeniden inşa gerektirmeden eklenebilmesi için modüler tutar. Seattle'daki bir aile hukuku firması için DX Studio'muz Lawmatics, Clio Manage ve QuickBooks'u birleştiren bir SQL veri ambarı kurdu; bu, manuel raporlama süresini %65 azalttı ve gelir takibinin doğruluğunu %42 iyileştirdi.
Birleşik Krallık'taki bir emtia ticareti firması için özel bir ETL pipeline'ı; elektronik tabloları, API'leri ve geçmiş dosyaları yeni varlıklara ve coğrafyalara hazır, bulut tabanlı ve modüler bir tasarımda standartlaştırarak manuel raporlama süresini %19 azalttı.
Nereden başlamalı: bugün kimsenin yanıtlayamadığı sistemler arası üç soruyu yazın ve bu soruların gerektirdiği ortak anahtarları tasarlayın.
VIZIO AI vaka çalışmalarında Veri Mimarı
- Legal Operational Performance Analytics ›Lawmatics, Clio Manage ve QuickBooks'u birleştiren bir SQL veri ambarı, manuel raporlama süresini %65 azalttı.
- Real-Time Investment Performance Dashboard ›Elektronik tabloları, API'leri ve dosyaları birleştiren modüler, bulut tabanlı bir ETL tasarımı, manuel raporlama süresini %19 azalttı.