İçeriğe geç

Sözlük

Veri Mühendisliği

Veri Toplulaştırma (Data Aggregation)

Veri toplulaştırma (data aggregation), kalıpların hızlıca okunabilmesi için çok sayıda ayrıntılı kaydı gün, bölge veya ürün gibi boyutlara göre gruplandırarak toplam, sayım, ortalama veya yüzdelik gibi özet değerlerde birleştirme sürecidir.

Güncelleme: · Hazırlayan: VIZIO AI ekibi

Veri toplulaştırma nedir?

Toplulaştırma, ayrıntıyı okunabilirlik karşılığında feda eder: 2 milyon sipariş satırı, mağaza ve gün başına tek bir gelir rakamına dönüşür. Her toplulaştırmanın üç parçası vardır: bir ölçü (sipariş değeri), bir fonksiyon (SUM, COUNT, AVG, MAX, yüzdelik) ve bir gruplama (mağaza, gün).

Toplulaştırma birkaç katmanda gerçekleşir. Pipeline'lar genellikle özetleri veri ambarında önceden hesaplar; BI araçları sorgu anında yeniden toplulaştırır; reklam platformlarının API'leri ise zaten önceden toplulaştırılmış günlük toplamlar döndürebilir. İki rakam birbirini tutmadığında özetlemeyi hangi katmanın yaptığını bilmek önemlidir.

Nedenine dair kısa bir örnek: Google Ads günlük tıklamaları hesabın saat diliminde raporluyorsa ve veri ambarınız UTC'ye göre özetliyorsa, aynı "salı" ikisinde farklı saatleri kapsar ve toplamlar hiçbir zaman tam olarak eşleşmez.

Veriler doğru şekilde nasıl toplulaştırılır?

Doğru toplulaştırma, kaynak tablonun granülerliğini, yani bir satırın neyi temsil ettiğini bilmekle başlar. Hataların çoğu yanlış granülerlikte toplama yapmaktan kaynaklanır.

  • Toplanabilir ölçüler (gelir, adet) herhangi bir boyut boyunca toplanabilir.

  • Yarı toplanabilir ölçüler (hesap bakiyesi, eldeki stok) mağazalar boyunca toplanabilir ama günler boyunca toplanamaz; bunun yerine dönem sonu değerini alın.

  • Toplanamaz ölçüler (dönüşüm oranı, ortalama sipariş değeri) asla ortalaması alınmadan, pay ve paydalarından yeniden hesaplanmalıdır.

  • Tekil sayımlar (benzersiz müşteriler) günler boyunca toplanamaz; pazartesi ve salı aktif olan bir müşteri hafta için bir kez sayılır.

SQL'de bu, doğru fonksiyonla GROUP BY demektir; dbt'de ise çoğu zaman günlük bölümleri özetleyen artımlı bir modeldir.

Veri toplulaştırma pratikte nasıl görünür?

Tipik bir senaryo, ham olay verilerini panellerin milisaniyeler içinde okuyabileceği günlük bir özet tabloya dönüştürmektir. Haftada yaklaşık 30.000 siparişi BigQuery'de satır kalemleri olarak saklanan, abonelik usulü bir yemek kiti şirketini ele alın.

  1. Veri ekibi yeni tablonun granülerliğini tanımlar: gün, teslimat bölgesi ve plan türü başına bir satır.

  2. Zamanlanmış bir dbt modeli, her kombinasyon için siparişleri, geliri, tekil müşterileri ve iadeleri hesaplar.

  3. Dönüşüm ve ortalama sepet büyüklüğü, her düzeyde yeniden bölünebilmeleri için pay ve payda sütunları olarak saklanır.

  4. Looker, yönetici görünümleri için özet tabloya, satır kalemlerine ise yalnızca detaya inme için bağlanır.

Diyelim ki haftalık operasyon paneli milyonlarca satırı taramaktan birkaç bin satıra geçti; artık pazartesi toplantısında kullanılabilecek kadar hızlı yükleniyor.

Ayrıntılı satır kalemleri hâlâ saklanıyor; böylece bir bölgenin iade sayısı tuhaf göründüğünde bir analist, ilgili siparişleri tek tıkla açabiliyor.

Veri toplulaştırmanın tuzakları nelerdir?

Toplulaştırmalar, çoğu zaman bir değişikliği açıklayan uç değerleri ve karışımları tam da gizler. İstikrarlı bir ortalama sipariş değeri, çok sayıda küçük siparişten birkaç büyük siparişe kaymayı maskeleyebilir.

  • Simpson paradoksu: her alt gruptaki bir eğilim, gruplar birleştirildiğinde tersine dönebilir.

  • Ortalamaların ortalamasını almak: beş mağazanın dönüşüm oranlarının ortalaması, şirketin dönüşüm oranı değildir.

  • Küçük hücre gizliliği: çok az kişiyi kapsayan toplulaştırmalar bireylerin yeniden tanımlanmasına yol açabilir; bu, GDPR kapsamında önemlidir.

Bir özet yanlış göründüğünde analistlerin detaya inebilmesi için ayrıntılı verileri erişilebilir tutun.

Veri toplulaştırma, veri entegrasyonundan nasıl farklıdır?

Entegrasyon, farklı sistemlerden gelen verileri bir araya getirir; toplulaştırma ise zaten bir arada olan verileri özetler. Genellikle sırayla çalışırlar: Fivetran veya Airbyte gibi araçlar entegrasyonu üstlenir, ardından SQL veya dbt modelleri toplulaştırır.

Bilinmeye değer toplulaştırma motorları: Snowflake veya BigQuery'de veri ambarına özgü GROUP BY, materialized view'lar, ön toplulaştırmalı Tableau Hyper özütleri, Power BI toplulaştırma tabloları ve hızlı özetleme için tasarlanmış ClickHouse veya Apache Druid gibi OLAP motorları. Terim finans alanında Plaid gibi "hesap toplulaştırma" hizmetleri için de kullanılır; bu farklı bir anlamdır: veriyi özetlemek değil, toplamak.

Veri toplulaştırma ve veri entegrasyonu karşılaştırması

Veri toplulaştırma

Veri entegrasyonu

Amaç

Ayrıntıyı toplamlara ve oranlara özetlemek

Ayrı sistemlerden gelen verileri birleştirmek

Çıktı

Daha az sayıda, daha geniş özet satırlar

Birleşik, eşleştirilmiş kayıtlar

Tipik araçlar

SQL GROUP BY, dbt, materialized view'lar

Fivetran, Airbyte, API'ler, ETL işleri

Ana risk

Yanlış granülerlik veya ortalaması alınmış oranlar

Uyuşmayan anahtarlar ve yinelenen kayıtlar

Pipeline'daki sırası

Genellikle entegrasyondan sonra

Genellikle ilk

VIZIO AI veri toplulaştırmaya nasıl yaklaşır?

VIZIO AI, toplulaştırma katmanlarını bir panelin ne kadar hızlı yanıt vermesi gerektiğine ve insanların gerçekte hangi granülerlikte karar verdiğine göre tasarlar. Birleşik Krallık'taki bir siber güvenlik araştırma kuruluşu için Growth Studio, bir Kafka akış pipeline'ıyla beslenen gerçek zamanlı bir fidye yazılımı izleme paneli oluşturdu; Hyper bölümleme, indeksli görünümler ve ön toplulaştırmalar sayesinde 500.000'den fazla kayıt bir saniyenin altında görüntülendi.

ABD'deki bir profesyonel hizmetler firması için aynı stüdyo, Google Ads, Meta ve Google Analytics verilerini otomatik olarak bağlayıp toplulaştıran bir Looker Studio çerçevesi oluşturarak manuel raporlama süresini %25 azalttı.

Nereden başlamalı: en çok kullanılan üç tablonuzun granülerliğini yazın, ardından herhangi bir panelin bir oranın ortalamasını alıp almadığını kontrol edin.

Facebook logosu
X logosu
LinkedIn logosu
Reddit logosu
Telegram logosu

Önce yapay zekâyı düşünün.
Geleceğin hızında ilerleyin.

Sıradakini birlikte inşa edelim! Ürün fikirlerinden akıllı iş akışlarına, veri odaklı sistemlerden ölçeklenebilir büyüme operasyonlarına kadar.

Strateji Görüşmesi Planlayın