İçeriğe geç

Sözlük

Veri Mühendisliği

Veri Harmanlama (Data Blending)

Veri harmanlama, iki veya daha fazla ayrı kaynaktan gelen verinin, önce bir veri ambarında tek bir tabloda birleştirilmeden, analiz veya görselleştirme katmanında tarih ya da müşteri kimliği gibi ortak bir alan üzerinden eşleştirilerek bir araya getirilmesidir.

Güncelleme: · Hazırlayan: VIZIO AI ekibi

Veri harmanlama nedir?

Harmanlama, farklı sistemlerden gelen rakamları yan yana koymanın hafif, rapor düzeyinde bir yoludur. Bir kaynak birincil olarak kabul edilir; her ikincil kaynak ayrı ayrı sorgulanır, ortak bir düzeye toplulaştırılır ve ardından bir bağlantı alanı üzerinden eşleştirilir.

Terim, tam olarak bu birincil/ikincil düzeni tanımladığı Tableau ile ve Looker Studio'nun "blend data" özelliğiyle yakından ilişkilidir. Herhangi bir özetleme yapılmadan önce satır düzeyindeki kayıtları birleştiren veritabanı join işleminden farklıdır.

Her kaynak bulunduğu yerde kaldığı için harmanlama ne bir pipeline ne de yeni bir depolama gerektirir. Çekiciliği buradan gelir; kırılgan olmasının nedeni de budur: hiçbir şey iki kaynağın bir "kampanya" ya da "müşteri"nin ne olduğu konusunda hemfikir olmasını garanti etmez.

Veri harmanlama adım adım nasıl işler?

Bir harmanlama ancak iki kaynak aynı ayrıntı düzeyinde ve aynı formatta bir alanı paylaşıyorsa işe yarar. Olağan sıra şöyledir:

  1. Birincil kaynağı seçin; sonuçta neyin görüneceğini onun satırları belirler.

  2. Tarih, kampanya kimliği veya mağaza kodu gibi bağlantı alanlarını belirleyin ve formatları normalleştirin (saat dilimleri, büyük/küçük harf, kimlik önekleri).

  3. Her ikincil kaynağı bağlantı düzeyine toplulaştırın; örneğin kampanya başına günlük harcama.

  4. Bağlantı üzerinden eşleştirin; eşleşmeyen ikincil satırlar, tıpkı bir left join'de olduğu gibi düşürülür.

  5. Birkaç toplamı her kaynak sistemle karşılaştırarak doğrulayın.

Bağlantı alanlarının ayrıntı düzeyi farklıysa, örneğin haftalık bütçe ile günlük harcama karşılaştırılıyorsa, harmanlama sessizce yanıltıcı oranlar üretir.

Veri harmanlama pratikte nasıl görünür?

Klasik kullanım, pazarlama harcamasını başka bir sistemde kaydedilen sonuçlarla karşılaştırmaktır. Google Ads kullanan, lead'lerini ve kapanan işlerini CRM'inde tutan 25 kişilik bir ev hizmetleri şirketini düşünün.

Pazarlama sorumlusu, Google Ads'i birincil, CRM dışa aktarımını ikincil kaynak olarak alan ve bunları tarih ile kampanya adı üzerinden bağlayan bir Looker Studio raporu oluşturur. Diyelim ki harmanlama, bir kampanyanın tıklama başı maliyetinin düşük olduğunu ama neredeyse hiç iş rezervasyonu getirmediğini, bir diğerinin ise tıklama başına iki kat pahalı olduğu hâlde düzenli olarak iş getirdiğini gösteriyor.

Ekip bir hafta içinde bütçeyi kaydırır. Daha sonra Google Ads'teki kampanya adları değişip CRM ile eşleşmemeye başladığında harmanlama bozulur; bu, mantığı düzgün bir pipeline'a taşıma zamanının geldiğinin işaretidir.

Çıkarılacak ders şudur: harmanlama değerli bir soruyu düşük maliyetle yanıtladı; yalnızca kaynak sistemler değiştikçe onu yanıtlamaya devam edecek şekilde kurulmamıştı.

Veri harmanlamadan ne zaman kaçınmalısınız?

Harmanlama iyi bir prototiptir, ancak pek çok kişinin dayandığı rakamlar için zayıf bir temeldir. Sınırları iyi bilinir:

  • Kırılgan anahtarlar: yeniden adlandırılan kampanyalar veya formatı değişen kimlikler, eşleşmeyi hiçbir hata vermeden bozar.

  • Performans: her kaynak görüntüleme anında sorgulandığı için büyük harmanlamalar yavaşlar.

  • Yeniden kullanılamama: mantık tek bir çalışma kitabının içinde yaşar; ikinci bir rapor onu tekrar eder, çoğu zaman da farklı biçimde.

  • Toplulaştırma sınırları: kaynaklar arası benzersiz sayımlar ve satır düzeyinde hesaplamalar zordur ya da imkânsızdır.

Bir harmanlama birden fazla ekip tarafından haftalık olarak kullanılmaya başladığında, onu veri ambarında modellenmiş bir join olarak yeniden kurun.

Veri harmanlama, veri birleştirme (join) veya veri entegrasyonundan nasıl ayrılır?

Bir join, satırları tek bir veritabanında toplulaştırmadan önce birleştirir; harmanlama ise ayrı kaynaklardan gelen, önceden toplulaştırılmış sonuçları birleştirir. Veri entegrasyonu daha da ileri giderek veriyi belirli bir takvimle ortak bir depoya taşır ve uzlaştırır.

Harmanlamayı destekleyen araçlar arasında Tableau (ilişkiler ve eski tip harmanlamalar), Looker Studio (en fazla beş kaynağın harmanlanması), Power BI (içe aktarılan tablolar arası ilişkiler) ve Excel Power Query birleştirmeleri bulunur. Kalıcı pipeline'lar için ekipler, kimlikleri tutarlı tutmak üzere ana veri yönetimi ile birlikte Fivetran veya Airbyte ve Snowflake ya da BigQuery'deki dbt modellerine geçer.

Veri harmanlama ve veri ambarı join'i

Veri harmanlama

Veri ambarı join'i

Nerede gerçekleşir

BI veya rapor katmanında

Veritabanında veya veri ambarında

Veri ne zaman birleşir

Her kaynak toplulaştırıldıktan sonra

Satır düzeyinde, toplulaştırmadan önce

Kurulum eforu

Bir analist tarafından, dakikalar içinde

Bir pipeline ve modelle, günler içinde

Yeniden kullanılabilirlik

Tek bir çalışma kitabına veya rapora bağlı

Sonraki tüm raporlar tarafından paylaşılır

En uygun olduğu durum

Prototipler ve tek seferlik karşılaştırmalar

Ekipler arasında kullanılan metrikler

VIZIO AI veri harmanlamayı nasıl ele alır?

VIZIO AI, değeri hızla kanıtlamak için harmanlama tarzı birleşimler kullanır, ardından mantık günlük bir araca dönüştüğünde onu pipeline'larla sağlamlaştırır. ABD merkezli küresel bir premium alkollü içecek şirketi için DX Studio, iç satış verilerini Google destekli restoran bilgileriyle birleştiren, potansiyel müşteri potansiyeli, tekrar eden değer ve boş pazar alanı (whitespace) için hesaplanmış metrikler içeren etkileşimli bir satış zekâsı paneli geliştirdi.

Sonuçlar arasında hedef dönüşüm doğruluğunda %23 artış ve satış temsilcisi başına haftada 3,4 saat tasarruf yer aldı. ABD'de bölgesel bir HVAC ve tesisat hizmeti sağlayıcısı için Growth Studio, Google Ads, CRM ve çevrimdışı lead verilerini tek bir Power BI platformunda birleştirerek manuel raporlama eforunu %60 azalttı.

Nereden başlamalı: bir kararı en çok değiştirecek tek dış veri kümesini belirleyin, ardından bunun iç verilerinizle temiz bir anahtarı paylaşıp paylaşmadığını kontrol edin.

Facebook logosu
X logosu
LinkedIn logosu
Reddit logosu
Telegram logosu

Önce yapay zekâyı düşünün.
Geleceğin hızında ilerleyin.

Sıradakini birlikte inşa edelim! Ürün fikirlerinden akıllı iş akışlarına, veri odaklı sistemlerden ölçeklenebilir büyüme operasyonlarına kadar.

Strateji Görüşmesi Planlayın