Veri Kalitesi
Veri kalitesi, verinin amaçlanan kullanıma ne ölçüde uygun olduğunu ifade eder; genellikle doğruluk, eksiksizlik, tutarlılık, güncellik, geçerlilik ve benzersizlik gibi boyutlarla ölçülür.
Veri kalitesi nedir?
Kalite bir kullanıma göre değerlendirilir; bu yüzden aynı tablo bir karar için yeterince iyi, bir diğeri için ise kullanılamaz olabilir. Posta kodlarının %95'i dolu bir müşteri tablosu bölgesel satış raporlaması için yeterli, kargo etiketi basmak için ise işe yaramaz olabilir.
Bu nedenle olgun ekipler kaliteyi "order_id benzersizdir" veya "siparişler 06:00'ya kadar yüklenir" gibi hedefleri olan açık kurallar olarak ifade eder ve tablo başına geçme oranını zaman içinde ölçer. Trendini izleyebileceğiniz bir sayı, "temiz" gibi bir sıfattan iyidir.
Diğer yarısı sahipliktir. Her önemli veri setinin hedefleri belirleyen, uyarıları alan ve hataları düzelten ya da eskale eden, adı belirli bir kişiye ihtiyacı vardır; bu genellikle veri gözetimi aracılığıyla sağlanır. Bu olmadan testler kırmızıya döner ve hiçbir şey olmaz.
Veri kalitesinin boyutları nelerdir ve nasıl ölçülür?
Her boyut ancak bir formülü ve bir eşiği olduğunda faydalı hâle gelir.
Eksiksizlik: zorunlu bir alan için null olmayan değerlerin toplam satıra bölünmesi.
Benzersizlik: benzersiz anahtarların satır sayısına bölünmesi; 1,0'ın altındaki her değer mükerrer kayıt anlamına gelir.
Geçerlilik: geçerli bir e-posta örüntüsü gibi bir format veya aralık kuralını geçen satırların toplam satıra bölünmesi.
Tutarlılık: değerleri sistemler arasında uyuşan kayıtların payı; örneğin CRM durumu ile faturalandırma durumu.
Güncellik: son başarılı yüklemeden bu yana geçen sürenin üzerinde uzlaşılan güncellik hedefiyle karşılaştırılması.
Doğruluk: bir örneklemde doğrulanmış gerçek dünya değeriyle eşleşen payı; genellikle elle kontrol edilir.
Veri kalitesi çalışması uygulamada nasıl görünür?
Pratik kalite çalışması, kararları besleyen tablolar üzerinde, adı belirli bir sahibe ulaşan uyarılarla birlikte otomatik testler anlamına gelir. Churn panelinde zaman zaman imkânsız sıçramalar görülen 80 kişilik bir abonelik kutusu şirketini düşünün.
Analitik mühendisi dbt testleri ekler: subscription_id üzerinde not_null ve unique, status üzerinde accepted_values ve customers tablosuna relationships.
Faturalandırma verileri altı saatten eskiyse bir güncellik kontrolü başarısız olur.
Hatalar, tablo sahibinin etiketlendiği bir Slack kanalına gönderilir.
Haftalık bir karne, alan bazında geçme oranlarını gösterir.
Diyelim ki sıçramaların kaynağı, yeniden denenen bir senkronizasyondan gelen mükerrer satırlar çıkıyor; benzersizlik testi artık bunları panel yenilenmeden önce durduruyor.
Karne, kaynak ekiplerle yapılan konuşmaları da değiştirir: faturalandırma ekibi güncellik hedefinin bu ay üç kez kaçırıldığını ve nedenini görebilir.
Veri kalitesi programlarındaki yaygın hatalar nelerdir?
En yaygın hata, kararları bozan şeyler yerine test edilmesi kolay olanı ölçmektir. Her sütundaki null kontrolleri uyarı gürültüsü yaratırken, geliri iki kez sayan tek bir join test edilmeden kalır.
%99'un pazarlama atfı için yeterli olabileceği ama faturalandırma için olmadığı durumlarda her yerde %100'ün peşinden koşmak.
Veri seti başına sahip olmaması; böylece uyarılar görülür ve göz ardı edilir.
Kusur bir web formunda veya manuel bir içe aktarmada başlarken yalnızca veri ambarında test yapmak.
Gelir, müşteri sayıları ve yönetim kurulu metriklerinin arkasındaki birkaç tabloyla başlayın, ardından kapsamı genişletin.
Kusurlara bir maliyet biçmek de yardımcı olur. Mükerrer bir sipariş bir yönetim kurulu raporunda geliri şişiriyorsa veya yanlış bir e-posta alanı bir kampanyanın 5.000 müşteriyi kaçırmasına yol açıyorsa, test için iş gerekçesi kendiliğinden ortaya çıkar; soyut "kalite puanları" nadiren bütçe kazanır.
Veri kalitesini yönetmek için hangi araçlar kullanılır?
Kural tabanlı test araçları beklediğiniz şeyi kontrol eder; gözlemlenebilirlik (observability) araçları ise test etmeyi düşünmediğiniz şeyi tespit eder. dbt testleri, Great Expectations ve Soda açık kuralları kapsar. Monte Carlo, Anomalo ve benzeri gözlemlenebilirlik platformları normal hacim, şema ve dağılım örüntülerini öğrenir ve anomalileri işaretler.
Sahipler, hedefler ve eskalasyonla yürütülen sürekli süreç veri kalitesi yönetimidir; düzeltme işinin kendisi veri temizlemedir ve hatalı bir değeri kaynağına kadar izlemek veri soy ağacına (data lineage) dayanır.
Veri kalitesi testi ve veri gözlemlenebilirliği karşılaştırması
Kural tabanlı test | Veri gözlemlenebilirliği | |
|---|---|---|
Neyi tespit eder | Kural yazdığınız bilinen hata koşulları | Hacim, şema veya dağılımdaki beklenmedik değişiklikler |
Kurulum | Tablo veya sütun başına test yazmak | Bağlanıp referans değerlerin öğrenilmesini beklemek |
Örnek kontrol | order_id benzersiz olmalıdır | Satır sayısı normalin çok altına düştü |
Tipik araçlar | dbt testleri, Great Expectations, Soda | Monte Carlo, Anomalo |
Zayıf yönü | Kimsenin öngörmediği şeyleri kaçırır | İnce ayar yapılmazsa gürültülü olabilir |
VIZIO AI veri kalitesini nasıl iyileştirir?
VIZIO AI kaliteyi bir modelleme problemi olarak ele alır: formatları merkezi olarak bir kez uzlaştırın, böylece her ekip aynı değerleri okusun. ABD'li bir kadın modası e-ticaret markası için DX Studio, pazarlama, satış ve fiyatlandırma verilerini almak için Precog'u kullandı ve formatları sistemler arasında uzlaştıran tutarlı bir veri modeli kurdu. Veri doğruluğu %28 arttı ve operasyonel kararlar %32 daha hızlı alınmaya başlandı.
Küresel bir kredi raporlama ve risk analitiği firması için mükerrer Excel çalışma sayfalarının Power BI'a aktaran bir Power Query ETL ile değiştirilmesi, yılda 1.500 saatten fazla manuel raporlama işini ortadan kaldırdı. Nereden başlamalı: En çok takip edilen KPI'ınızın arkasındaki tablo için üç kalite kuralı yazın ve bunları her gün çalıştırın.
VIZIO AI vaka çalışmalarında Veri Kalitesi
- Real-Time Fashion Analytics ›Pazarlama, satış ve fiyatlandırma formatlarını uzlaştıran tutarlı bir veri modeli, veri doğruluğunu %28 artırdı.
- Marketing Performance and Workforce Analysis Dashboard ›Mükerrer Excel çalışma sayfalarının bir Power Query ETL ile değiştirilmesi, yılda 1.500 saatten fazla manuel raporlama işini ortadan kaldırdı.