Veri Temizleme
Veri temizleme, bir veri kümesindeki mükerrer kayıtlar, geçersiz değerler, tutarsız formatlar ve eksik alanlar gibi hataların tespit edilip düzeltilmesi sürecidir; böylece bu veri üzerine kurulan raporlara ve modellere güvenilebilir.
Veri temizleme nedir?
Temizleme, sorunları bulan profilleme ile temiz veriyi kullanıma hazır hâle getiren dönüştürme arasında yer alır. Ara sıra yapılan bir elektronik tablo düzenlemesi olarak değil, bir pipeline içinde belirli bir takvimle çalışır.
Kurallar iki gruba ayrılır. Deterministik kurallar, boşlukları kırpmak veya "Calif." değerini "CA" ile eşlemek gibi bilinen kalıpları düzeltir. Olasılıksal kurallar ise "Jon Smith, Acme Inc" ile "John Smith, ACME"nin aynı kişi olup olmadığına karar vermek gibi belirsiz durumları ele alır. Gerçekte var olan sorunları temizlemeniz için önce veri profilleme yapılmalıdır.
Mümkün olduğunda belirtiyi değil, nedeni düzeltin. Bir web formundaki açılır liste, hatalı ülke değerlerini herhangi bir temizleme betiğinden daha fazla önler; CRM'deki zorunlu bir alan da eksik sektör bilgisini herhangi bir zenginleştirme kuralından daha fazla önler.
Veri temizlemenin adımları nelerdir?
Güvenilir bir temizleme rutini sabit bir sırayı izler, çünkü standartlaştırmadan önce tekilleştirme yapmak mükerrer kayıtların çoğunu gözden kaçırır.
Profilleme: sütun başına boş değer oranları, benzersiz değer sayıları ve değer aralıkları.
Standartlaştırma: ISO 8601 tarihleri, E.164 telefon numaraları, küçük harfli e-postalar, tek bir ülke kodu listesi.
Doğrulama: aralıklar, izin verilen değerler ve referanslar (her sipariş mevcut bir müşteriye işaret eder).
Tekilleştirme: önce birebir eşleşmeler, ardından Jaro-Winkler gibi bir benzerlik puanıyla bulanık eşleştirme.
Boşlukları ele alma: eksik değerleri doldurun, işaretleyin veya hariç tutun ve hangisini yaptığınızı kaydedin.
Kayıt tutma: her değişikliğin denetlenebilmesi için önceki ve sonraki değerleri saklayın.
Veri temizleme pratikte nasıl görünür?
Temizleme, pazarlama listeleri ve CRM kayıtları gibi mükerrer kayıtların para kaybettirdiği yerlerde en hızlı karşılığını verir. Müşteri kayıtlarını hem Shopify'da hem HubSpot'ta tutan, bazı kişilere e-posta kampanyalarının iki kez gönderildiği ve müşteri yaşam boyu değerinin olduğundan düşük göründüğü 30 kişilik bir doğrudan tüketiciye satış (DTC) markasını ele alalım.
Her e-postayı küçük harfe çevirip kırpın, ardından birebir eşleşmeleri birleştirin.
Aynı telefon numarasına ve 0,9'un üzerinde isim benzerliğine sahip çiftleri inceleme için işaretleyin.
Adresleri normalleştirin ve çalışanların verdiği test siparişlerini çıkarın.
Mükerrer e-postalar yeniden ortaya çıkarsa gece çalışmasını başarısız kılan bir dbt testi ekleyin.
Diyelim ki liste %8 küçülüyor: bu, daha az mükerrer gönderim ve daha doğru bir tekrar satın alma oranı demektir. Birleştirme kuralları yazılı olduğu için müşteri hizmetleri, iki eski profilin neden tek profile dönüştüğünü bilir ve bir birleştirme hatalıysa onları ayırabilir.
Veri temizlemenin tuzakları nelerdir?
En maliyetli temizleme hatası, olağandışı ama doğru olan veriyi silmektir. 40.000 $'lık bir sipariş bir yazım hatası da olabilir, en büyük toptan müşteriniz de; bu yüzden aykırı değerler sessizce silinmemeli, işaretlenmelidir.
Diğer tuzaklar: kaynak değerlerin üzerine denetim izi bırakmadan yazmak, giriş formunu düzeltmek yerine aynı hataları her gece aşağı akışta temizlemek ve kayıtları gereğinden agresif biçimde birleştirmek; bu sonuncusunu geri almak, bir mükerrer kaydı olduğu gibi bırakmaktan daha zordur. Bir veri kümesi yalnızca tek kullanımlık bir analizi besliyorsa, hızlı bir manuel geçiş hak ettiği tek şey olabilir.
Çalışmanın görünmez bir bakım işine dönüşmemesi için onu ölçün. Her çalıştırmada birkaç sayıyı takip edin: reddedilen satırlar, birleştirilen mükerrer kayıtlar, doldurulan boş değerler ve kaynağa göre kural hataları. Bunlardan herhangi birindeki ani bir sıçrama, genellikle yeni bir form alanı veya bir bağlayıcı güncellemesi gibi kaynakta düzeltilmesi daha ucuz olan bir yukarı akış değişikliğine işaret eder.
Veri temizleme, veri dönüştürmeden nasıl ayrılır ve hangi araçlar yardımcı olur?
Temizleme değerleri doğru hâle getirir; dönüştürme ise doğru değerleri birleştirerek, toplulaştırarak ve yeniden biçimlendirerek kullanışlı kılar. Veri dönüştürme ve temizleme çoğu zaman aynı dbt projesinde yer alır, ancak temizleme modelleri önce çalışmalıdır.
Faydalı araçlar: dağınık metinlerin tek seferlik kümelenmesi için OpenRefine, betikle yapılan düzeltmeler için pandas, otomatik kontroller için dbt testleri ve Great Expectations ve HubSpot gibi CRM'lerdeki yerleşik mükerrer kayıt yönetimi. Süregelen sahiplik veri kalitesi yönetimine aittir.
Veri temizleme ve veri dönüştürme
Veri temizleme | Veri dönüştürme | |
|---|---|---|
Amaç | Değerleri düzeltmek | Doğru değerleri analiz için yeniden biçimlendirmek |
Tipik işlemler | Tekilleştirme, standartlaştırma, doğrulama, boşlukları doldurma | Birleştirme, toplulaştırma, pivotlama, metrik türetme |
Pipeline'daki sırası | Erken, veri alımının hemen ardından | Temizlemeden sonra |
Hata belirtisi | Raporlarda mükerrer kayıtlar ve geçersiz değerler | Yanlış ayrıntı düzeyi veya bozuk metrik mantığı |
Tipik araçlar | OpenRefine, Great Expectations, dbt testleri | dbt modelleri, SQL, Spark |
VIZIO AI veri temizlemeyi nasıl ele alır?
VIZIO AI temizlemeyi veri alımının içine yerleştirir; böylece analistler veriyi elle düzeltmek yerine doğrulanmış veri alır. Birleşik Krallık'taki bir siber güvenlik araştırma kuruluşu için Growth Studio, OSINT akışlarından ve olay takip sistemlerinden gelen tutarsız kayıtları normalleştiren, ardından her olayı Doğrulanmış veya Doğrulanmamış olarak sınıflandıran bir Python ve Apache Kafka pipeline'ı kurdu. Bu, manuel ön değerlendirmeyi %70 azalttı ve yılda 1.500'den fazla analist saati kazandırdı.
ABD'de gençlerin gelişimine yönelik bir kâr amacı gütmeyen kuruluş için DX Studio, veri girişini kaynağında standartlaştırarak veri hatalarını %30 azalttı. Nereden başlamalı: herhangi bir araç seçmeden önce en çok kullanılan üç tablonuzu profilleyin ve mükerrer kayıtları ile boş değerleri sayın.
VIZIO AI vaka çalışmalarında Veri Temizleme
- Real-Time Ransomware Monitoring ›Bir Python ve Kafka pipeline'ı tutarsız tehdit kayıtlarını normalleştirip olayları sınıflandırarak manuel ön değerlendirmeyi %70 azalttı.
- Operational Efficiency Enhancement ›Danışman veri girişinin kaynağında standartlaştırılması, veri hatalarını %30 azalttı ve yılda yaklaşık 2.000 saat kazandırdı.