İçeriğe geç

Sözlük

Veri Mühendisliği

Veri Temizleme

Veri temizleme, bir veri kümesindeki mükerrer kayıtlar, geçersiz değerler, tutarsız formatlar ve eksik alanlar gibi hataların tespit edilip düzeltilmesi sürecidir; böylece bu veri üzerine kurulan raporlara ve modellere güvenilebilir.

Güncelleme: · Hazırlayan: VIZIO AI ekibi

Veri temizleme nedir?

Temizleme, sorunları bulan profilleme ile temiz veriyi kullanıma hazır hâle getiren dönüştürme arasında yer alır. Ara sıra yapılan bir elektronik tablo düzenlemesi olarak değil, bir pipeline içinde belirli bir takvimle çalışır.

Kurallar iki gruba ayrılır. Deterministik kurallar, boşlukları kırpmak veya "Calif." değerini "CA" ile eşlemek gibi bilinen kalıpları düzeltir. Olasılıksal kurallar ise "Jon Smith, Acme Inc" ile "John Smith, ACME"nin aynı kişi olup olmadığına karar vermek gibi belirsiz durumları ele alır. Gerçekte var olan sorunları temizlemeniz için önce veri profilleme yapılmalıdır.

Mümkün olduğunda belirtiyi değil, nedeni düzeltin. Bir web formundaki açılır liste, hatalı ülke değerlerini herhangi bir temizleme betiğinden daha fazla önler; CRM'deki zorunlu bir alan da eksik sektör bilgisini herhangi bir zenginleştirme kuralından daha fazla önler.

Veri temizlemenin adımları nelerdir?

Güvenilir bir temizleme rutini sabit bir sırayı izler, çünkü standartlaştırmadan önce tekilleştirme yapmak mükerrer kayıtların çoğunu gözden kaçırır.

  1. Profilleme: sütun başına boş değer oranları, benzersiz değer sayıları ve değer aralıkları.

  2. Standartlaştırma: ISO 8601 tarihleri, E.164 telefon numaraları, küçük harfli e-postalar, tek bir ülke kodu listesi.

  3. Doğrulama: aralıklar, izin verilen değerler ve referanslar (her sipariş mevcut bir müşteriye işaret eder).

  4. Tekilleştirme: önce birebir eşleşmeler, ardından Jaro-Winkler gibi bir benzerlik puanıyla bulanık eşleştirme.

  5. Boşlukları ele alma: eksik değerleri doldurun, işaretleyin veya hariç tutun ve hangisini yaptığınızı kaydedin.

  6. Kayıt tutma: her değişikliğin denetlenebilmesi için önceki ve sonraki değerleri saklayın.

Veri temizleme pratikte nasıl görünür?

Temizleme, pazarlama listeleri ve CRM kayıtları gibi mükerrer kayıtların para kaybettirdiği yerlerde en hızlı karşılığını verir. Müşteri kayıtlarını hem Shopify'da hem HubSpot'ta tutan, bazı kişilere e-posta kampanyalarının iki kez gönderildiği ve müşteri yaşam boyu değerinin olduğundan düşük göründüğü 30 kişilik bir doğrudan tüketiciye satış (DTC) markasını ele alalım.

  • Her e-postayı küçük harfe çevirip kırpın, ardından birebir eşleşmeleri birleştirin.

  • Aynı telefon numarasına ve 0,9'un üzerinde isim benzerliğine sahip çiftleri inceleme için işaretleyin.

  • Adresleri normalleştirin ve çalışanların verdiği test siparişlerini çıkarın.

  • Mükerrer e-postalar yeniden ortaya çıkarsa gece çalışmasını başarısız kılan bir dbt testi ekleyin.

Diyelim ki liste %8 küçülüyor: bu, daha az mükerrer gönderim ve daha doğru bir tekrar satın alma oranı demektir. Birleştirme kuralları yazılı olduğu için müşteri hizmetleri, iki eski profilin neden tek profile dönüştüğünü bilir ve bir birleştirme hatalıysa onları ayırabilir.

Veri temizlemenin tuzakları nelerdir?

En maliyetli temizleme hatası, olağandışı ama doğru olan veriyi silmektir. 40.000 $'lık bir sipariş bir yazım hatası da olabilir, en büyük toptan müşteriniz de; bu yüzden aykırı değerler sessizce silinmemeli, işaretlenmelidir.

Diğer tuzaklar: kaynak değerlerin üzerine denetim izi bırakmadan yazmak, giriş formunu düzeltmek yerine aynı hataları her gece aşağı akışta temizlemek ve kayıtları gereğinden agresif biçimde birleştirmek; bu sonuncusunu geri almak, bir mükerrer kaydı olduğu gibi bırakmaktan daha zordur. Bir veri kümesi yalnızca tek kullanımlık bir analizi besliyorsa, hızlı bir manuel geçiş hak ettiği tek şey olabilir.

Çalışmanın görünmez bir bakım işine dönüşmemesi için onu ölçün. Her çalıştırmada birkaç sayıyı takip edin: reddedilen satırlar, birleştirilen mükerrer kayıtlar, doldurulan boş değerler ve kaynağa göre kural hataları. Bunlardan herhangi birindeki ani bir sıçrama, genellikle yeni bir form alanı veya bir bağlayıcı güncellemesi gibi kaynakta düzeltilmesi daha ucuz olan bir yukarı akış değişikliğine işaret eder.

Veri temizleme, veri dönüştürmeden nasıl ayrılır ve hangi araçlar yardımcı olur?

Temizleme değerleri doğru hâle getirir; dönüştürme ise doğru değerleri birleştirerek, toplulaştırarak ve yeniden biçimlendirerek kullanışlı kılar. Veri dönüştürme ve temizleme çoğu zaman aynı dbt projesinde yer alır, ancak temizleme modelleri önce çalışmalıdır.

Faydalı araçlar: dağınık metinlerin tek seferlik kümelenmesi için OpenRefine, betikle yapılan düzeltmeler için pandas, otomatik kontroller için dbt testleri ve Great Expectations ve HubSpot gibi CRM'lerdeki yerleşik mükerrer kayıt yönetimi. Süregelen sahiplik veri kalitesi yönetimine aittir.

Veri temizleme ve veri dönüştürme

Veri temizleme

Veri dönüştürme

Amaç

Değerleri düzeltmek

Doğru değerleri analiz için yeniden biçimlendirmek

Tipik işlemler

Tekilleştirme, standartlaştırma, doğrulama, boşlukları doldurma

Birleştirme, toplulaştırma, pivotlama, metrik türetme

Pipeline'daki sırası

Erken, veri alımının hemen ardından

Temizlemeden sonra

Hata belirtisi

Raporlarda mükerrer kayıtlar ve geçersiz değerler

Yanlış ayrıntı düzeyi veya bozuk metrik mantığı

Tipik araçlar

OpenRefine, Great Expectations, dbt testleri

dbt modelleri, SQL, Spark

VIZIO AI veri temizlemeyi nasıl ele alır?

VIZIO AI temizlemeyi veri alımının içine yerleştirir; böylece analistler veriyi elle düzeltmek yerine doğrulanmış veri alır. Birleşik Krallık'taki bir siber güvenlik araştırma kuruluşu için Growth Studio, OSINT akışlarından ve olay takip sistemlerinden gelen tutarsız kayıtları normalleştiren, ardından her olayı Doğrulanmış veya Doğrulanmamış olarak sınıflandıran bir Python ve Apache Kafka pipeline'ı kurdu. Bu, manuel ön değerlendirmeyi %70 azalttı ve yılda 1.500'den fazla analist saati kazandırdı.

ABD'de gençlerin gelişimine yönelik bir kâr amacı gütmeyen kuruluş için DX Studio, veri girişini kaynağında standartlaştırarak veri hatalarını %30 azalttı. Nereden başlamalı: herhangi bir araç seçmeden önce en çok kullanılan üç tablonuzu profilleyin ve mükerrer kayıtları ile boş değerleri sayın.

Facebook logosu
X logosu
LinkedIn logosu
Reddit logosu
Telegram logosu

Önce yapay zekâyı düşünün.
Geleceğin hızında ilerleyin.

Sıradakini birlikte inşa edelim! Ürün fikirlerinden akıllı iş akışlarına, veri odaklı sistemlerden ölçeklenebilir büyüme operasyonlarına kadar.

Strateji Görüşmesi Planlayın