Veri Profilleme
Veri profilleme, bir veri seti raporlama, taşıma veya modelleme için kullanılmadan önce; null oranları, benzersiz değerler, aralıklar ve formatlar gibi gerçek yapısını, içeriğini ve kalitesini ölçmek amacıyla taranması sürecidir.
Veri profilleme nedir?
Profilleme, bir veri setine ilişkin varsayımların yerine ölçümleri koyar. Dokümantasyon bir sütunun ABD posta kodlarını (ZIP) içerdiğini söyleyebilir; profil ise satırların %4'ünün boş olduğunu, %2'sinin baştaki sıfır düştüğü için dört haneli olduğunu ve birkaçının "N/A" içerdiğini gösterir.
Profilleme genellikle üç anda yapılır: yeni bir kaynak bağlandığında, bir taşıma veya birleştirme öncesinde ve izlemenin bir parçası olarak sürekli. Teşhis amaçlıdır, düzeltici değildir: profilleme sorunları bulur, veri temizleme ve pipeline düzeltmeleri ise bunları çözer.
Çıktı bir profildir: bir mühendisin, analistin veya iş sahibinin dakikalar içinde okuyabileceği sütun bazında bir özet. Asıl değeri başlattığı konuşmadadır; örneğin boş bir değerin "bilinmiyor" mu yoksa "uygulanamaz" mı anlamına geldiği; bu soruyu yalnızca iş tarafı yanıtlayabilir.
Bir veri profili neleri ölçer?
Faydalı bir profil önce her sütunu tek başına kontrol eder, ardından sütunların ve tabloların birbiriyle nasıl ilişkilendiğini kontrol eder. Standart ölçümler üç gruba ayrılır.
Sütun profilleme: satır sayısı, null oranı (null'lar / toplam satır), benzersiz değer sayısı, minimum, maksimum, ortalama, en sık görülen değerler ve metin uzunluğu dağılımı.
Örüntü profilleme: e-posta regex'i, ISO tarihleri veya telefon örüntüleri gibi beklenen formatlarla eşleşen değerlerin payı.
Sütunlar ve tablolar arası: aday anahtarlar (%100 benzersiz olan sütunlar), fonksiyonel bağımlılıklar (posta kodu eyaleti belirler) ve müşteri kimliği mevcut olmayan siparişler gibi sahipsiz yabancı anahtarlar.
Her ölçüm, bir eşikle veya geçen haftanın profiliyle karşılaştırıldığında çok daha faydalı hâle gelir; çünkü ani bir değişiklik çoğu zaman yukarı akıştaki bir sistemin bozulduğunun ilk işaretidir.
Veri profilleme uygulamada nasıl görünür?
Daha küçük bir acenteyi satın aldıktan sonra iki CRM'i birleştiren bölgesel bir sigorta brokerını ele alalım. Alanları eşleştirmeden önce bir veri mühendisi, her iki müşteri tablosu üzerinde bir notebook'ta ydata-profiling çalıştırır ve HTML raporlarını operasyon lideriyle birlikte inceler.
Diyelim ki profiller, satın alınan CRM'in tarihleri iki farklı formatta metin olarak sakladığını, telefon numaralarının %11'inde ülke kodu bulunmadığını ve "poliçe türü" alanında ana CRM'deki 8 değere karşılık 37 farklı değer olduğunu ortaya koyuyor. Müşteri e-postası bir sistemde %98 benzersizken diğerinde yalnızca %85 benzersizdir; bu yüzden tek başına birleştirme anahtarı olarak kullanılamaz.
37 poliçe türünü 8'e indiren bir eşleştirme tablosu oluşturun.
Yükleme sırasında tarih ve telefon formatlarını standartlaştırın.
Müşterileri e-posta ve doğum tarihine göre eşleştirin, belirsiz eşleşmeleri manuel incelemeye gönderin.
Bu örnekte taşıma, ilk günden binlerce mükerrer müşteri oluşturmaktan kaçınır.
Veri profillemenin sınırları nelerdir?
Bir profil size verinin nasıl göründüğünü söyler, doğru olup olmadığını değil. Bir gelir sütununda hiç null olmayabilir, makul bir aralığa sahip olabilir ve yine de bir döviz dönüşümü iki kez uygulandığı için yanlış olabilir.
Örnekleme kör noktaları: %1'lik bir örneklemi profillemek, nadir ama kritik hataları kaçırabilir.
Tek seferlik raporlar: canlıya geçişten önce bir kez çalıştırılan bir profil eskir; profillemeyi zamanlayın veya bulguları testlere dönüştürün.
Gizlilik ifşası: en sık değer listeleri kişisel verileri ortaya çıkarabilir; bu yüzden PII sütunlarının profillerini kimlerin görebileceğini kısıtlayın.
Gürültü: her tablonun her sütununu profillemek kimsenin okumadığı raporlar üretir; temel metrikleri belirleyen sütunlarla başlayın.
Veri profilleme için hangi araçlar kullanılır?
Profilleme birçok araca yerleşiktir; bu yüzden seçim keşif, otomatik testler veya izlemeden hangisine ihtiyaç duyduğunuza bağlıdır.
Keşif: Python için ydata-profiling (eski adıyla pandas-profiling), Power BI'da Power Query'nin sütun kalitesi ve dağılım görünümü.
Pipeline'larda testler: Great Expectations, Soda, dbt testleri, Spark için AWS Deequ.
Platformlar: Informatica, Talend, Atlan ve Collibra gibi veri kalitesi ve katalog paketleri profillemeyi içerir.
Profilleme, daha kapsamlı veri kalitesi yönetiminin ve sahiplik, erişim ve uyumluluğu da inceleyen resmî bir veri denetiminin girdilerinden biridir.
Veri profilleme ve veri temizleme karşılaştırması
Veri profilleme | Veri temizleme | |
|---|---|---|
Amaç | Verinin nasıl göründüğünü ölçmek | Hataları ve tutarsızlıkları düzeltmek |
Veriyi değiştirir mi? | Hayır, salt okunur | Evet, kayıtları düzeltir veya kaldırır |
Tipik çıktı | İstatistikler, dağılımlar, anomali listeleri | Standartlaştırılmış, tekilleştirilmiş veri seti |
Ne zaman çalışır | Entegrasyondan önce, ardından planlı olarak | Sorunlar tespit edildikten sonra |
Örnek araçlar | ydata-profiling, Great Expectations, Soda | dbt modelleri, OpenRefine, Python betikleri |
VIZIO AI veri profillemeyi nasıl kullanır?
VIZIO AI'ın vaka çalışmaları profillemeyi ayrı bir teslimat olarak tanımlamaz, ancak birkaç proje tam da profillemenin ortaya çıkardığı sorunlarla başlar: birleştirilen sistemler arasında mükerrer kayıtlar ve tutarsız formatlar. Satın almalar yoluyla eski sistemler devralan ABD'li bir odyoloji hizmet sağlayıcısı için DX Studio, mükerrer kayıtlar ve tutarsız raporlama sorunları yaşayan hasta, cihaz ve CRM verilerini birleştirdi.
Bu temiz temel, pilot kliniklerde işitme cihazı iade oranlarını %12–15 azaltan ve manuel raporlama eforunu %40 düşüren yapay zekâ destekli hasta elde tutma panelini besledi. ABD'de gençlerin gelişimine odaklanan kâr amacı gütmeyen bir kuruluşta, bir operasyonel verimlilik panelindeki standartlaştırılmış veri girişi süreci veri hatalarını %30 azalttı.
Nereden başlamalı: En önemli metriğinizin bağlı olduğu tek bir tabloyu profilleyin ve en kötü üç bulguyu otomatik testlere dönüştürün.
VIZIO AI vaka çalışmalarında Veri Profilleme
- Patient Retention Analytics ›Mükerrer kayda yatkın hasta, cihaz ve CRM verilerinin birleştirilmesi, pilot kliniklerde işitme cihazı iade oranlarını %12–15 azaltan öngörücü modelleri mümkün kıldı.
- Operational Efficiency Enhancement ›Danışmanlık programları genelinde standartlaştırılmış veri girişi, veri hatalarını %30 azalttı ve yılda yaklaşık 2.000 saatlik rapor hazırlama süresinden tasarruf sağladı.