Veri Örnekleme
Veri örnekleme, daha büyük bir veri setinden bir kayıt alt kümesi seçerek bu alt küme üzerinde yapılan analizin, bütün hakkında daha düşük maliyetle veya daha hızlı biçimde güvenilir tahminler vermesini sağlama yöntemidir.
Veri örnekleme nedir?
Örnekleme bilinçli bir takastır: daha az veri işlenir, karşılığında bilinen ve ölçülebilir bir belirsizlik kabul edilir. Yapı taşları; evren (ilgilendiğiniz tüm kayıtlar), örnekleme çerçevesi (gerçekte seçim yapabildiğiniz liste), seçim yöntemi ve örneklem büyüklüğüdür.
Örnekleme anketlerden çok daha fazla yerde karşımıza çıkar. Google Analytics 4, sorgular kota sınırlarını aştığında bazı keşif raporlarında örnekleme yapar; veri bilimciler model prototipleri için örnekleme yapar; QA ekipleri manuel inceleme için kayıt örnekler; etiketleme projeleri de anotasyon için metin veya görsel örnekler.
Bir örneklemin kalitesi, büyüklüğünden çok nasıl seçildiğine bağlıdır. Kendi isteğiyle katılan gönüllülerden gelen bir milyon anket yanıtı, rastgele seçilmiş 1.000 yanıttan daha az temsil edici olabilir.
Başlıca veri örnekleme yöntemleri nelerdir?
Yöntem, örneklemin evreni temsil edip etmeyeceğini ya da onu sessizce çarpıtıp çarpıtmayacağını belirler.
Basit rastgele: her kaydın seçilme şansı eşittir; SQL'de TABLESAMPLE veya ORDER BY RAND() LIMIT n.
Tabakalı: küçük ama önemli grupların atlanmaması için gruplar (bölge, plan seviyesi) içinde örnekleme yapılır.
Sistematik: her k'ıncı kayıt seçilir; verinin tekrar eden bir örüntüsü varsa risklidir.
Küme: toplama maliyetini düşürmek için mağazaların tamamı gibi bütün gruplar örneklenir.
Rezervuar örnekleme: uzunluğu bilinmeyen bir akıştan sabit büyüklükte, tekdüze bir örneklem alınır.
Bir oranı tahmin etmek için yaygın bir kural n = z² × p(1−p) / e² formülüdür; %95 güven düzeyinde (z = 1.96), p = 0.5 ve ±%3 hata payıyla bu yaklaşık 1.068 eder.
Veri örnekleme pratikte nasıl görünür?
Tipik bir kullanım, her kaydı tek tek elle kontrol etmenin imkânsız olduğu durumlarda veri kalitesini denetlemektir. 400.000 poliçe kaydını yeni bir CRM'e taşımış 70 kişilik bir sigorta brokerını düşünün.
Veri sorumlusu, ürün grubuna göre tabakalama yapıyor; çünkü kurumsal poliçeler daha nadir ama daha yüksek değerli.
Örneklemin yeniden üretilebilmesi için seed'li bir sorgu kullanarak her tabakadan rastgele 400 kayıt seçiyor.
İki inceleyici her kaydı altı alan için kaynak sistemle karşılaştırıyor.
Hata oranları tabaka bazında hesaplanıyor, ardından genel bir tahmin için tabaka büyüklüğüne göre ağırlıklandırılıyor.
Diyelim ki kurumsal poliçelerde adres alanlarındaki hata oranı çok daha yüksek çıkıyor. Ekip tüm taşımayı değil, yalnızca o kısmı yeniden çalıştırıyor ve düzeltmeyi doğrulamak için tekrar örnekleme yapıyor. 1.600 kaydı incelemek iki kişinin yaklaşık bir haftasını aldı; 400.000 kaydı incelemek hiçbir zaman bir seçenek değildi.
Veri örnekleme ne zaman kullanılmamalıdır?
Soru nadir olaylar veya tekil kayıtlarla ilgiliyse örnekleme yapmayın. Örnekleme şu durumlar için yanlış araçtır:
Dolandırıcılık ve güvenlik uyarıları: o tek hatalı işlem, tam da bir örneklemin kaçıracağı şeydir.
Finansal toplamlar: faturalar ve bordro kuruşu kuruşuna mutabık olmalıdır.
Küçük segmentler: 20.000 kullanıcının %1'lik örneklemi yaklaşık 200 kişi bırakır; bu, birçok alt grubu karşılaştırmak için çok azdır.
Uyum talepleri: bir ilgili kişi erişim talebi, o kişiye ait her kaydı gerektirir.
Örneklenmiş analitik raporlarına da dikkat edin: GA4, bir keşif raporu örneklendiğinde bir gösterge gösterir ve küçük segmentlerin dönüşüm oranları belirgin şekilde değişebilir.
Veri örnekleme, veri toplulaştırma ve sentetik veriden nasıl ayrılır?
Örnekleme bazı gerçek kayıtları tutar; toplulaştırma tüm kayıtları tutar ama özetler; sentetik veri ise yapay kayıtlar üretir. Her biri farklı bir kısıta yanıt verir: örnekleme hesaplama maliyetine, toplulaştırma okunabilirliğe, sentetik veri ise gizliliğe.
Araçlar: random_state ile pandas DataFrame.sample, stratify ile scikit-learn'ün train_test_split fonksiyonu, BigQuery ve Snowflake'teki TABLESAMPLE veya SAMPLE ifadeleri ve Spark'ın sample() fonksiyonu. Anketler için R'ın survey paketi ağırlıklandırmayı yönetir. Modern bulut veri ambarlarında tam tarama çoğu zaman yeterince ucuzdur; bu nedenle örnekleme bir zorunluluk değil, bir tercihtir. Çıkarım tarafı için istatistiksel analiz maddesine bakın.
Rastgele ve tabakalı örnekleme
Basit rastgele örnekleme | Tabakalı örnekleme | |
|---|---|---|
Nasıl seçer | Her kaydın seçilme olasılığı eşittir | Önceden tanımlanmış gruplar içinde rastgele |
Küçük gruplar | Atlanabilir veya yetersiz temsil edilebilir | Belirli bir sayı garanti edilir |
Kurulum | Tek bir sorgu | Grup etiketleri ve büyüklükleri gerekir |
Analiz | Doğrudan tahminler | Sonuçlar grup büyüklüğüne göre ağırlıklandırılır |
En uygun olduğu durum | Homojen evrenler | Plan seviyeleri gibi dengesiz segmentler |
VIZIO AI örnekleme ile tam veri analizi arasında nasıl karar verir?
VIZIO AI'ın yayımlanan projeleri, örnekleme yerine tam veri setlerini hızlı işlemeye yönelir; çünkü bu projelerdeki sorular nadir olayları ve ince zaman ayrıntılarını içerir. Hiçbir vaka çalışması bir örnekleme projesi değildir; dolayısıyla bunlar alternatif yaklaşımı gösterir. İngiltere merkezli bir siber güvenlik araştırma kuruluşu için Growth Studio, ön toplulaştırmalar sayesinde 500.000'den fazla kaydın bir saniyenin altında görüntülendiği ve örneklemeye hiç gerek kalmayan bir fidye yazılımı izleme paneli geliştirdi.
İngiltere merkezli bir iklim teknolojisi şirketi için Venture Studio, trendleri çarpıtmadan beş dakikalık emisyon verileri etrafında tasarlanan ve haftada 17.000'den fazla veri noktasının takibini mümkün kılan bir karbon ayak izi paneli geliştirdi.
Nereden başlamalı: örnekleme yapmadan önce, veri ambarınızda tam bir taramanın gerçekten yavaş veya pahalı olup olmadığını kontrol edin.
VIZIO AI vaka çalışmalarında Veri Örnekleme
- Real-Time Ransomware Monitoring ›Örnekleme yerine ön toplulaştırmalar, 500.000'den fazla fidye yazılımı kaydının bir saniyenin altında görüntülenmesini sağladı.
- Real-Time Carbon Footprint Reporting Dashboard ›Dash ve Plotly ile geliştirilen bir panel, beş dakikalık emisyon ayrıntısının tamamını koruyarak haftada 17.000'den fazla veri noktasını takip etti.