İçeriğe geç

Sözlük

Analitik ve BI

Büyük Veri Analitiği

Büyük veri analitiği, tek bir veritabanı veya tablo için fazla büyük, fazla hızlı değişen ya da fazla çeşitli olan veri kümelerini, kararlara yön verecek örüntüleri bulmak amacıyla dağıtık depolama ve işlem gücü kullanarak sorgulama ve modelleme pratiğidir.

Güncelleme: · Hazırlayan: VIZIO AI ekibi

Büyük veri analitiği nedir?

Bu tanım, bir veri kümesinin yalnızca büyük hissettirdiği durumlarda değil, verinin kendisi araç değişikliğini zorunlu kıldığında geçerlidir. Yaygın ölçüt, analist Doug Laney'nin 2001'de tanımladığı "üç V"dir: hacim (volume; tek bir makineye sığmayacak kadar çok), hız (velocity; toplu işlerin kaldırabileceğinden daha hızlı gelen veri) ve çeşitlilik (variety; loglar, JSON, görseller ve tabloların bir arada olması).

Pratikte bir veri gölü veya BigQuery, Snowflake ya da Databricks gibi bir bulut veri ambarı üzerinde çalışır. İş yükü çok sayıda düğüme dağıtılır; böylece tek bir sunucuda saatler sürecek bir sorgu saniyeler ya da dakikalar içinde tamamlanır.

Analizin kendisi sıradandır: sayımlar, kohortlar, huniler, anomali tespiti ve model eğitimi. Değişen, etrafındaki mühendisliktir; örneğin geçen haftaya ait bir sorgunun diğer 51 haftayı atlayabilmesi için verinin tarihe göre bölümlenmesi (partitioning) ve tam hacimli işleri çalıştırmadan önce keşif için örneklem alınması.

Bir büyük veri analitiği altyapısı nasıl çalışır?

Çoğu altyapı dört katmandan oluşur: veri alımı, depolama, dağıtık işlem ve insanların gerçekten baktığı bir sunum katmanı. Her katman bağımsız olarak değiştirilebilir; bu yüzden aynı model birbirinden çok farklı şirketlerde karşımıza çıkar.

  1. Veri alımı: olay akışları için Apache Kafka veya Amazon Kinesis; SaaS kaynakları için Fivetran veya Airbyte.

  2. Depolama: Parquet gibi sütun bazlı dosyaları tutan nesne depolama (S3, GCS); bu dosyalar, motorların yalnızca sorgunun ihtiyaç duyduğu sütunları okumasını sağlar.

  3. İşlem: taramaları, join'leri ve toplulaştırmaları paralel yürüten Apache Spark, Flink veya bir veri ambarı motoru.

  4. Sunum: Tableau veya Power BI gibi BI araçlarını besleyen önceden toplulaştırılmış tablolar ya da makine öğrenmesi modellerini besleyen özellikler (feature).

Büyük veri analitiği pratikte nasıl görünür?

Tipik bir örnek, oyuncu olayları milyarlarca satıra ulaştığında Postgres replikasının yetersiz kaldığı bir mobil oyun stüdyosudur. Diyelim ki stüdyo her dokunuşu, satın almayı ve oturum başlangıcını kaydediyor; bu, günde yaklaşık 300 milyon olay demek.

Ekip, olayları Kafka üzerinden S3'teki Parquet dosyalarına akıtıyor, bunları tarihe ve oyuna göre bölümlüyor ve edinme kanalına göre 1. gün ve 7. gün elde tutma oranlarını hesaplayan gecelik Spark işleri çalıştırıyor. Databricks SQL'deki bir dbt katmanı, analistler için düzenli tablolar oluşturuyor.

Bu örnekte kazanım, daha önce yanıtlanamayan bir sorunun yanıtıdır: hangi reklam ağı, bir hafta sonra hâlâ aktif olan oyuncuları getiriyor? Pazarlama ekibi bütçeyi buna göre kaydırıyor ve eskiden zaman aşımına uğrayan sorgu artık bir dakikadan kısa sürede sonuç veriyor.

Büyük veri analitiği ne zaman gereğinden fazladır?

En büyük tablonuz tek bir modern veritabanına rahatça sığıyorsa, dağıtık araçlar içgörü katmadan maliyet ve karmaşıklık ekler. On milyonlarca satıra sahip birçok şirket için tek bir veri ambarı ve iyi bir modelleme daha uygundur.

  • Maliyet artışı: tarama başına ücretlendiren motorlar, çok terabaytlı bir tablo üzerindeki her özensiz SELECT * sorgusunu faturalandırır.

  • Küçük dosya sorunu: binlerce küçük dosya yazan akış işleri sonraki her sorguyu yavaşlatır.

  • Ölçekte çöp veri: veri kalitesi kontrolleri olmadan, bozuk bir olay şeması kimse fark etmeden aylarca geçmiş veriyi bozar.

  • Yetkinlik açığı: Spark ayarı ve bölümleme tasarımı yalnızca analistleri değil, mühendisleri de gerektirir.

Büyük veri analitiğinin iş zekâsından farkı nedir?

İş zekâsı, güvenilir metrikleri karar vericilere sunmakla ilgilidir; büyük veri analitiği ise çok büyük veya dağınık veriyi en başta sorgulanabilir hâle getirmekle ilgilidir. İkisi sıklıkla buluşur: bir Spark işi milyarlarca olayı bir özet tabloya indirger ve bir BI paneli bu tabloyu okur.

Araç seçimi darboğaza göre yapılır. Sorun hacimse Spark, BigQuery veya Snowflake'e bakın.

Sorun verinin geliş hızıysa Kafka ile Flink'e bakın. Sorun sunumsa, mesele büyük veri değil BI'dır.

Büyük veri analitiği, boyuttan çok gecikmeyle ilgili olan gerçek zamanlı analitikten de farklıdır. Mütevazı bir olay akışı gerçek zamanlı işleme gerektirebilirken, devasa bir arşiv yalnızca gecelik toplu işlerle sorgulanabilir.

Büyük veri analitiği ve geleneksel BI

Büyük veri analitiği

Geleneksel BI

Tipik veri boyutu

Terabaytlardan petabaytlara, milyarlarca satır

Gigabaytlar, milyonlarca satır

Veri yapısı

Loglar, olaylar, JSON, metin, tablolar

Çoğunlukla yapılandırılmış tablolar

İşlem

Spark veya BigQuery gibi dağıtık motorlar

Tek bir veri ambarı veya veritabanı

Ana kullanıcılar

Veri mühendisleri ve veri bilimciler

Analistler ve iş ekipleri

Tipik çıktı

Toplulaştırılmış tablolar, model özellikleri, uyarılar

Paneller ve düzenli raporlar

VIZIO AI büyük veri analitiğine nasıl yaklaşır?

VIZIO AI, verinin desteklemesi gereken karardan yola çıkar; ardından veri alımını ve toplulaştırmayı, son görünümler tam hacimde de hızlı kalacak şekilde tasarlar. Birleşik Krallık'taki bir siber güvenlik araştırma kuruluşu için Growth Studio, bir gerçek zamanlı fidye yazılımı izleme paneli geliştirdi: bölümleme, indeksli görünümler ve ön toplulaştırmalarla Tableau'nun Hyper motorunu besleyen Python ve Apache Kafka tabanlı bir akış pipeline'ı.

500.000 kaydı aşan veri kümelerinde bile temel görünümler bir saniyenin altında yüklendi, panel gecikmesi 60 saniyenin altında kaldı ve manuel önceliklendirme %70 azaldı. Orta Doğu'daki bir akademik kurum için DX Studio, AWS üzerindeki bir ekonomik etki analizi panelinin arkasında ticari yaptırım veri kümeleri için bir büyük veri pipeline'ı kurdu; araştırma verimliliğini %45 artırdı ve politika değerlendirme döngülerini 3 kat hızlandırdı.

Nereden başlamalı: Herhangi bir dağıtık araç satın almadan önce en büyük tablonuzu ve en yavaş sorgunuzu ölçün.

Facebook logosu
X logosu
LinkedIn logosu
Reddit logosu
Telegram logosu

Önce yapay zekâyı düşünün.
Geleceğin hızında ilerleyin.

Sıradakini birlikte inşa edelim! Ürün fikirlerinden akıllı iş akışlarına, veri odaklı sistemlerden ölçeklenebilir büyüme operasyonlarına kadar.

Strateji Görüşmesi Planlayın