Akış Verisi (Streaming Data)
Akış verisi; tıklamalar, ödemeler, sensör okumaları veya log satırları gibi küçük olaylardan oluşan bir akış halinde sürekli üretilen ve önce toplanıp daha sonra toplu (batch) olarak işlenmek yerine, ulaştıktan sonraki saniyeler içinde işlenen veridir.
Akış verisi nedir?
Bir akışın belirleyici özelliği, sonunun olmamasıdır: olaylar gelmeye devam eder, bu yüzden işleme, bitmiş bir dosya yerine hareket halindeki veriler üzerinde çalışmalıdır. Her olay; zaman damgası, anahtar ve yük (payload) içeren küçük bir kayıttır, örneğin {user_id, page, time}.
Bir akış sistemi dört katmandan oluşur:
Üreticiler (producers): olay yayan uygulamalar, cihazlar veya veritabanları; çoğu zaman Debezium gibi araçlarla değişiklik verisi yakalama (CDC) yoluyla.
Olayları sırasıyla saklayan bir broker; örneğin Apache Kafka, Amazon Kinesis veya Google Pub/Sub.
Filtreleme, birleştirme ve toplama yapan bir akış işlemcisi; örneğin Apache Flink, Spark Structured Streaming veya Kafka Streams.
Hedefler (sinks): bir veri ambarı, bir veritabanı, bir uyarı aracı veya canlı bir panel.
Akış verisi nasıl işlenir?
Akış işleme, zaman içinde sayımlar, toplamlar ve ortalamalar hesaplayabilmek için sonsuz bir akışı pencerelere ayırır.
Sabit (tumbling) pencereler: her 5 dakika gibi sabit, örtüşmeyen bloklar.
Kayan (sliding) pencereler: her dakika yeniden hesaplanan son 10 dakika gibi örtüşen pencereler.
Oturum (session) pencereleri: 30 dakikalık hareketsizlik gibi bir boşluk zaman aşımıyla aktiviteye göre gruplanan pencereler.
Pratikte en önemli iki fikir vardır. Olay zamanı (ne zaman gerçekleştiği) işleme zamanından (ne zaman ulaştığı) farklıdır; bu yüzden geç gelen olaylar, ne kadar bekleneceğini belirten watermark'larla ele alınır. Teslim garantileri en fazla bir kez (at-most-once) ile tam olarak bir kez (exactly-once) arasında değişir; Kafka ve Flink buna göre yapılandırıldığında tam olarak bir kez işleme sağlayabilir.
Akış verisi pratikte nasıl görünür?
Akış, dolandırıcılık ve kesinti kararlarında olduğu gibi bir karar dakikalar içinde değer kaybettiğinde maliyetini hak eder. Şüpheli işlemleri gecelik bir toplu rapordan inceleyen 400 kişilik bir online ödeme sağlayıcısını ele alalım. Diyelim ki dolandırıcılık kayıpları bir kartın ele geçirilmesinden sonraki bir saat içinde gerçekleşiyor; dolayısıyla ertesi sabahki rapor çok geç kalıyor.
Her ödeme, onaylandığı anda bir Kafka topic'ine yayımlanır.
Bir Flink işi, kart başına 10 dakikalık kayan bir pencere tutarak işlemleri, ülkeleri ve tutarları sayar.
Kurallar ve bir skorlama modeli, eşikleri aşan kartları işaretler ve saniyeler içinde bir inceleme kuyruğuna gönderir.
Tüm olaylar ayrıca günlük raporlama ve modelin yeniden eğitimi için Snowflake'e de aktarılır.
Bu örnekte analistler, dolandırıcılık hâlâ sürerken işaretlenen kartları inceler ve toplu rapor bir denetim aracına dönüşür.
Akış verisi ne zaman getirdiği karmaşıklığa değer?
Akış, ancak dakikalar önce aksiyon almak sonucu değiştirdiğinde değerlidir; aksi halde sık çalışan bir toplu iş daha ucuz ve işletmesi daha kolaydır.
İyi uyanlar: dolandırıcılık tespiti, izleme ve uyarı, canlı envanter, araç veya teslimat yönlendirme, IoT telemetrisi.
Kötü uyanlar: aylık finans raporlaması, yönetim kurulu panelleri, pazarlama atfının çoğu.
Gizli maliyetler: sürekli açık altyapı, nöbet (on-call) görevi, şema evrimi ve hatalardan sonra verilerin yeniden oynatılması.
Yaygın hata: yeniden denemeler idempotent olmadığında çift sayım.
Standart bir ETL aracıyla her 5 ila 15 dakikada bir yapılan mikro-toplu işleme (micro-batching), neredeyse gerçek zamanlı ihtiyaçların çoğunu çok daha az eforla karşılar.
Akış verisi, toplu (batch) işlemeden nasıl ayrılır?
Toplu işleme, verileri bir dönem boyunca toplar ve tek bir çalıştırmada işler; akış ise her olayı veya küçük pencereyi ulaştığı anda işler. Toplu işlemeyi test etmek ve yeniden oynatmak daha basittir; akış ise daha yüksek işletme maliyetiyle düşük gecikme sağlar.
Akış, gerçek zamanlı analitiğin girdi tarafıdır ve birçok ekip ikisini birleştirir: uyarılar ve canlı görünümler için bir akış, veri ambarında düzeltilmiş ve eksiksiz geçmiş için bir toplu işlem. Yönetilen seçenekler yükü azaltır: Confluent Cloud, Amazon MSK, Kinesis, Google Dataflow ve Snowflake Snowpipe Streaming gibi veri ambarı özellikleri; uygulamadan uygulamaya olaylar için daha hafif bir model ise webhook'tur.
Akış ve toplu işleme karşılaştırması
Akış verisi işleme | Toplu (batch) işleme | |
|---|---|---|
Gecikme | Saniyeler veya daha az | Dakikalardan bir güne |
Veri yapısı | Sınırsız olay akışı | Sınırlı dosyalar veya tablolar |
Tipik araçlar | Kafka, Kinesis, Flink, Spark Streaming | dbt, Airflow, Fivetran, SQL işleri |
İşletme maliyeti | Sürekli açık, nöbet gerektirir | Zamanlamaya göre çalışır, yeniden çalıştırması daha kolay |
En uygun olduğu alan | Dolandırıcılık, uyarılar, canlı operasyonlar | Raporlama, finans, geçmiş veriler |
VIZIO AI akış verisi pipeline'larını nasıl oluşturuyor?
VIZIO AI, akışı müşterinin kararlarının zamana duyarlı olduğu yerlerde kullanır ve bunu o hıza göre ayarlanmış bir panelle eşleştirir. Birleşik Krallık'taki bir siber güvenlik araştırma kuruluşu için Growth Studio, birden fazla kaynaktan fidye yazılımı istihbaratı toplayan, normalize eden ve Tableau Hyper'ı besleyen, Python ve Apache Kafka ile bir akış ETL pipeline'ı geliştirdi; gerçek zamanlı fidye yazılımı izleme paneli yeni olayları 60 saniyenin altında gecikmeyle yansıtıyor, ortalama tespit süresini %25 kısalttı ve manuel önceliklendirmeyi %70 azalttı.
Birleşik Krallık'taki bir iklim teknolojisi şirketi için Venture Studio, beş dakikalık bir emisyon veri akışını Flask ve Docker üzerinden haftada 17.000'den fazla veri noktasını takip eden canlı bir karbon paneline bağladı. Nereden başlamalı: her dakikalık gecikmeyle kötüleşen kararı belirleyin ve yalnızca onun ihtiyaç duyduğu verileri akış olarak işleyin.
VIZIO AI vaka çalışmalarında Akış Verisi (Streaming Data)
- Real-Time Ransomware Monitoring ›Python ve Kafka ile kurulan bir akış ETL'i Tableau'yu 60 saniyenin altında gecikmeyle besledi ve ortalama tespit süresini %25 kısalttı.
- Real-Time Carbon Footprint Reporting Dashboard ›Flask ve Docker üzerinden bağlanan beş dakikalık bir emisyon veri akışı, haftada 17.000'den fazla veri noktasının takibini mümkün kıldı.