OLAP (Çevrim İçi Analitik İşleme)
OLAP (online analytical processing, çevrim içi analitik işleme), verileri hızlı çok boyutlu analiz için saklama ve sorgulama yöntemidir; kullanıcıların gelir gibi ölçüleri zaman, ürün ve bölge gibi boyutlar genelinde saniyeler içinde özetlemesini sağlar.
OLAP nedir?
OLAP, tek tek işlemleri kaydetmek için değil, büyük miktarda geçmiş veriyi okumak ve özetlemek için tasarlanmıştır. Terim, 1993'te E. F. Codd tarafından veri girişi yerine analiz için optimize edilmiş sistemleri tanımlamak üzere ortaya atıldı.
Temel kavram küptür: ölçüler (satış, adet, marj), her biri hiyerarşilere sahip boyutlara (tarih, ürün, mağaza) göre düzenlenir. "Kuzey bölgesi için çeyrek bazında ürün kategorisine göre marj" gibi bir sorgu, bu yapı içinde bir aramadır. Bugün "küp" çoğu zaman fiziksel değil mantıksaldır: sütunlu veri ambarları aynı yanıtları anında hesaplar.
OLAP, bir veri platformunun okuma tarafında yer alır. Operasyonel veritabanları olayları yakalar; pipeline'lar bunları bir veri ambarına kopyalar; bir OLAP katmanı ise, ister küp, ister semantik model, ister sütunlu bir motor olsun, analitik sorulara yanıt verir.
Excel PivotTable'ları en bilinen OLAP arayüzüdür ve doğrudan Analysis Services küplerine bağlanabilir.
OLAP nasıl çalışır ve türleri nelerdir?
OLAP motorları hızı önceden hesaplamadan, sütunlu depolamadan ya da her ikisinden alır. Klasik türler:
MOLAP: toplamları çok boyutlu bir depoya önceden hesaplar; okumalar çok hızlıdır, yenileme daha yavaştır. Örnek: SQL Server Analysis Services multidimensional modu.
ROLAP: sorguları ilişkisel yıldız şemalarına karşı SQL'e çevirir; veritabanıyla birlikte ölçeklenir.
HOLAP: toplamları bir küpte, ayrıntıları ise ilişkisel tablolarda tutar.
Standart işlemler roll-up, drill-down, slice, dice ve pivot'tur. ClickHouse, Apache Druid, Apache Pinot ve DuckDB gibi modern sütunlu motorlar ile bulut veri ambarları, küpleri elle oluşturmaya gerek kalmadan OLAP tarzı hız sunar.
OLAP pratikte nasıl görünür?
Pratikte bu, bir iş kullanıcısının SQL yazmadan milyonlarca satırı etkileşimli olarak pivot'laması anlamına gelir. 300 satış temsilcisi ve Snowflake'te beş yıllık fatura satırı bulunan bir toptan dağıtıcıyı düşünün.
Veri ekibi bir yıldız şeması modelliyor: tarih, müşteri, ürün ve temsilci boyutlarına sahip bir fatura satırı olgu (fact) tablosu.
Bunu, ürün (kategori → marka → SKU) ve coğrafya hiyerarşilerine sahip bir Power BI semantik modeli olarak yayımlıyorlar.
Bir toplulaştırma tablosu, satışları ay, kategori ve bölgeye göre önceden özetliyor; böylece görsellerin çoğu ayrıntı verisine hiç dokunmuyor.
Satış direktörü marjı marka ve bölgeye göre pivot'luyor, son çeyreğe göre dilimliyor ve tek bir markanın ayrıntısına iniyor.
Diyelim ki özet görünümler artık zaman aşımına uğramak yerine yaklaşık bir saniyede yükleniyor; insanlar Excel'e dışa aktarmayı bıraktığı için kullanım artıyor.
OLAP'ın ödünleşimleri nelerdir?
OLAP, okuma hızını güncellik, esneklik veya depolama pahasına kazanır. Önceden hesaplanmış küpler yenilemeler arasında eskir ve yeni bir boyut eklemek küplerin yeniden oluşturulmasını gerektirebilir.
Küp patlaması: çok sayıda boyutun her kombinasyonunu önceden toplulaştırmak depolamayı keskin şekilde büyütür.
Gecikme: gece yapılan küp işleme, operasyonel izleme için pek uygun değildir.
Yazma için değil: OLAP sistemleri güncellemeleri ve tek satırlık aramaları kötü yönetir.
Yetkinlik: klasik MDX tabanlı küpler, birçok ekipte artık bulunmayan uzmanlar gerektirir.
Verileriniz modern bir veri ambarına rahatça sığıyor ve sorgular saniyeler içinde dönüyorsa, ayrı bir OLAP katmanına hiç ihtiyacınız olmayabilir. Birçok ekip artık Power BI veya Looker'daki iyi tasarlanmış bir semantik modeli OLAP katmanı olarak kullanıyor.
OLAP'ın OLTP'den farkı nedir?
OLTP iş olaylarını tek tek kaydeder; OLAP ise bunları toplu olarak analiz eder. Bir e-ticaret ödeme adımının Postgres'e sipariş yazması OLTP'dir; aylara ve bölgelere göre sipariş değeri raporu ise OLAP'tır.
OLTP veritabanları (Postgres, MySQL, SQL Server) hızlı ve güvenli yazmalar için satır tabanlı depolama ve normalize şemalar kullanır. OLAP sistemleri (Snowflake, BigQuery, Redshift, ClickHouse, Analysis Services, Kyvos) ise hızlı taramalar için sütunlu depolama ve denormalize yıldız şemaları kullanır. Ağır analitiği doğrudan OLTP veritabanında çalıştırmak, müşterilerin kullandığı uygulamayı yavaşlatma riski taşır; bu yüzden veriler genellikle önce bir veri ambarına kopyalanır.
OLAP ve OLTP
OLAP | OLTP | |
|---|---|---|
Görev | Geçmişi toplu olarak analiz etmek | İşlemleri tek tek kaydetmek |
Tipik sorgu | Aya ve bölgeye göre gelir | 48213 numaralı siparişi ekle |
Depolama | Sütunlu, denormalize yıldız şemaları | Satır tabanlı, normalize tablolar |
Örnekler | Snowflake, BigQuery, ClickHouse, SSAS | Postgres, MySQL, SQL Server |
Kullanıcılar | Analistler ve yöneticiler | Uygulamalar ve müşteriler |
VIZIO AI OLAP tekniklerini nasıl kullanıyor?
VIZIO AI, panellerin yüksek hacimde de hızlı kalması gereken her yerde ön toplulaştırma, bölümlendirme ve boyutsal modeller gibi OLAP tekniklerini uygular. Birleşik Krallık'taki bir siber güvenlik araştırma kuruluşu için Growth Studio, Tableau'nun Hyper motoru üzerinde, Hyper bölümlendirme, indekslenmiş görünümler ve ön toplulaştırmalar kullanarak 500.000'den fazla kaydın bir saniyenin altında görüntülendiği bir fidye yazılımı izleme paneli geliştirdi.
Orta Doğu'daki bir akademik kurum için DX Studio, araştırmacıların ticaret verilerini bölge, emtia ve politikaya göre filtreleyebildiği, Plotly Dash ile bir ekonomik etki paneli geliştirdi; bu da politika değerlendirme döngülerini 3 kat hızlandırdı.
Nereden başlamalı: en yavaş panelinizi bulun, görsellerinin hangi boyutlara göre gruplandığını kontrol edin ve tam olarak o düzeyde ön toplulaştırma yapın.
VIZIO AI vaka çalışmalarında OLAP (Çevrim İçi Analitik İşleme)
- Real-Time Ransomware Monitoring ›Hyper bölümlendirme, indekslenmiş görünümler ve ön toplulaştırmalar, 500.000'den fazla kaydın bir saniyenin altında görüntülenmesini sağladı.
- Economic Impact Analysis ›Ticaret verilerinin bölge, emtia ve politikaya göre çok boyutlu filtrelenmesi, politika değerlendirme döngülerini 3 kat hızlandırdı.