İçeriğe geç

Sözlük

Analitik ve BI

OLAP (Çevrim İçi Analitik İşleme)

OLAP (online analytical processing, çevrim içi analitik işleme), verileri hızlı çok boyutlu analiz için saklama ve sorgulama yöntemidir; kullanıcıların gelir gibi ölçüleri zaman, ürün ve bölge gibi boyutlar genelinde saniyeler içinde özetlemesini sağlar.

Güncelleme: · Hazırlayan: VIZIO AI ekibi

OLAP nedir?

OLAP, tek tek işlemleri kaydetmek için değil, büyük miktarda geçmiş veriyi okumak ve özetlemek için tasarlanmıştır. Terim, 1993'te E. F. Codd tarafından veri girişi yerine analiz için optimize edilmiş sistemleri tanımlamak üzere ortaya atıldı.

Temel kavram küptür: ölçüler (satış, adet, marj), her biri hiyerarşilere sahip boyutlara (tarih, ürün, mağaza) göre düzenlenir. "Kuzey bölgesi için çeyrek bazında ürün kategorisine göre marj" gibi bir sorgu, bu yapı içinde bir aramadır. Bugün "küp" çoğu zaman fiziksel değil mantıksaldır: sütunlu veri ambarları aynı yanıtları anında hesaplar.

OLAP, bir veri platformunun okuma tarafında yer alır. Operasyonel veritabanları olayları yakalar; pipeline'lar bunları bir veri ambarına kopyalar; bir OLAP katmanı ise, ister küp, ister semantik model, ister sütunlu bir motor olsun, analitik sorulara yanıt verir.

Excel PivotTable'ları en bilinen OLAP arayüzüdür ve doğrudan Analysis Services küplerine bağlanabilir.

OLAP nasıl çalışır ve türleri nelerdir?

OLAP motorları hızı önceden hesaplamadan, sütunlu depolamadan ya da her ikisinden alır. Klasik türler:

  • MOLAP: toplamları çok boyutlu bir depoya önceden hesaplar; okumalar çok hızlıdır, yenileme daha yavaştır. Örnek: SQL Server Analysis Services multidimensional modu.

  • ROLAP: sorguları ilişkisel yıldız şemalarına karşı SQL'e çevirir; veritabanıyla birlikte ölçeklenir.

  • HOLAP: toplamları bir küpte, ayrıntıları ise ilişkisel tablolarda tutar.

Standart işlemler roll-up, drill-down, slice, dice ve pivot'tur. ClickHouse, Apache Druid, Apache Pinot ve DuckDB gibi modern sütunlu motorlar ile bulut veri ambarları, küpleri elle oluşturmaya gerek kalmadan OLAP tarzı hız sunar.

OLAP pratikte nasıl görünür?

Pratikte bu, bir iş kullanıcısının SQL yazmadan milyonlarca satırı etkileşimli olarak pivot'laması anlamına gelir. 300 satış temsilcisi ve Snowflake'te beş yıllık fatura satırı bulunan bir toptan dağıtıcıyı düşünün.

  1. Veri ekibi bir yıldız şeması modelliyor: tarih, müşteri, ürün ve temsilci boyutlarına sahip bir fatura satırı olgu (fact) tablosu.

  2. Bunu, ürün (kategori → marka → SKU) ve coğrafya hiyerarşilerine sahip bir Power BI semantik modeli olarak yayımlıyorlar.

  3. Bir toplulaştırma tablosu, satışları ay, kategori ve bölgeye göre önceden özetliyor; böylece görsellerin çoğu ayrıntı verisine hiç dokunmuyor.

  4. Satış direktörü marjı marka ve bölgeye göre pivot'luyor, son çeyreğe göre dilimliyor ve tek bir markanın ayrıntısına iniyor.

Diyelim ki özet görünümler artık zaman aşımına uğramak yerine yaklaşık bir saniyede yükleniyor; insanlar Excel'e dışa aktarmayı bıraktığı için kullanım artıyor.

OLAP'ın ödünleşimleri nelerdir?

OLAP, okuma hızını güncellik, esneklik veya depolama pahasına kazanır. Önceden hesaplanmış küpler yenilemeler arasında eskir ve yeni bir boyut eklemek küplerin yeniden oluşturulmasını gerektirebilir.

  • Küp patlaması: çok sayıda boyutun her kombinasyonunu önceden toplulaştırmak depolamayı keskin şekilde büyütür.

  • Gecikme: gece yapılan küp işleme, operasyonel izleme için pek uygun değildir.

  • Yazma için değil: OLAP sistemleri güncellemeleri ve tek satırlık aramaları kötü yönetir.

  • Yetkinlik: klasik MDX tabanlı küpler, birçok ekipte artık bulunmayan uzmanlar gerektirir.

Verileriniz modern bir veri ambarına rahatça sığıyor ve sorgular saniyeler içinde dönüyorsa, ayrı bir OLAP katmanına hiç ihtiyacınız olmayabilir. Birçok ekip artık Power BI veya Looker'daki iyi tasarlanmış bir semantik modeli OLAP katmanı olarak kullanıyor.

OLAP'ın OLTP'den farkı nedir?

OLTP iş olaylarını tek tek kaydeder; OLAP ise bunları toplu olarak analiz eder. Bir e-ticaret ödeme adımının Postgres'e sipariş yazması OLTP'dir; aylara ve bölgelere göre sipariş değeri raporu ise OLAP'tır.

OLTP veritabanları (Postgres, MySQL, SQL Server) hızlı ve güvenli yazmalar için satır tabanlı depolama ve normalize şemalar kullanır. OLAP sistemleri (Snowflake, BigQuery, Redshift, ClickHouse, Analysis Services, Kyvos) ise hızlı taramalar için sütunlu depolama ve denormalize yıldız şemaları kullanır. Ağır analitiği doğrudan OLTP veritabanında çalıştırmak, müşterilerin kullandığı uygulamayı yavaşlatma riski taşır; bu yüzden veriler genellikle önce bir veri ambarına kopyalanır.

OLAP ve OLTP

OLAP

OLTP

Görev

Geçmişi toplu olarak analiz etmek

İşlemleri tek tek kaydetmek

Tipik sorgu

Aya ve bölgeye göre gelir

48213 numaralı siparişi ekle

Depolama

Sütunlu, denormalize yıldız şemaları

Satır tabanlı, normalize tablolar

Örnekler

Snowflake, BigQuery, ClickHouse, SSAS

Postgres, MySQL, SQL Server

Kullanıcılar

Analistler ve yöneticiler

Uygulamalar ve müşteriler

VIZIO AI OLAP tekniklerini nasıl kullanıyor?

VIZIO AI, panellerin yüksek hacimde de hızlı kalması gereken her yerde ön toplulaştırma, bölümlendirme ve boyutsal modeller gibi OLAP tekniklerini uygular. Birleşik Krallık'taki bir siber güvenlik araştırma kuruluşu için Growth Studio, Tableau'nun Hyper motoru üzerinde, Hyper bölümlendirme, indekslenmiş görünümler ve ön toplulaştırmalar kullanarak 500.000'den fazla kaydın bir saniyenin altında görüntülendiği bir fidye yazılımı izleme paneli geliştirdi.

Orta Doğu'daki bir akademik kurum için DX Studio, araştırmacıların ticaret verilerini bölge, emtia ve politikaya göre filtreleyebildiği, Plotly Dash ile bir ekonomik etki paneli geliştirdi; bu da politika değerlendirme döngülerini 3 kat hızlandırdı.

Nereden başlamalı: en yavaş panelinizi bulun, görsellerinin hangi boyutlara göre gruplandığını kontrol edin ve tam olarak o düzeyde ön toplulaştırma yapın.

Facebook logosu
X logosu
LinkedIn logosu
Reddit logosu
Telegram logosu

Önce yapay zekâyı düşünün.
Geleceğin hızında ilerleyin.

Sıradakini birlikte inşa edelim! Ürün fikirlerinden akıllı iş akışlarına, veri odaklı sistemlerden ölçeklenebilir büyüme operasyonlarına kadar.

Strateji Görüşmesi Planlayın