İçeriğe geç

Sözlük

Veri Mühendisliği

Veri Sanallaştırma

Veri sanallaştırma, kullanıcıların birden fazla veritabanı, veri ambarı ve API'deki veriyi, önce merkezi bir depoya kopyalamadan, tek bir mantıksal katman üzerinden sorgulamasını sağlayan bir entegrasyon yaklaşımıdır.

Güncelleme: · Hazırlayan: VIZIO AI ekibi

Veri sanallaştırma nedir?

Sanallaştırma, veriyi sorguya taşımak yerine sorguyu veriye taşır. Sanal bir katman, tek bir veritabanı gibi görünen tablolar ve görünümler (view) sunar; ancak her istek, çalışma anında alttaki kaynaklara yönelik alt sorgulara çevrilir.

Katman, isteğe bağlı önbellekler dışında kayıtların kendisini değil, meta veriyi ve mantığı (eşlemeler, join'ler, güvenlik kuralları) tutar. BI araçları, API'ler ve not defterleri gibi tüketiciler ile çeşitli kaynaklar arasında konumlanır: operasyonel veritabanları, bulut veri ambarları, nesne depolamadaki dosyalar ve SaaS API'leri. Genellikle bu yapının merkezindeki sorgu bölme motorunu ifade eden veri federasyonu kavramıyla yakından ilişkilidir.

Veri sanallaştırma nasıl çalışır?

Performans neredeyse tamamen sanal katmanın her kaynağa ne kadar işi aşağı itebildiğine (push down) bağlıdır. Tipik bir sorgu dört adımdan geçer.

  1. Ayrıştırma (parse): Katman, sanal bir görünüme yönelik bir SQL sorgusu alır; örneğin açık faturalarla birleştirilmiş müşteriler.

  2. Planlama: Optimize edici sorguyu kaynağa özgü sorgulara böler ve filtrelerle toplulaştırmaların nerede çalışacağına karar verir.

  3. Aşağı itme (push down): region = 'EMEA' gibi filtreler her kaynağın içinde çalışır; böylece yalnızca eşleşen satırlar taşınır.

  4. Birleştirme: Sonuçlar katmanda birleştirilir, isteğe bağlı olarak önbelleğe alınır ve kullanıcıya döndürülür.

Satır düzeyinde güvenlik ve sütun maskeleme bu katmanda merkezi olarak uygulanabilir; bu, en güçlü yönetişim özelliklerinden biridir.

Çoğu platform, dakikada yalnızca belirli sayıda çağrıya izin veren SaaS API'leri gibi yavaş ya da hız sınırlı kaynaklar için önbellekleme veya materialized view'lar da sunar. Önbellekleme, biraz güncellikten feragat ederek öngörülebilir hız sağlar.

Veri sanallaştırma pratikte nasıl görünür?

İlişki yöneticileri için tek bir müşteri görünümü isteyen orta ölçekli bir banka düşünün; ancak çekirdek bankacılık, düzenleyici nedenlerle serbestçe çoğaltılamayan şirket içi (on-premises) bir Oracle veritabanında çalışıyor. Kart verileri ayrı bir sistemde, CRM aktiviteleri ise Salesforce'ta duruyor.

Veri ekibi Denodo'yu devreye alıyor, üç kaynağı müşteri ID'si üzerinden birleştiren sanal bir "müşteri 360" görünümü tanımlıyor ve uyum (compliance) ekibi dışındaki herkes için hesap numaralarını maskeliyor. Diyelim ki yöneticiler görünümü Tableau'da açıyor ve her sorgu canlı sistemlere gittiği için dakikası dakikasına güncel bakiyeleri görüyor.

Bu örnekte banka, hassas verinin bir kopyasını daha oluşturup yönetmekten kaçınıyor. Yine de yavaş değişen referans tablolarını önbelleğe alıyor ve ağır geçmiş analizlerini canlı sistemler yerine veri ambarında zamanlanmış olarak çalıştırıyor.

Veri sanallaştırma ne zaman yanlış tercihtir?

Sanallaştırma; sorgular ağır, kaynaklar yavaş ya da geçmiş veri önemli olduğunda zorlanır. Her join'deki en zayıf kaynağın hızını ve erişilebilirliğini devralır.

  • Büyük geçmiş analizleri: Sistemler arasında yılların işlemlerini taramak genellikle bir veri ambarında daha hızlıdır.

  • Üretim sistemlerine binen yük: Analitik sorgular, eriştikleri operasyonel veritabanlarını yavaşlatabilir.

  • Geçmiş verinin olmaması: Kaynaklar çoğu zaman kayıtların üzerine yazar; bu nedenle belirli bir ana ait raporlama, saklanan anlık görüntüler (snapshot) gerektirir.

  • Ağır dönüştürme: Her sorguda çalıştırılan karmaşık temizleme mantığı yavaş ve maliyetli hâle gelir.

Bu nedenle birçok kuruluş ikisini bir arada kullanır: gerçek zamanlı sorgulamalar ve hızlı prototipleme için sanallaştırır, ağır raporlama için veriyi bir veri ambarında somutlaştırır (materialize).

Veri sanallaştırmanın ETL ve veri ambarından farkı nedir?

ETL, veriyi bir zamanlamaya göre kopyalayıp yeniden şekillendirerek merkezi bir depoya taşır; sanallaştırma ise veriyi yerinde bırakır ve sorgu anında entegre eder. ETL ile entegrasyon işi her sorguda değil, her yüklemede bir kez yapılır. Seçim; bir yanda güncellik ve çeviklik, diğer yanda performans ve geçmiş veri arasında bir ödünleşimdir.

Yaygın araçlar arasında Denodo, TIBCO Data Virtualization, Starburst (Trino üzerine kurulu), Dremio ve SQL Server'daki Microsoft PolyBase bulunur. Sanallaştırma ayrıca bir data fabric mimarisinin sık kullanılan yapı taşlarından biridir; klasik veri ambarı ise tutarlı, geçmişe dönük BI raporlaması için varsayılan tercih olmaya devam eder.

Veri sanallaştırma ve veri ambarına ETL karşılaştırması

Veri sanallaştırma

Veri ambarına ETL

Veri hareketi

Yok; yerinde sorgulanır

Bir zamanlamaya göre kopyalanır

Güncellik

Kaynak kadar güncel

Son yükleme itibarıyla

Geçmiş anlık görüntüler

Yalnızca kaynaklar geçmişi tutuyorsa

Saklanır ve sürümlenir

Ağır analitikte hız

En yavaş kaynakla sınırlı

Büyük taramalar için optimize edilmiş

İlk sonuca ulaşma süresi

Günler; görünümler tanımlanarak

Haftalar; pipeline'lar kurularak

VIZIO AI veri sanallaştırmaya nasıl yaklaşır?

VIZIO AI'ın yayımlanmış projeleri veriyi sanal değil fiziksel olarak konsolide eder; bu da merkezi bir deponun ne zaman daha doğru tercih olduğunu gösterir. Seattle'daki bir aile hukuku bürosu için DX Studio; Lawmatics, Clio Manage ve QuickBooks'u, Power BI'daki bir hukuki operasyonel performans analitiği panelini besleyen, günlük otomatik senkronizasyonlu merkezi bir SQL veri ambarına entegre etti.

Büro geçmiş veriye (zaman içinde faturalanan ve tahsil edilen gelir ile avukat kullanım oranı trendleri) ihtiyaç duyduğu için veri ambarı, canlı federasyondan daha uygundu. Bu tür SaaS API'leri ayrıca hız sınırları getirir; bu da sorgu anında federasyonu panel kullanımı için yavaşlatır. Proje, manuel raporlama süresini %65 azalttı ve gelir takibinin doğruluğunu %42 artırdı.

Nereden başlamalı: İhtiyaç duyduğunuz sorguları listeleyin ve hangilerinin canlı veri, hangilerinin geçmiş veri gerektirdiğini işaretleyin; bu ayrım genellikle iki yaklaşım arasındaki seçimi belirler.

Facebook logosu
X logosu
LinkedIn logosu
Reddit logosu
Telegram logosu

Önce yapay zekâyı düşünün.
Geleceğin hızında ilerleyin.

Sıradakini birlikte inşa edelim! Ürün fikirlerinden akıllı iş akışlarına, veri odaklı sistemlerden ölçeklenebilir büyüme operasyonlarına kadar.

Strateji Görüşmesi Planlayın