İçeriğe geç

Sözlük

Veri Mühendisliği

Data Fabric (Veri Dokusu)

Data fabric (veri dokusu), veritabanları, bulutlar ve uygulamalar genelindeki verileri ortak bir metadata, entegrasyon ve yönetişim hizmetleri katmanı üzerinden birbirine bağlayan bir mimari tasarımdır; böylece kullanıcılar, verilerin tamamını önce tek bir depoya kopyalamadan veriyi bulup kullanabilir.

Güncelleme: · Hazırlayan: VIZIO AI ekibi

Data fabric nedir?

Data fabric tek bir ürün değil, bir tasarım kalıbıdır: birkaç aracı ortak bir metadata katmanı etrafında bir araya getirir. Gartner ve Forrester gibi analist firmalarının yaygınlaştırdığı fikir, verinizi tanımlayan sistemlerin entegrasyon işinin daha büyük bir kısmını otomatik olarak üstlenmesidir.

Merkezde “aktif” metadata yer alır: katalog yalnızca tablo adlarını değil, kimin neyi kullandığını, verinin ne kadar güncel olduğunu ve neleri içerdiğini de kaydeder. Bu metadata ardından aramayı, erişim politikalarını, önerileri ve hangi entegrasyon yönteminin kullanılacağını (zamanlanmış kopya, akış veya canlı federe sorgu) yönlendirir. Veri kataloglama ve veri sanallaştırma başlıca bileşenlerinden ikisidir.

Bir data fabric'in yapı taşları nelerdir?

Neredeyse her uygulamada, her biri kendi araç kategorisine sahip beş katman görülür.

  • Katalog ve metadata: Alation, Collibra, Atlan veya Microsoft Purview şemaları, veri soy ağacını (lineage) ve kullanım bilgilerini toplar.

  • Entegrasyon: Kopyalanması gereken veriler için toplu (batch) pipeline'lar (Informatica, Fivetran) ve akışlar (Apache Kafka).

  • Sanallaştırma ve federasyon: Denodo veya Starburst gibi Trino tabanlı motorlar veriyi bulunduğu yerde sorgular.

  • Politika ve yönetişim: Bir kez tanımlanıp her yerde uygulanan sınıflandırma, maskeleme ve erişim kuralları.

  • Semantik katman: Ortak iş tanımları; örneğin dbt Semantic Layer veya AtScale.

Hiçbir sağlayıcı bu beş katmanın hepsini eşit derecede iyi karşılamaz; bu yüzden çoğu data fabric satın alınmaz, bir araya getirilerek kurulur.

Data fabric pratikte nasıl görünür?

Getirisi, bir analistin birçok sisteme dağılmış verileri haftalar yerine günler içinde bulup talep edip sorgulayabildiğinde ortaya çıkar. Poliçeleri şirket içi (on-premise) bir Oracle veritabanında, hasarları SQL Server'da, müşteri etkileşimleri Salesforce'ta ve analitiği Snowflake'te bulunan 3.000 kişilik bir sigorta şirketini ele alalım.

Veri platformu ekibi dört kaynağın tamamına bir katalog bağlar ve katalog kişisel veri içeren sütunları otomatik olarak etiketler. Bu sütunlar için bir maskeleme politikası bir kez yazılır ve veri ister Snowflake'te ister Trino üzerinden sorgulansın uygulanır. Bir müşteri görünümü, hasar veritabanını kopyalamadan hasarları ve poliçeleri federasyon yoluyla birleştirir; en sık çalıştırılan birleştirmeler ise hız için Snowflake'te somutlaştırılır (materialize edilir).

Diyelim ki bir aktüerya analisti eskiden erişim için birkaç hafta bekliyordu; artık kataloğu arıyor, erişim talep ediyor ve politika tabanlı onay bir gün içinde geliyor.

Data fabric'in ödünleşimleri nelerdir?

Data fabric karmaşıklığı metadata'ya taşır; bu nedenle ancak biri bu metadata'nın bakımını yaparsa işe yarar. Tartılması gereken ödünleşimler:

  • Sahipler veri setlerini belgelemediğinde veya onaylamadığında kataloglar hızla eskir.

  • Ağlar ve şirket içi sistemler üzerinden yapılan federe sorgular yavaş olabilir ve üretim veritabanlarına yük bindirebilir.

  • Sağlayıcılar bu etiketi gevşek kullanır; bir satış sunumundaki “fabric” yalnızca bir konnektör kütüphanesi anlamına gelebilir.

  • Katalog, sanallaştırma ve yönetişim araçlarının lisans maliyetleri hızla birikir.

Birkaç SaaS aracı kullanan 30 kişilik bir şirketin buna ihtiyacı yoktur; bir veri ambarını besleyen bir ELT aracı aynı sorunu çok daha az yükle çözer.

Data fabric, data mesh'ten nasıl ayrılır?

Data fabric dağınık veriye teknolojik bir yanıttır; data mesh ise organizasyonel bir yanıttır. Zhamak Dehghani'nin 2019'da tanımladığı data mesh, veri ürünlerinin sahipliğini hasar veya faturalama gibi iş alanlarına (domain) devreder; bunu self-servis bir platform ve federe yönetişimle destekler. Data fabric ise kontrolü daha çok merkezde tutar ve kaynakları bağlamak için otomasyona ve metadata'ya dayanır.

Bunlar birbirini dışlamaz. Bir şirket, mesh tarzında alanların kendi veri ürünlerine sahip olmasına izin verirken ortak katalog ve politika uygulaması için fabric araçlarını kullanabilir. Asıl soru, darboğazınızın teknoloji mi yoksa sahiplik mi olduğudur; ekipler müşteri verisinin sahibinin kim olduğunda anlaşamıyorsa daha fazla araç bunu çözmez, yalnızca daha iyi veri entegrasyonu da çözmez.

Data fabric ve data mesh karşılaştırması

Data fabric

Data mesh

Temel fikir

Veriyi ortak metadata ve otomasyon üzerinden bağlamak

Alanlar veriyi ürün olarak sahiplenir ve yayımlar

Birincil kaldıraç

Teknoloji ve araçlar

Organizasyon ve sahiplik

Yönetişim

Çoğunlukla merkezi, politika odaklı

Alanlar arasında federe

Veri hareketi

Kopyalama ve canlı federasyonun karışımı

Her alan kendisi karar verir

Ana risk

Eskimiş metadata ve yavaş federe sorgular

Alanlar arasında tutarsız kalite

En uygun olduğu durum

Çok sayıda sistem, güçlü merkezi veri ekibi

Yetkin alan ekiplerine sahip büyük firmalar

VIZIO AI data fabric çalışmalarına nasıl yaklaşıyor?

VIZIO AI, data fabric'in hedeflediği sorunu (dosyalara, API'lere ve sistemlere dağılmış veriyi) tam bir fabric yığını yerine ihtiyaca göre boyutlandırılmış pipeline'larla çözer. Birleşik Krallık merkezli küresel bir emtia ticareti firması için DX Studio, piyasa fiyatları, batarya şarj durumu, sevk (dispatch) programları ve hava durumu akışları dahil olmak üzere tabloları, API'leri ve geçmiş dosyaları canlı bir panelin arkasında tek bir standart yapıda toplayan özel bir ETL pipeline'ı geliştirdi.

Mimari bulut yerelinde (cloud-native) ve modüler kuruldu; böylece yeni varlıklar ve coğrafyalar yeniden inşaya gerek kalmadan eklenebiliyor. Manuel raporlama süresini %19, operasyonel yükü %8 azalttı. Kurumsal bir katalog veya sanallaştırma katmanı içermiyordu. Nereden başlamalı: her kaynağı, sahibini ve ne kadar güncel olması gerektiğini listeleyin.

Facebook logosu
X logosu
LinkedIn logosu
Reddit logosu
Telegram logosu

Önce yapay zekâyı düşünün.
Geleceğin hızında ilerleyin.

Sıradakini birlikte inşa edelim! Ürün fikirlerinden akıllı iş akışlarına, veri odaklı sistemlerden ölçeklenebilir büyüme operasyonlarına kadar.

Strateji Görüşmesi Planlayın