Veri Dönüştürme
Veri dönüştürme, veriyi kaynaktaki yapısından, formatından veya değerlerinden; temizleme, tür dönüştürme, birleştirme (join), toplulaştırma ve yeniden şekillendirme gibi adımlarla hedef sistemin ya da analizin ihtiyaç duyduğu biçime getirme sürecidir.
Veri dönüştürme nedir?
Dönüştürme, ham kayıtların "aktif müşteri" veya "net gelir" gibi iş tanımlarına dönüştüğü aşamadır. Ya yüklemeden önce, klasik ETL yaklaşımında, ya da yüklemeden sonra veri ambarının içinde, Snowflake, BigQuery ve Databricks ile baskın model hâline gelen ELT yaklaşımında gerçekleşir.
Üç düzeyi birbirinden ayırmak faydalıdır. Yapısal değişiklikler şekli değiştirir: join'ler, pivot'lar, normalizasyon. Değer düzeyindeki değişiklikler içeriği düzeltir: tür dönüştürme, birim ve para birimi dönüşümü.
Anlamsal değişiklikler iş mantığını kodlar. Çoğu ekip bunları katmanlar hâlinde düzenler; genellikle staging, intermediate ve mart modelleri.
Staging modelleri her kaynak tabloyu birebir, hafif biçimde temizler. Intermediate modeller kaynakları birleştirir ve ortak mantığı uygular. Mart'lar, nihai tabloları bir panelin veya finans ekibinin doğrudan kullanabileceği bir ayrıntı düzeyinde (grain) sunar ve iş kullanıcılarının sorgulaması gereken tek katmandır.
Yaygın veri dönüştürme adımları nelerdir?
Neredeyse her pipeline aynı birkaç işlemi tekrarlar ve her birinin test edilmesi gerekir.
Tekilleştirin: Sipariş ID'si artı satır numarası gibi sabit bir anahtar üzerinden.
Türleri dönüştürün ve standartlaştırın: Türleri ve saat dilimlerini; zaman damgaları genellikle UTC olarak saklanır.
Kodları eşleyin: Standartlara göre; örneğin ISO 3166 ülke kodları ve ISO 4217 para birimi kodları.
Birleştirin ve zenginleştirin: Ürün katalogları gibi referans verilerle.
Toplulaştırın: Raporların ihtiyaç duyduğu ayrıntı düzeyine; örneğin SKU başına günlük gelir.
Metrik türetin: Örneğin brüt kâr marjı = (gelir − satılan malın maliyeti) / gelir.
dbt'de yerleşik dört genel test (unique, not_null, accepted_values ve relationships), kırılmaların çoğunu erkenden yakalar.
Veri dönüştürme pratikte nasıl görünür?
İyi bir dönüştürme katmanının sınavı, finans ve pazarlamanın nihayet aynı gelir rakamını raporlamasıdır. Shopify ve Amazon üzerinden satış yapan 70 kişilik bir mobilya perakendecisini ele alalım.
Fivetran her iki kaynağı da saatte bir Snowflake'e yükler.
dbt staging modelleri sütunları yeniden adlandırır, Amazon'un zaman damgalarını ve Shopify'ın mağaza saatine göre zaman damgalarını UTC'ye çevirir ve fiyatları tek bir para birimine dönüştürür.
Bir eşleme tablosu Amazon ASIN'lerini dahili SKU'larla eşler.
Bir intermediate model siparişleri birleştirir (union) ve iadeleri düşer; bir mart modeli SKU ve kanal bazında günlük net geliri çıkarır.
Diyelim ki ilk hafta bir tekillik testi başarısız oluyor ve gelir raporlarını şişiren, tekrarlanmış Amazon sipariş satırlarını ortaya çıkarıyor.
Sorun giderildikten sonra finans ekibi, rakamları bir tabloda yeniden oluşturmak yerine her ay mart'ı ödemelerle mutabık hâle getirir.
Veri dönüştürmenin tuzakları nelerdir?
En maliyetli dönüştürme hataları, hata vermek yerine satırları sessizce düşürür veya çoğaltır.
Satır kaybettiren inner join'ler: Eşleşen ürünü olmayan siparişler gelirden kaybolur.
Fan-out join'ler: Anahtar başına birden fazla satırı olan bir tabloyla join yapmak toplamları katlar.
BI aracındaki mantık: Aynı metriğin üç panelde farklı tanımlanması.
Ham verinin üzerine yazmak: Orijinal veri olmadan bir mantık hatası yeniden oynatılıp düzeltilemez.
Tek seferlik sorular için hafif bir yaklaşım doğrudur; yoğun modelleme yalnızca tekrar tekrar kullanılan metrikler için karşılığını verir. Katmanlar arasında satır sayısı mutabakatı, sessiz kayıpların çoğunu yakalayan ucuz bir veri kalitesi kontrolüdür.
Veri dönüştürmenin veri temizleme ve veri entegrasyonundan farkı nedir?
Temizleme hataları düzeltir, entegrasyon kaynakları bir araya getirir, dönüştürme ise veriyi bir kullanım senaryosunun ihtiyaç duyduğu modele göre yeniden şekillendirir. Veri temizleme hatalı değerleri ayıklar; veri entegrasyonu sistemleri birbirine bağlar; dönüştürme her ikisinden de bir parça içerir, ancak odağı yapı ve iş mantığıdır ve bunu daha sonra bir veri modeli resmîleştirir.
En yaygın araçlar dbt ve veri ambarında düz SQL, büyük hacimler için Apache Spark, Excel ve Power BI'da Power Query, Google Dataform, Matillion ve daha küçük işler için pandas ya da Polars ile Python'dur. Araç ne olursa olsun, dönüştürme kodunu kod incelemesiyle birlikte sürüm kontrolünde tutun; böylece gelir tanımındaki bir değişiklik görünür, incelenmiş ve geri alınabilir olur.
Yüklemeden önce dönüştürme (ETL) ve veri ambarında dönüştürme (ELT) karşılaştırması
Yüklemeden önce dönüştürme | Veri ambarında dönüştürme | |
|---|---|---|
Mantığın çalıştığı yer | Ayrı bir işleme sunucusu veya aracı | Snowflake, BigQuery, Databricks içinde |
Ham verinin saklanması | Çoğu zaman saklanmaz | Evet, staging tablolarında |
Tipik araçlar | Informatica, SSIS, Talend, Power Query | dbt, Dataform, SQL |
En uygun olduğu durum | Hassas alanları depolamadan önce çıkarmak | İş mantığında hızlı iterasyon |
Temel dezavantaj | Bir mantık hatasından sonra yeniden oynatmak daha zor | Veri ambarı işlem maliyetleri artar |
VIZIO AI veri dönüştürmeye nasıl yaklaşır?
VIZIO AI, ortak bir veri modelini temel çıktı olarak görür; çünkü paneller ancak tanımlar örtüştüğünde aynı sonucu verir. Hızla büyüyen ABD merkezli bir kadın modası e-ticaret markası için DX Studio ekibimiz pazarlama, satış ve fiyatlandırma verilerinin Precog üzerinden alınmasını otomatikleştirdi, ardından sistemler arasındaki farklı formatları tek bir KPI katmanında uzlaştıran tutarlı bir veri modeli kurdu.
Bu model; SKU performansı, reklam harcaması ROI'si ve fiyat esnekliği için gerçek zamanlı panelleri besledi. Marka, veri doğruluğunu %28 artırdı ve operasyonel kararları %32 hızlandırdı. Nereden başlamalı: Şu anda iki ekibin farklı raporladığı tek bir metriği seçin ve tanımını SQL ile yazıya dökün.