ETL (Extract, Transform, Load)
ETL (extract, transform, load; çıkarma, dönüştürme, yükleme), verileri kaynak sistemlerden çeken, ayrı bir işleme adımında temizleyip yeniden şekillendiren ve ardından sonucu veri ambarı gibi bir hedefe yazan bir veri entegrasyonu modelidir.
ETL nedir?
ETL, verileri operasyonel uygulamalardan çıkarıp raporlama için kurulmuş bir yere taşıyan tesisattır. Extract (çıkarma) adımı veritabanları, SaaS API'leri ve dosyalar gibi kaynaklardan okuma yapar.
Transform (dönüştürme) adımı temizleme, birleştirme (join) ve iş kurallarını uygular. Load (yükleme) adımı ise sonucu bir veri ambarına, data mart'a veya BI veri setine yazar.
Pipeline'lar gecelik ya da saatlik gibi batch'ler halinde veya sürekli çalışan streaming işleri olarak çalışır. Bir zamanlayıcı veya orkestratör her adımı tetikler, başarısız olanları yeniden dener ve veri soy ağacını (lineage) kaydeder. Modern varyantı olan ELT, önce ham veriyi yükler ve dönüştürmeyi veri ambarının içinde yapar.
Her pipeline'ın, açıkça belirtilmiş olsun ya da olmasın, bir sözleşmesi de vardır: hangi tabloları, hangi saate kadar, hangi ayrıntı düzeyinde ve ne kadar güncel teslim ettiği. Bu sözleşmeyi yazıya dökmek, örneğin "dünün orders tablosu UTC 06:00'ya kadar eksiksiz", alt akıştaki ekiplerin üzerine kurulan panellere güvenmesini sağlayan şeydir.
Güvenilir bir ETL pipeline'ı nasıl tasarlanır?
Güvenilir pipeline'lar artımlı ve idempotent çalışır, başarısız olduklarında da bunu yüksek sesle duyurur.
Artımlı çıkarma: updated_at filigranı (watermark) veya Debezium gibi bir araçla değişiklik verisi yakalama (CDC) kullanarak yalnızca son çalıştırmadan bu yana değişen satırları çekin.
Staging: çalıştırmaların yeniden oynatılabilmesi için ham çıktıları dönüştürmeden önce bir ara alana indirin.
Idempotent yüklemeler: bir anahtar üzerinde MERGE veya upsert kullanın; böylece bir işi yeniden çalıştırmak asla satırları çoğaltmaz.
Şema değişikliği yönetimi: yüklemenin ortasında çökmek yerine kaynaktaki yeni veya yeniden adlandırılmış sütunları tespit edin.
Kalite kontrolleri: her yüklemeden sonra satır sayısı, null eşikleri ve güncellik testleri.
Orkestrasyon ve uyarılar: hata durumunda Slack veya e-posta uyarısı veren Apache Airflow, Dagster veya Prefect.
ETL pratikte nasıl görünür?
Küçük ama iyi kurulmuş bir pipeline, haftalık saatlerce süren kopyala-yapıştır işinin yerini alabilir. Kira defterlerini mülk yönetim sisteminden, bakım taleplerini Jira Service Management'tan ve reklam harcamalarını Google Ads'ten çeken 50 kişilik bir mülk yönetim firmasını ele alalım.
Bir Airflow işi gece 02:00'de çalışır ve her API'yi son filigrandan bu yana değişen kayıtlar için çağırır.
Python kodu birim ID'lerini sistemler arasında eşleştirir, sent cinsinden saklanan tutarları dolara çevirir ve test mülklerini ayıklar.
Sonuçlar, kayıt ID'sine göre anahtarlanan BigQuery tablolarına merge edilir.
Bir kontrol, yüklenen satır sayılarını kaynak sayılarıyla karşılaştırır ve herhangi bir fark olduğunda Slack'e uyarı gönderir.
Diyelim ki eskiden yarım gün süren pazartesi doluluk ve kiralama başına maliyet raporu artık kimse oturum açmadan önce güncelleniyor.
ELT yerine ne zaman ETL kullanmalısınız?
Veri, hedefe inmesine izin verilmeden önce değiştirilmesi gerektiğinde klasik ETL hâlâ öne çıkar. Hassas alanların depolanmadan önce kaldırılması veya maskelenmesi gerektiğinde, hedefin işlem gücü sınırlı olduğunda veya sabit bir format bekleyen eski bir sisteme yükleme yapıldığında ETL'i seçin.
ELT ise işlem gücünün esnek olduğu ve ham veriyi saklamanın mantık hatalarını yeniden oynatmayı kolaylaştırdığı bulut veri ambarlarına daha iyi uyar. Olağan hata türleri her ikisi için de geçerlidir:
Kaynak API'ler alan adlarını haber vermeden değiştirir.
Idempotent olmayan işler bir yeniden denemeden sonra çift sayım yapar.
İşler sıfır satırla "başarılı" olur ve kimse fark etmez.
Olgun ekipler bunları DataOps pratikleriyle yönetir: sürüm kontrolü, testler ve izleme.
ETL için hangi araçlar kullanılır?
Çoğu modern yapı işi böler: bir araç çıkarır ve yükler, diğeri dönüştürür. Fivetran, Airbyte ve Stitch gibi yönetilen konektörler, yüzlerce SaaS kaynağından çıkarma ve yükleme işini üstlenir.
Dönüştürme daha sonra genellikle veri ambarının içinde dbt ile çalışır. Informatica, Talend, Microsoft SSIS, Azure Data Factory ve AWS Glue gibi kurumsal paketler döngünün tamamını kapsar.
Daha küçük ekipler için Power BI veya Excel içindeki Power Query yetkin bir ETL aracıdır. Apache Kafka veya Amazon Kinesis gerçek zamanlı akışları taşırken, Airflow ve Dagster her şeyi orkestre eder. Doğru seçim; kaynak sayısına, veri hacmine ve bakımı kimin yapacağına bağlıdır; ayrıca bkz. veri dönüştürme.
ETL ve ELT karşılaştırması
ETL | ELT | |
|---|---|---|
Sıra | Çıkar, dönüştür, sonra yükle | Çıkar, yükle, sonra dönüştür |
Dönüştürmenin çalıştığı yer | Ayrı bir motor veya araç | Bulut veri ambarının içinde |
Ham verinin saklanması | Çoğu zaman atılır | Yeniden oynatma ve denetimler için saklanır |
Tipik araçlar | Informatica, SSIS, AWS Glue, Power Query | Fivetran veya Airbyte artı dbt |
En uygun olduğu durum | Depolamadan önce maskeleme, eski hedef sistemler | Snowflake, BigQuery, Databricks yapıları |
VIZIO AI, ETL pipeline'larını nasıl kurar?
VIZIO AI, pipeline'ın ağırlığını müşteriye göre ayarlar: tablo yoğun ekipler için hafif Power Query, zaman açısından kritik veriler için streaming. Küresel bir kredi raporlama ve risk analitiği firmasının Johannesburg pazarlama ekibi için DX Studio'muz, Smartsheet ve Excel'den Power BI'a Power Query tabanlı bir ETL süreci kurarak yılda 1.500 saatten fazla manuel raporlama işini ortadan kaldırdı ve aylık raporlama döngüsünü beş günden iki günün altına indirdi.
Birleşik Krallık merkezli bir siber güvenlik araştırma kuruluşu için Growth Studio'muz, Python ve Apache Kafka ile bir streaming ETL pipeline'ı kurarak 60 saniyenin altında panel gecikmesi sağladı. Nereden başlamalı: her tekrarlayan raporu, kaynaklarını ve hazırlanmasına harcanan saatleri listeleyin.
VIZIO AI vaka çalışmalarında ETL (Extract, Transform, Load)
- Marketing Performance and Workforce Analysis Dashboard ›Power BI'a veri aktaran bir Power Query ETL süreci, bir kredi raporlama firması için yılda 1.500 saatten fazla manuel raporlama işini ortadan kaldırdı.
- Real-Time Ransomware Monitoring ›Python ve Apache Kafka tabanlı bir streaming ETL pipeline'ı, fidye yazılımı istihbaratı için 60 saniyenin altında panel gecikmesi sağladı.