İçeriğe geç

Sözlük

Veri Mühendisliği

ETL (Extract, Transform, Load)

ETL (extract, transform, load; çıkarma, dönüştürme, yükleme), verileri kaynak sistemlerden çeken, ayrı bir işleme adımında temizleyip yeniden şekillendiren ve ardından sonucu veri ambarı gibi bir hedefe yazan bir veri entegrasyonu modelidir.

Güncelleme: · Hazırlayan: VIZIO AI ekibi

ETL nedir?

ETL, verileri operasyonel uygulamalardan çıkarıp raporlama için kurulmuş bir yere taşıyan tesisattır. Extract (çıkarma) adımı veritabanları, SaaS API'leri ve dosyalar gibi kaynaklardan okuma yapar.

Transform (dönüştürme) adımı temizleme, birleştirme (join) ve iş kurallarını uygular. Load (yükleme) adımı ise sonucu bir veri ambarına, data mart'a veya BI veri setine yazar.

Pipeline'lar gecelik ya da saatlik gibi batch'ler halinde veya sürekli çalışan streaming işleri olarak çalışır. Bir zamanlayıcı veya orkestratör her adımı tetikler, başarısız olanları yeniden dener ve veri soy ağacını (lineage) kaydeder. Modern varyantı olan ELT, önce ham veriyi yükler ve dönüştürmeyi veri ambarının içinde yapar.

Her pipeline'ın, açıkça belirtilmiş olsun ya da olmasın, bir sözleşmesi de vardır: hangi tabloları, hangi saate kadar, hangi ayrıntı düzeyinde ve ne kadar güncel teslim ettiği. Bu sözleşmeyi yazıya dökmek, örneğin "dünün orders tablosu UTC 06:00'ya kadar eksiksiz", alt akıştaki ekiplerin üzerine kurulan panellere güvenmesini sağlayan şeydir.

Güvenilir bir ETL pipeline'ı nasıl tasarlanır?

Güvenilir pipeline'lar artımlı ve idempotent çalışır, başarısız olduklarında da bunu yüksek sesle duyurur.

  • Artımlı çıkarma: updated_at filigranı (watermark) veya Debezium gibi bir araçla değişiklik verisi yakalama (CDC) kullanarak yalnızca son çalıştırmadan bu yana değişen satırları çekin.

  • Staging: çalıştırmaların yeniden oynatılabilmesi için ham çıktıları dönüştürmeden önce bir ara alana indirin.

  • Idempotent yüklemeler: bir anahtar üzerinde MERGE veya upsert kullanın; böylece bir işi yeniden çalıştırmak asla satırları çoğaltmaz.

  • Şema değişikliği yönetimi: yüklemenin ortasında çökmek yerine kaynaktaki yeni veya yeniden adlandırılmış sütunları tespit edin.

  • Kalite kontrolleri: her yüklemeden sonra satır sayısı, null eşikleri ve güncellik testleri.

  • Orkestrasyon ve uyarılar: hata durumunda Slack veya e-posta uyarısı veren Apache Airflow, Dagster veya Prefect.

ETL pratikte nasıl görünür?

Küçük ama iyi kurulmuş bir pipeline, haftalık saatlerce süren kopyala-yapıştır işinin yerini alabilir. Kira defterlerini mülk yönetim sisteminden, bakım taleplerini Jira Service Management'tan ve reklam harcamalarını Google Ads'ten çeken 50 kişilik bir mülk yönetim firmasını ele alalım.

  1. Bir Airflow işi gece 02:00'de çalışır ve her API'yi son filigrandan bu yana değişen kayıtlar için çağırır.

  2. Python kodu birim ID'lerini sistemler arasında eşleştirir, sent cinsinden saklanan tutarları dolara çevirir ve test mülklerini ayıklar.

  3. Sonuçlar, kayıt ID'sine göre anahtarlanan BigQuery tablolarına merge edilir.

  4. Bir kontrol, yüklenen satır sayılarını kaynak sayılarıyla karşılaştırır ve herhangi bir fark olduğunda Slack'e uyarı gönderir.

Diyelim ki eskiden yarım gün süren pazartesi doluluk ve kiralama başına maliyet raporu artık kimse oturum açmadan önce güncelleniyor.

ELT yerine ne zaman ETL kullanmalısınız?

Veri, hedefe inmesine izin verilmeden önce değiştirilmesi gerektiğinde klasik ETL hâlâ öne çıkar. Hassas alanların depolanmadan önce kaldırılması veya maskelenmesi gerektiğinde, hedefin işlem gücü sınırlı olduğunda veya sabit bir format bekleyen eski bir sisteme yükleme yapıldığında ETL'i seçin.

ELT ise işlem gücünün esnek olduğu ve ham veriyi saklamanın mantık hatalarını yeniden oynatmayı kolaylaştırdığı bulut veri ambarlarına daha iyi uyar. Olağan hata türleri her ikisi için de geçerlidir:

  • Kaynak API'ler alan adlarını haber vermeden değiştirir.

  • Idempotent olmayan işler bir yeniden denemeden sonra çift sayım yapar.

  • İşler sıfır satırla "başarılı" olur ve kimse fark etmez.

Olgun ekipler bunları DataOps pratikleriyle yönetir: sürüm kontrolü, testler ve izleme.

ETL için hangi araçlar kullanılır?

Çoğu modern yapı işi böler: bir araç çıkarır ve yükler, diğeri dönüştürür. Fivetran, Airbyte ve Stitch gibi yönetilen konektörler, yüzlerce SaaS kaynağından çıkarma ve yükleme işini üstlenir.

Dönüştürme daha sonra genellikle veri ambarının içinde dbt ile çalışır. Informatica, Talend, Microsoft SSIS, Azure Data Factory ve AWS Glue gibi kurumsal paketler döngünün tamamını kapsar.

Daha küçük ekipler için Power BI veya Excel içindeki Power Query yetkin bir ETL aracıdır. Apache Kafka veya Amazon Kinesis gerçek zamanlı akışları taşırken, Airflow ve Dagster her şeyi orkestre eder. Doğru seçim; kaynak sayısına, veri hacmine ve bakımı kimin yapacağına bağlıdır; ayrıca bkz. veri dönüştürme.

ETL ve ELT karşılaştırması

ETL

ELT

Sıra

Çıkar, dönüştür, sonra yükle

Çıkar, yükle, sonra dönüştür

Dönüştürmenin çalıştığı yer

Ayrı bir motor veya araç

Bulut veri ambarının içinde

Ham verinin saklanması

Çoğu zaman atılır

Yeniden oynatma ve denetimler için saklanır

Tipik araçlar

Informatica, SSIS, AWS Glue, Power Query

Fivetran veya Airbyte artı dbt

En uygun olduğu durum

Depolamadan önce maskeleme, eski hedef sistemler

Snowflake, BigQuery, Databricks yapıları

VIZIO AI, ETL pipeline'larını nasıl kurar?

VIZIO AI, pipeline'ın ağırlığını müşteriye göre ayarlar: tablo yoğun ekipler için hafif Power Query, zaman açısından kritik veriler için streaming. Küresel bir kredi raporlama ve risk analitiği firmasının Johannesburg pazarlama ekibi için DX Studio'muz, Smartsheet ve Excel'den Power BI'a Power Query tabanlı bir ETL süreci kurarak yılda 1.500 saatten fazla manuel raporlama işini ortadan kaldırdı ve aylık raporlama döngüsünü beş günden iki günün altına indirdi.

Birleşik Krallık merkezli bir siber güvenlik araştırma kuruluşu için Growth Studio'muz, Python ve Apache Kafka ile bir streaming ETL pipeline'ı kurarak 60 saniyenin altında panel gecikmesi sağladı. Nereden başlamalı: her tekrarlayan raporu, kaynaklarını ve hazırlanmasına harcanan saatleri listeleyin.

Facebook logosu
X logosu
LinkedIn logosu
Reddit logosu
Telegram logosu

Önce yapay zekâyı düşünün.
Geleceğin hızında ilerleyin.

Sıradakini birlikte inşa edelim! Ürün fikirlerinden akıllı iş akışlarına, veri odaklı sistemlerden ölçeklenebilir büyüme operasyonlarına kadar.

Strateji Görüşmesi Planlayın