İçeriğe geç

Sözlük

Veri Mühendisliği

DataOps

DataOps; sürüm kontrolü, otomatik testler, CI/CD ve izleme gibi DevOps ve çevik (agile) yöntemleri veri pipeline'larına uygulayan, böylece verinin kullanıcılara daha hızlı ve daha az hatayla ulaşmasını sağlayan bir mühendislik pratikleri bütünüdür.

Güncelleme: · Hazırlayan: VIZIO AI ekibi

DataOps nedir?

Temel fikir, her pipeline'ı, dönüştürmeyi ve paneli sürümlenen, test edilen ve otomatik olarak devreye alınan kod olarak ele almaktır. Bu olmadan, tek bir SQL modelinde yapılan bir değişiklik, ay sonuna kadar kimsenin kontrol etmediği bir finans raporunu sessizce bozabilir.

Üç gelenekten beslenir: otomasyon ve devreye alma için DevOps, kısa iterasyonlar için çevik yöntemler ve veri akarken kaliteyi izlemek için üretimden gelen istatistiksel süreç kontrolü. Amaç, bir değişiklik talebinden üretimdeki güvenilir veriye uzanan kısa ve güvenli bir yoldur.

Ekip rollerini de değiştirir. Analistler değişikliklerini yazılım mühendisleri gibi pull request'ler üzerinden gönderir; veri mühendisleri ise bozuk yüklemelerle uğraşmaya daha az, yeni kaynaklara daha fazla zaman ayırır.

DataOps'un temel pratikleri nelerdir?

Değerin büyük kısmını beş pratik sağlar:

  1. Sürüm kontrolü: Pipeline kodu, SQL modelleri ve yapılandırma Git'te tutulur.

  2. Otomatik testler: Şema, tekillik, null ve güncellik kontrolleri her değişiklikte ve her yüklemede çalışır.

  3. CI/CD: Pull request'ler, üretime birleştirilmeden önce bir staging veri kümesi üzerinde testleri tetikler.

  4. Orkestrasyon: Airflow, Dagster veya Prefect gibi bir zamanlayıcı işleri bağımlılık sırasına göre çalıştırır ve başarısız olanları yeniden dener.

  5. Gözlemlenebilirlik (observability): Hacim, güncellik ve dağılım değişikliklerine ilişkin uyarılar, kullanıcılar fark etmeden önce sorumlu ekibe ulaşır.

İki faydalı sağlık ölçütü, talepten üretime geçen süre (lead time) ve olayların kullanıcılar yerine testler tarafından yakalanma oranıdır.

DataOps pratikte nasıl görünür?

İlk kazanım genellikle, bozucu bir değişikliği bir panele ulaşmadan yakalamaktır. Analitik mühendisinin dbt modellerini doğrudan üretimde düzenlediği 70 kişilik bir fintech düşünün.

  • Ekip dbt'yi GitHub'a taşır ve her pull request'te dbt build ile testleri çalıştıran GitHub Actions ekler.

  • Ödeme kaynağına güncellik testleri ve satır sayıları bir önceki güne göre %30'dan fazla düştüğünde tetiklenen bir Slack uyarısı ekler.

  • Dagster gece çalışmasını zamanlar ve yukarı akıştaki (upstream) testler başarısız olursa panellerin yenilenmesini engeller.

Diyelim ki bir tedarikçi bir sütunun adını değiştiriyor; pull request CI'da başarısız oluyor ve CFO'nun paneli sıfırlar yerine dünün doğru verisini göstermeye devam ediyor.

DataOps'un tuzakları nelerdir?

DataOps, bir alışkanlık olarak benimsenmek yerine bir araç olarak satın alındığında başarısız olur.

  • Göstermelik testler: İş mantığı kontrol edilmeden kalırken hiç başarısız olmayan yüzlerce önemsiz not-null testi.

  • Uyarı yorgunluğu: Gürültülü uyarılar, insanlara önemli olan tek uyarıyı görmezden gelmeyi öğretir.

  • Aşırı mühendislik: Beş pipeline'ı olan üç kişilik bir ekibin tam teşekküllü bir platform ekibi kurulumuna ihtiyacı yoktur; Git, dbt testleri ve tek bir zamanlayıcı yeterlidir.

  • Sahiplik eksikliği: Belirlenmiş bir müdahale sorumlusu olmayan bir uyarı yalnızca bir log satırıdır.

Küçük başlayın ve kapsamı olayların gerçekten yaşandığı yerlerde genişletin; olay günlüğü, sırada hangi testlerin yazılacağına dair en iyi rehberdir.

DataOps'un DevOps ve MLOps'tan farkı nedir?

DevOps uygulama kodunu, DataOps veriyi ve onu üreten pipeline'ları, MLOps ise eğitilmiş modelleri teslim eder. Bu fark önemlidir; çünkü kod değişmese bile veri bozulabilir, örneğin bir kaynak sistem hatalı biçimlendirilmiş kayıtlar gönderdiğinde.

Bu nedenle DataOps, standart CI'ın üzerine Great Expectations, Soda, Monte Carlo veya dbt testleri gibi veri testleri ve gözlemlenebilirlik araçları ekler. MLOps aynı disiplini model eğitimi, sürümleme ve sapma (drift) izlemeye taşır; bunu çoğu zaman MLflow veya bir bulut ML platformuyla yapar.

İlgili bir kavram olan veri soy ağacı (data lineage), bir DataOps ekibinin başarısız olan bir tablonun hangi panelleri beslediğini görmesini ve böylece önce doğru kişileri uyarmasını sağlar.

DataOps ve DevOps karşılaştırması

DataOps

DevOps

Teslim edilen

Veri pipeline'ları, modeller ve veri kümeleri

Uygulama kodu

Neyin bozabileceği

Kod değişiklikleri ve gelen verideki değişiklikler

Çoğunlukla kod ve altyapı değişiklikleri

Temel testler

Şema, güncellik, hacim, iş kuralları

Birim, entegrasyon, uçtan uca

Tipik araçlar

dbt, Airflow, Dagster, Great Expectations

GitHub Actions, Jenkins, Docker, Kubernetes

Hizmet ettiği ana kullanıcılar

Analistler ve karar vericiler

Uygulamanın son kullanıcıları

VIZIO AI DataOps'u nasıl uygular?

VIZIO AI, veriyi manuel adımlar olmadan alan, temizleyen, sınıflandıran ve yayımlayan pipeline'lar kurar; bu, DataOps'un en pratik biçimidir. Birleşik Krallık'taki bir siber güvenlik araştırma kuruluşu için Growth Studio, Python ve Apache Kafka ile birden fazla kaynaktan gelen fidye yazılımı istihbaratını normalize eden ve temiz veriyi Tableau'nun Hyper motoruna aktaran bir akış (streaming) ETL pipeline'ı kurdu.

Gerçek zamanlı fidye yazılımı izleme paneli, 60 saniyenin altında panel gecikmesi, manuel triyaj eforunda %70 azalma ve yılda 1.500 saatten fazla analist zamanı tasarrufu sağladı. Otomatik sınıflandırma elle kontrolün yerini aldı; bu, DataOps'un her türlü veri entegrasyonu iş yükünde hedeflediği dönüşümün aynısıdır.

Nereden başlamalı: En önemli pipeline'ınızı Git'e taşıyın ve en çok bağımlı olduğu kaynağa üç test ekleyin.

Facebook logosu
X logosu
LinkedIn logosu
Reddit logosu
Telegram logosu

Önce yapay zekâyı düşünün.
Geleceğin hızında ilerleyin.

Sıradakini birlikte inşa edelim! Ürün fikirlerinden akıllı iş akışlarına, veri odaklı sistemlerden ölçeklenebilir büyüme operasyonlarına kadar.

Strateji Görüşmesi Planlayın