Yapay Zekâ Değerlendirmesi (Evals)
Yapay zekâ değerlendirmesi (evals), bir yapay zekâ sisteminin çıktılarını sabit test setleri, otomatik puanlayıcılar ve insan incelemesi kullanarak tanımlı kriterlere göre sistematik biçimde test etme; böylece kaliteyi ölçme ve sürümden önce ve sonra gerilemeleri yakalama pratiğidir.
Yapay zekâ eval'ları nedir?
Eval'lar yapay zekâ davranışı için test paketidir: "daha iyi görünüyor" ifadesini sürümler boyunca takip edebileceğiniz bir sayıya dönüştürür. Geleneksel yazılım testlerinin aksine çıktıların değişken olduğunu varsayar; bu yüzden tek bir kesin yanıtı kontrol etmek yerine kaliteyi bir ölçek üzerinde puanlar.
Bir eval'ın dört parçası vardır: girdilerden oluşan bir veri seti (gerçek kullanıcı soruları, uç durumlar, saldırgan prompt'lar), beklenen davranış veya referans yanıtlar, bir puanlayıcı (birebir eşleşme, kod kontrolü, LLM-as-judge veya bir insan) ve model, prompt veya geri getirme değişiklikleri arasında puanları karşılaştıran bir rapor.
Eval'lar üç noktada çalışır: sürümden önce çevrimdışı, her prompt değişikliğinde CI içinde ve üretimde örneklenen konuşmalar, kullanıcı geri bildirimi ve A/B testleri aracılığıyla çevrimiçi.
Bir eval paketi nasıl oluşturulur?
Genel benchmark'lardan değil, gerçek başarısızlıklardan başlayın. Pratik bir sıralama:
50–200 gerçek girdi toplayın; kayıtlardan veya pilot kullanıcılardan, ters giden vakalar dahil.
Görev başına kriterler yazın: doğru bilgiler, bir kaynağa atıf yapma, formata uyma, kapsam dışı talepleri reddetme.
Puanlayıcıları seçin: format ve JSON geçerliliği için kod kontrolleri; olgular için referans karşılaştırması; üslup veya yardımseverlik için bir değerlendirme ölçütüyle çalışan ve insan etiketlerine göre kalibre edilmiş bir LLM yargıcı.
Geçme eşikleri belirleyin ve gerileme gösteren sürümleri engelleyin.
Üretimdeki her yeni başarısızlığı veri setine ekleyin.
RAG sistemlerinde geri getirmeyi (doğru belge geldi mi?) üretimden (yanıt onu sadık biçimde kullandı mı?) ayrı puanlayın.
Yapay zekâ eval'ları pratikte nasıl görünür?
Pratikte eval'lar prompt ince ayarlarını tahminden ölçülen deneylere dönüştürür. Çalışan politikası sorularını her müşterinin el kitabından yanıtlayan bir asistan çıkaran 40 kişilik bir İK yazılımı şirketini düşünün.
Ekip bir pilottan 150 gerçek soru toplar, İK uzmanlarıyla referans yanıtlar yazar ve el kitabının kapsamadığı 30 tuzak soru ekler. Puanlayıcılar üç şeyi kontrol eder: yanıt getirilen pasajla destekleniyor mu, ilgili bölüme atıf yapıyor mu ve el kitabı bir konuda sessizse yanıt vermeyi reddediyor mu.
Diyelim ki daha ucuz bir model doğrulukta iyi puan alıyor ama tuzak soruların üçte birine yanıt uyduruyor. Ekip o adım için orijinal modeli korur ve eval o andan itibaren her değişiklikte otomatik olarak çalışır.
Tuzak sorular olmasaydı daha ucuz model açık bir kazanç gibi görünecekti. Eval, bir sürümü ilk kez engellediğinde kendi maliyetini çıkardı.
Yapay zekâ eval'larının tuzakları nelerdir?
Yüksek bir eval puanı yalnızca sistemin, dahil etmeyi düşündüğünüz vakalarda iyi performans gösterdiği anlamına gelir. Yaygın tuzaklar:
Benchmark kirlenmesi: herkese açık benchmark soruları bir modelin eğitim verisinde yer alabilir ve puanları şişirebilir.
Kalibre edilmemiş LLM yargıçları: yargıçlar daha uzun yanıtları veya kendi model ailelerini kayırabilir; insan etiketleriyle uyumu kontrol edin.
Çok az vaka: 20 örnek, 5 puanlık bir değişikliği güvenilir şekilde tespit edemez.
Eskimiş veri setleri: kullanıcı davranışı değişir ve eski test setleri yeni başarısızlık biçimlerini kaçırır.
Eval'lar ölçer; önlemez. Canlı trafik için çalışma zamanı guardrail'lerine yine de ihtiyaç vardır.
Yapay zekâ eval'ları için hangi araçlar kullanılır?
Çoğu ekip, başarısızlıkların incelenebilmesi için bir eval framework'ünü izleme (tracing) ile birleştirir. Seçenekler arasında OpenAI Evals, LangSmith (LangChain ekibinden), Braintrust, Promptfoo, DeepEval, RAG'e özgü metrikler için Ragas, Arize Phoenix ve Weights & Biases Weave bulunur.
Model düzeyindeki karşılaştırmalar için MMLU veya HumanEval gibi herkese açık benchmark'lar kaba bir sinyal verir, ancak sizin kullanım senaryonuz hakkında pek bir şey söylemez. Eval'lar guardrail'lerden zamanlama açısından ayrılır: eval'lar davranışı test setleri üzerinde puanlarken, guardrail'ler çalışma anında tek tek girdileri ve çıktıları filtreler veya engeller. Eval'lar ayrıca bir sistemin sürümden önce nasıl test edildiğini belgeleyerek yapay zekâ yönetişimini destekler.
Yapay zekâ eval'ları ve geleneksel yazılım testleri
Yapay zekâ eval'ları | Geleneksel yazılım testleri | |
|---|---|---|
Beklenen çıktı | Kabul edilebilir yanıtlar aralığı | Tek bir kesin sonuç |
Puanlama | Kademeli puanlar, çoğu zaman 0 ile 1 arası | Geçti veya kaldı |
Puanlayıcılar | Kod, referans, LLM yargıcı, insanlar | Koddaki doğrulamalar (assertion) |
Veri seti | Üretimdeki gerçek başarısızlıklarla büyür | Geliştiriciler tarafından baştan yazılır |
Tutarsız sonuçlar (flakiness) | Beklenir; çalıştırmalar boyunca ortalamaları takip edin | Hata olarak ele alınır |
VIZIO AI yapay zekâ sistemlerini nasıl değerlendiriyor?
VIZIO AI, yapay zekâ özelliklerini gerçek kullanım senaryolarına karşı test eder ve çıktılar kullanıcılar için yeterince güvenilir hale gelene kadar iyileştirir; ancak yayımlanmış vaka çalışmaları adı konmuş bir eval framework'ünden değil, testten bahseder. Auli AI için Venture Studio, yapılandırılmış e-ticaret verilerini analiz etmek için büyük dil modellerini kullanan bir çoklu agent sistemi geliştirdi ve performans ile güvenilirlik üzerinde titiz testler ve iterasyonlar yürüttü; MVP şimdiden 1.000'den fazla kullanıcı tarafından kullanılıyor.
Qurio LLC'nin Briefio AI ürününde ekip, özetlerin kısa kalırken orijinal makaleye sadık kalması için prompt yapısı ve içerik işleme üzerinde çalıştı ve MVP'yi 3 ayda teslim etti.
Nereden başlamalı: bugün başarısızlıklar dahil 50 gerçek kullanıcı girdisini kaydedin ve gelecekteki her değişikliği bunlara karşı puanlayın.
VIZIO AI vaka çalışmalarında Yapay Zekâ Değerlendirmesi (Evals)
- Auli AI ›Satıcı verileri için geliştirilen LLM tabanlı bir çoklu agent sisteminin titiz test ve iterasyonu, 1.000'den fazla kullanıcının kullandığı bir MVP ortaya çıkardı.
- Briefio AI ›Prompt ve içerik işleme çalışmaları, yapay zekâ makale özetlerini kaynağa sadık tuttu; Briefio AI MVP'si 3 ayda yayına alındı.