İçeriğe geç

Sözlük

Yapay Zekâ ve Makine Öğrenimi

Yapay Zekâ Değerlendirmesi (Evals)

Yapay zekâ değerlendirmesi (evals), bir yapay zekâ sisteminin çıktılarını sabit test setleri, otomatik puanlayıcılar ve insan incelemesi kullanarak tanımlı kriterlere göre sistematik biçimde test etme; böylece kaliteyi ölçme ve sürümden önce ve sonra gerilemeleri yakalama pratiğidir.

Güncelleme: · Hazırlayan: VIZIO AI ekibi

Yapay zekâ eval'ları nedir?

Eval'lar yapay zekâ davranışı için test paketidir: "daha iyi görünüyor" ifadesini sürümler boyunca takip edebileceğiniz bir sayıya dönüştürür. Geleneksel yazılım testlerinin aksine çıktıların değişken olduğunu varsayar; bu yüzden tek bir kesin yanıtı kontrol etmek yerine kaliteyi bir ölçek üzerinde puanlar.

Bir eval'ın dört parçası vardır: girdilerden oluşan bir veri seti (gerçek kullanıcı soruları, uç durumlar, saldırgan prompt'lar), beklenen davranış veya referans yanıtlar, bir puanlayıcı (birebir eşleşme, kod kontrolü, LLM-as-judge veya bir insan) ve model, prompt veya geri getirme değişiklikleri arasında puanları karşılaştıran bir rapor.

Eval'lar üç noktada çalışır: sürümden önce çevrimdışı, her prompt değişikliğinde CI içinde ve üretimde örneklenen konuşmalar, kullanıcı geri bildirimi ve A/B testleri aracılığıyla çevrimiçi.

Bir eval paketi nasıl oluşturulur?

Genel benchmark'lardan değil, gerçek başarısızlıklardan başlayın. Pratik bir sıralama:

  1. 50–200 gerçek girdi toplayın; kayıtlardan veya pilot kullanıcılardan, ters giden vakalar dahil.

  2. Görev başına kriterler yazın: doğru bilgiler, bir kaynağa atıf yapma, formata uyma, kapsam dışı talepleri reddetme.

  3. Puanlayıcıları seçin: format ve JSON geçerliliği için kod kontrolleri; olgular için referans karşılaştırması; üslup veya yardımseverlik için bir değerlendirme ölçütüyle çalışan ve insan etiketlerine göre kalibre edilmiş bir LLM yargıcı.

  4. Geçme eşikleri belirleyin ve gerileme gösteren sürümleri engelleyin.

  5. Üretimdeki her yeni başarısızlığı veri setine ekleyin.

RAG sistemlerinde geri getirmeyi (doğru belge geldi mi?) üretimden (yanıt onu sadık biçimde kullandı mı?) ayrı puanlayın.

Yapay zekâ eval'ları pratikte nasıl görünür?

Pratikte eval'lar prompt ince ayarlarını tahminden ölçülen deneylere dönüştürür. Çalışan politikası sorularını her müşterinin el kitabından yanıtlayan bir asistan çıkaran 40 kişilik bir İK yazılımı şirketini düşünün.

Ekip bir pilottan 150 gerçek soru toplar, İK uzmanlarıyla referans yanıtlar yazar ve el kitabının kapsamadığı 30 tuzak soru ekler. Puanlayıcılar üç şeyi kontrol eder: yanıt getirilen pasajla destekleniyor mu, ilgili bölüme atıf yapıyor mu ve el kitabı bir konuda sessizse yanıt vermeyi reddediyor mu.

Diyelim ki daha ucuz bir model doğrulukta iyi puan alıyor ama tuzak soruların üçte birine yanıt uyduruyor. Ekip o adım için orijinal modeli korur ve eval o andan itibaren her değişiklikte otomatik olarak çalışır.

Tuzak sorular olmasaydı daha ucuz model açık bir kazanç gibi görünecekti. Eval, bir sürümü ilk kez engellediğinde kendi maliyetini çıkardı.

Yapay zekâ eval'larının tuzakları nelerdir?

Yüksek bir eval puanı yalnızca sistemin, dahil etmeyi düşündüğünüz vakalarda iyi performans gösterdiği anlamına gelir. Yaygın tuzaklar:

  • Benchmark kirlenmesi: herkese açık benchmark soruları bir modelin eğitim verisinde yer alabilir ve puanları şişirebilir.

  • Kalibre edilmemiş LLM yargıçları: yargıçlar daha uzun yanıtları veya kendi model ailelerini kayırabilir; insan etiketleriyle uyumu kontrol edin.

  • Çok az vaka: 20 örnek, 5 puanlık bir değişikliği güvenilir şekilde tespit edemez.

  • Eskimiş veri setleri: kullanıcı davranışı değişir ve eski test setleri yeni başarısızlık biçimlerini kaçırır.

Eval'lar ölçer; önlemez. Canlı trafik için çalışma zamanı guardrail'lerine yine de ihtiyaç vardır.

Yapay zekâ eval'ları için hangi araçlar kullanılır?

Çoğu ekip, başarısızlıkların incelenebilmesi için bir eval framework'ünü izleme (tracing) ile birleştirir. Seçenekler arasında OpenAI Evals, LangSmith (LangChain ekibinden), Braintrust, Promptfoo, DeepEval, RAG'e özgü metrikler için Ragas, Arize Phoenix ve Weights & Biases Weave bulunur.

Model düzeyindeki karşılaştırmalar için MMLU veya HumanEval gibi herkese açık benchmark'lar kaba bir sinyal verir, ancak sizin kullanım senaryonuz hakkında pek bir şey söylemez. Eval'lar guardrail'lerden zamanlama açısından ayrılır: eval'lar davranışı test setleri üzerinde puanlarken, guardrail'ler çalışma anında tek tek girdileri ve çıktıları filtreler veya engeller. Eval'lar ayrıca bir sistemin sürümden önce nasıl test edildiğini belgeleyerek yapay zekâ yönetişimini destekler.

Yapay zekâ eval'ları ve geleneksel yazılım testleri

Yapay zekâ eval'ları

Geleneksel yazılım testleri

Beklenen çıktı

Kabul edilebilir yanıtlar aralığı

Tek bir kesin sonuç

Puanlama

Kademeli puanlar, çoğu zaman 0 ile 1 arası

Geçti veya kaldı

Puanlayıcılar

Kod, referans, LLM yargıcı, insanlar

Koddaki doğrulamalar (assertion)

Veri seti

Üretimdeki gerçek başarısızlıklarla büyür

Geliştiriciler tarafından baştan yazılır

Tutarsız sonuçlar (flakiness)

Beklenir; çalıştırmalar boyunca ortalamaları takip edin

Hata olarak ele alınır

VIZIO AI yapay zekâ sistemlerini nasıl değerlendiriyor?

VIZIO AI, yapay zekâ özelliklerini gerçek kullanım senaryolarına karşı test eder ve çıktılar kullanıcılar için yeterince güvenilir hale gelene kadar iyileştirir; ancak yayımlanmış vaka çalışmaları adı konmuş bir eval framework'ünden değil, testten bahseder. Auli AI için Venture Studio, yapılandırılmış e-ticaret verilerini analiz etmek için büyük dil modellerini kullanan bir çoklu agent sistemi geliştirdi ve performans ile güvenilirlik üzerinde titiz testler ve iterasyonlar yürüttü; MVP şimdiden 1.000'den fazla kullanıcı tarafından kullanılıyor.

Qurio LLC'nin Briefio AI ürününde ekip, özetlerin kısa kalırken orijinal makaleye sadık kalması için prompt yapısı ve içerik işleme üzerinde çalıştı ve MVP'yi 3 ayda teslim etti.

Nereden başlamalı: bugün başarısızlıklar dahil 50 gerçek kullanıcı girdisini kaydedin ve gelecekteki her değişikliği bunlara karşı puanlayın.

Facebook logosu
X logosu
LinkedIn logosu
Reddit logosu
Telegram logosu

Önce yapay zekâyı düşünün.
Geleceğin hızında ilerleyin.

Sıradakini birlikte inşa edelim! Ürün fikirlerinden akıllı iş akışlarına, veri odaklı sistemlerden ölçeklenebilir büyüme operasyonlarına kadar.

Strateji Görüşmesi Planlayın