İçeriğe geç

Blog

Yapay Zekâ ve Makine Öğrenimi

Bir Yapay Zeka Ajanını Müşterinin Önüne Çıkarmadan Önce: Yaptığımız Kontroller

Bir yapay zeka ajanını canlıya çıkmadan önce değerlendirme seti, idempotent yazma işlemleri, gölge çalıştırma, riskli eylemlerde onay ve kayıtlarla test edin. Kontroller adım adım.

7 dk. okuma
Bir döküm kulesinde küçük bir tokmakla büyük, dökme bir çana vuran mermer bir elin noktalı (dithered) illüstrasyonu; temas noktası kırmızı.
Facebook logosu
X logosu
LinkedIn logosu
Reddit logosu
Telegram logosu

Bir yapay zeka ajanını canlıya çıkmadan önce test etmek için onu kontrol edilmiş görevlerden oluşan bir sette çalıştırın, ne söylediğini değil gerçekte neyi değiştirdiğini değerlendirin, her yazma işlemini yeniden denemeye karşı güvenli hale getirin, mevcut sürecin yanında gölge modunda çalıştırın ve sonuçlar güveni hak edene kadar riskli eylemler için onay isteyin. Ardından lansmandan sonra da kayıt tutmaya ve yeniden test etmeye devam edin.

Bir çevrimiçi mağaza için iade taleplerini ele alan bir ajan düşünün. Demoda bileti okuyor, siparişi kontrol ediyor, iadeyi yapıyor ve müşteriye yanıt veriyor. Lansmandan iki hafta sonra finans, birkaç müşteriye iki kez iade yapıldığını fark ediyor. Ödeme sağlayıcısı zaman aşımına uğramış, ajan yeniden denemiş ve iki çağrı da geçmiş. Demodaki hiçbir şey bunu gösteremezdi, çünkü demoda hiçbir şey zaman aşımına uğramadı.

Bir yapay zeka ajanını test etmek, normal yazılım testinden farklı olarak neleri içerir?

Bir ajanı test etmek, kodun yanı sıra kararları da test etmek demektir: aynı girdi farklı çalıştırmalarda farklı araç çağrılarına yol açabilir, bu yüzden başarılı tek bir çalıştırma çok az şey kanıtlar. Görev başına birçok çalıştırmaya, sonucu kontrol eden değerlendiricilere ve bir çalıştırma ters gittiğinde zararı sınırlayan kontrollere ihtiyacınız var.

Ajanları farklı kılan üç şey var:

  • Deterministik değiller. Model her seferinde farklı bir yol seçebilir, bu yüzden bir testin tekrarlanması gerekir.

  • Başka sistemler üzerinde eyleme geçerler. Bir sohbet botundaki yanlış yanıt metindir; bir ajandaki yanlış eylem bir iade, bir e-posta ya da değiştirilmiş bir kayıttır.

  • Güvenilmeyen girdi okurlar. Biletler, e-postalar ve web sayfaları ajanın yok sayması gereken talimatlar içerebilir.

Ajanların nerede bitip iş akışlarının nerede başladığına dair bir hatırlatma gerekiyorsa Yapay Zeka Ajanı Gerçekte Nedir? yazısına bakın.

Bir yapay zeka ajanı için değerlendirme setini nasıl oluşturursunuz?

Değerlendirme seti, her biri bilinen doğru bir sonuca ve otomatik olarak değerlendirilme yoluna sahip gerçekçi görevlerin listesidir. Anthropic'in mühendislik ekibi bir değerlendirmeyi (eval) şöyle tanımlar: "bir yapay zeka sistemi için bir test: yapay zekaya bir girdi verin, ardından başarıyı ölçmek için çıktısına değerlendirme mantığı uygulayın."

Görevler nereden gelir

Uydurma istemlerden değil, gerçek işten başlayın. Ajanın devralacağı süreçten biletleri, talepleri ya da vakaları çekin; zor olanlar dahil: eksik veri, öfkeli müşteriler, reddedilmesi gereken talepler. Anthropic'in ajan değerlendirme rehberi "gerçek hatalardan çıkarılmış 20-50 basit görev harika bir başlangıçtır" der.

Dökümü değil, sonucu değerlendirin

Döküm (transcript), ajanın tek bir çalıştırmada yaptığı her şeyin tam kaydıdır; sonuç ise sonrasında sistemlerin durumudur. Anthropic'in örneği "Uçuşunuz rezerve edildi" diyen bir uçuş rezervasyon ajanıdır ve burada "sonuç, ortamın SQL veritabanında bir rezervasyonun var olup olmadığıdır." Ajanın son mesajına değil, veritabanına, CRM kaydına ya da ödeme kaydına bakın.

Her görevi birden fazla kez çalıştırın

Çalıştırmalar değiştiği için her görevi birkaç kez çalıştırın. Anthropic iki ölçü tanımlar: pass@k, k denemeden en az birinin başarılı olma olasılığı; pass^k ise k denemenin hepsinin başarılı olma olasılığı. Müşteriler adına hareket eden bir ajan için önemli olan pass^k'dır: ara sıra değil, her seferinde çalışmalıdır.

Seti koruyun ve istemde, modelde, araçlarda ya da veride yapılan her değişiklikten sonra yeniden çalıştırın. Anthropic bunlara gerileme (regression) değerlendirmeleri der: ajanın "eskiden yaptığı tüm görevleri hâlâ yapıp yapmadığını" sorarlar.

Bir ajanın aynı eylemi iki kez yapmasını nasıl engellersiniz?

Her yazma işlemini idempotent yapın: her eyleme benzersiz bir anahtar verin ki yeniden deneme, yeniden eyleme geçmek yerine ilk sonucu döndürsün. İdempotency, bir şeyi iki kez yapmanın bir kez yapmakla aynı etkiye sahip olması demektir.

Taş bir dişli çarkı bir diş çeviren mermer bir parmak ucu; kırmızı bir mandal onu yerinde tutuyor

Mükerrer işlemler sıradan arızalardan gelir: bir zaman aşımı, çöken bir işçi süreç, aynı planda aynı aracı iki kez çağıran bir model. Çözüm istemde değil, araçlardadır.

  • Hedef sistemin idempotency desteğini kullanın. Örneğin Stripe'ın API'si, nesne oluşturan ya da güncelleyen isteklerde bir idempotency anahtarı kabul eder; böylece "ikinci bir nesne oluşturma ya da güncellemeyi iki kez uygulama riski olmadan isteği güvenle tekrarlayabilirsiniz."

  • Anahtarı iş olayından türetin. Deneme başına rastgele bir değer değil, bilet kimliği artı eylemi kullanın; böylece aynı iadeye yönelik ikinci bir deneme aynı anahtarı taşır.

  • Anahtar yoksa yazmadan önce kontrol edin. Eyleme geçmeden önce e-postanın gönderilip gönderilmediğine ya da kaydın zaten güncellenip güncellenmediğine bakın.

  • Bunu bilerek test edin. Değerlendirme setine bir zaman aşımını ya da yeniden denemeyi zorlayan görevler ekleyin ve tam olarak tek bir eylemin gerçekleştiğini kontrol edin.

Gölge çalıştırma nedir ve ne kadar sürmeli?

Gölge çalıştırma, ajanın gerçek girdileri işlediği ama eylemlerinin yürütülmeyip yalnızca kaydedildiği, insanların ise işi yapmaya devam ettiği bir dönemdir. Ardından ajanın ne yapacağını, insanların gerçekte ne yaptığıyla karşılaştırırsınız.

Hareketsiz tutulan mermer bir el; duvardaki gölgesi uzanma hareketini önden tamamlıyor

Gölge çalıştırma, değerlendirme setinin kaçırdıklarını yakalar: kimsenin yazmayı düşünmediği vakalar. İşin normal dağılımını, yoğun bir dönem ve sürecin varsa ay sonu veya haftalık döngüsü dahil kapsayana kadar çalıştırın. Sonra uyuşmazlıkları tek tek inceleyin. Her biri ya ajandaki bir eksik, ya değerlendirme seti için yeni bir görev ya da insanların kendi aralarında da anlaşamadığının bir işaretidir.

Hangi ajan eylemleri lansmandan önce insan onayı gerektirir?

Geri alınması zor olan, para maliyeti olan ya da bir müşteriye ulaşan eylemler, ajanın bir sicili oluşana kadar bir insanı beklemelidir. Salt okunur sorgular genellikle baştan serbestçe çalışabilir.

OpenAI'ın ajan kurma pratik rehberi, her araca "salt okunur ve yazma erişimi, geri alınabilirlik, gereken hesap yetkileri ve mali etki gibi faktörlere dayanarak" "düşük, orta ya da yüksek" risk notu vermeyi ve bu notları kontroller için duraklatmak ya da bir insana yükseltmek amacıyla kullanmayı önerir.

Uygulamanın basit bir yolu:

  • Düşük risk: Örnek: bir siparişi sorgulamak. Lansmandan önce: otomatik çalışır.

  • Orta risk: Örnek: bir yanıt taslağı hazırlamak ya da dahili bir alanı güncellemek. Lansmandan önce: çalışır; bir kişi her gün bir örneklemi inceler.

  • Yüksek risk: Örnek: iade yapmak, bir müşteriye e-posta göndermek ya da bir kaydı silmek. Lansmandan önce: bir kişi her birini onaylar.

Bir kademeyi yalnızca kayıtlar onayların göstermelik olduğunu gösterdiğinde gevşetin. Yapay zeka ajanları için tasarım yazımız bu onay ekranlarının nasıl hızlı kullanılır hale getirileceğini ele alıyor.

Bir yapay zeka ajanı canlıya çıktıktan sonra neyi izlemelisiniz?

Her araç çağrısını girdileri, sonucu ve altında çalıştığı kimlikle izleyin ve testlerinizin bulduğu hata kalıplarını gözetleyin. Birleşik Krallık Ulusal Siber Güvenlik Merkezi (NCSC), ortak rehber Careful adoption of agentic AI services hakkında yazarken çıtayı açıkça koyuyor: "Bir ajanın eylemlerini anlayamıyor, izleyemiyor ya da kontrol altına alamıyorsanız, devreye alınmaya hazır değildir."

Neler takip edilmeli

  • Yapılan her eylem, onu tetikleyen girdiye bağlantıyla birlikte.

  • Onay kararları ve insanların ajanın önerisini ne sıklıkla değiştirdiği veya reddettiği.

  • Hatalar, yeniden denemeler ve bir insana yükseltmeler.

  • Süreci bilen biri tarafından okunan haftalık bir döküm örneklemi.

Aynı NCSC yazısı kuruluşlara "ajan tabanlı yapay zekayı, net tanımlı görevlerle sıkı sınırlı pilotlardan başlayarak kademeli olarak devreye almalarını" ve "kapsamı genişletmeden önce sisteme güven oluşturmalarını" tavsiye ediyor. Uygulamada bu, önce tek bir süreç, tek bir ekip ve küçük bir araç seti demektir.

Vizio AI olarak nasıl yaklaşıyoruz

Ajanı yazmadan önce değerlendirme setini yazıyoruz. İşi bugün yapan insanlarla gerçek vakaları topluyor, her biri için doğru sonucun neye benzediği konusunda anlaşıyor ve hangi eylemlerin düşük, orta ya da yüksek riskli olduğuna karar veriyoruz.

Ardından araçları, yazma işlemleri idempotent ve ajanın kendi servis hesabıyla sınırlı olacak şekilde kuruyor, ajanı ekibin yanında gölge modunda çalıştırıyor ve her uyuşmazlığı onlarla birlikte inceliyoruz. Kayıtlar kaldırmayı haklı çıkarana kadar yüksek riskli eylemlerde onay kalıyor; değerlendirme seti de tesliminden sonra çalışmaya devam ediyor, böylece bir vakayı bozan bir istem ya da model değişikliği müşteriye ulaşmak yerine bir testte başarısız oluyor.

Bu, DX Studio çalışmamızın bir parçasıdır. Ajan sistemlerinize MCP üzerinden bağlanıyorsa Bir Yapay Zeka Ajanını CRM'inize mi Bağlıyorsunuz? Önce MCP Sunucusunu Güvenceye Alın yazısını da okuyun.

Kaynaklar

SSS.

01

02

03

04

05

Daha fazlası.

Dithered illustration of two marble hands pulling a mason's line taut between stakes across bare ground at dawn, the first course of stones laid along it and a pink knot at the nearest stake.
Your First 30 Days With a Product Studio: What Happens Week by Week
7 dk.

The first 30 days with a product studio: week one sets access and goals, week two tests the riskiest assumption, weeks three and four ship a first slice.

Dithered illustration of a marble hand opening the case of a bracket clock to show a dense hidden mechanism, one small gear deep inside glowing red.
What Does an AI Agent Cost to Run? Tokens, Tools and the Hidden Line Items
6 dk.

An AI agent's running cost is model tokens across every step, plus retries, tool and search fees, hosting, monitoring and human review. Budget per task, not per token.

Dithered illustration of a fragmented marble face looking down at a jeweller's tray where gems are sorted by size, the largest stone glowing amber under a brass lamp.
AI Lead Scoring in Your CRM: Start With the Rules You Already Trust
7 dk.

Add AI lead scoring by writing down the rules sales already trusts, cleaning CRM data, then testing the AI score against those rules before reps use it.

Önce yapay zekâyı düşünün.
Geleceğin hızında ilerleyin.

Sıradakini birlikte inşa edelim! Ürün fikirlerinden akıllı iş akışlarına, veri odaklı sistemlerden ölçeklenebilir büyüme operasyonlarına kadar.

Strateji Görüşmesi Planlayın