Bir Yapay Zeka Ajanını Müşterinin Önüne Çıkarmadan Önce: Yaptığımız Kontroller
Bir yapay zeka ajanını canlıya çıkmadan önce değerlendirme seti, idempotent yazma işlemleri, gölge çalıştırma, riskli eylemlerde onay ve kayıtlarla test edin. Kontroller adım adım.
7 dk. okuma

İçindekiler
Bir yapay zeka ajanını canlıya çıkmadan önce test etmek için onu kontrol edilmiş görevlerden oluşan bir sette çalıştırın, ne söylediğini değil gerçekte neyi değiştirdiğini değerlendirin, her yazma işlemini yeniden denemeye karşı güvenli hale getirin, mevcut sürecin yanında gölge modunda çalıştırın ve sonuçlar güveni hak edene kadar riskli eylemler için onay isteyin. Ardından lansmandan sonra da kayıt tutmaya ve yeniden test etmeye devam edin.
Bir çevrimiçi mağaza için iade taleplerini ele alan bir ajan düşünün. Demoda bileti okuyor, siparişi kontrol ediyor, iadeyi yapıyor ve müşteriye yanıt veriyor. Lansmandan iki hafta sonra finans, birkaç müşteriye iki kez iade yapıldığını fark ediyor. Ödeme sağlayıcısı zaman aşımına uğramış, ajan yeniden denemiş ve iki çağrı da geçmiş. Demodaki hiçbir şey bunu gösteremezdi, çünkü demoda hiçbir şey zaman aşımına uğramadı.
Bir yapay zeka ajanını test etmek, normal yazılım testinden farklı olarak neleri içerir?
Bir ajanı test etmek, kodun yanı sıra kararları da test etmek demektir: aynı girdi farklı çalıştırmalarda farklı araç çağrılarına yol açabilir, bu yüzden başarılı tek bir çalıştırma çok az şey kanıtlar. Görev başına birçok çalıştırmaya, sonucu kontrol eden değerlendiricilere ve bir çalıştırma ters gittiğinde zararı sınırlayan kontrollere ihtiyacınız var.
Ajanları farklı kılan üç şey var:
Deterministik değiller. Model her seferinde farklı bir yol seçebilir, bu yüzden bir testin tekrarlanması gerekir.
Başka sistemler üzerinde eyleme geçerler. Bir sohbet botundaki yanlış yanıt metindir; bir ajandaki yanlış eylem bir iade, bir e-posta ya da değiştirilmiş bir kayıttır.
Güvenilmeyen girdi okurlar. Biletler, e-postalar ve web sayfaları ajanın yok sayması gereken talimatlar içerebilir.
Ajanların nerede bitip iş akışlarının nerede başladığına dair bir hatırlatma gerekiyorsa Yapay Zeka Ajanı Gerçekte Nedir? yazısına bakın.
Bir yapay zeka ajanı için değerlendirme setini nasıl oluşturursunuz?
Değerlendirme seti, her biri bilinen doğru bir sonuca ve otomatik olarak değerlendirilme yoluna sahip gerçekçi görevlerin listesidir. Anthropic'in mühendislik ekibi bir değerlendirmeyi (eval) şöyle tanımlar: "bir yapay zeka sistemi için bir test: yapay zekaya bir girdi verin, ardından başarıyı ölçmek için çıktısına değerlendirme mantığı uygulayın."
Görevler nereden gelir
Uydurma istemlerden değil, gerçek işten başlayın. Ajanın devralacağı süreçten biletleri, talepleri ya da vakaları çekin; zor olanlar dahil: eksik veri, öfkeli müşteriler, reddedilmesi gereken talepler. Anthropic'in ajan değerlendirme rehberi "gerçek hatalardan çıkarılmış 20-50 basit görev harika bir başlangıçtır" der.
Dökümü değil, sonucu değerlendirin
Döküm (transcript), ajanın tek bir çalıştırmada yaptığı her şeyin tam kaydıdır; sonuç ise sonrasında sistemlerin durumudur. Anthropic'in örneği "Uçuşunuz rezerve edildi" diyen bir uçuş rezervasyon ajanıdır ve burada "sonuç, ortamın SQL veritabanında bir rezervasyonun var olup olmadığıdır." Ajanın son mesajına değil, veritabanına, CRM kaydına ya da ödeme kaydına bakın.
Her görevi birden fazla kez çalıştırın
Çalıştırmalar değiştiği için her görevi birkaç kez çalıştırın. Anthropic iki ölçü tanımlar: pass@k, k denemeden en az birinin başarılı olma olasılığı; pass^k ise k denemenin hepsinin başarılı olma olasılığı. Müşteriler adına hareket eden bir ajan için önemli olan pass^k'dır: ara sıra değil, her seferinde çalışmalıdır.
Seti koruyun ve istemde, modelde, araçlarda ya da veride yapılan her değişiklikten sonra yeniden çalıştırın. Anthropic bunlara gerileme (regression) değerlendirmeleri der: ajanın "eskiden yaptığı tüm görevleri hâlâ yapıp yapmadığını" sorarlar.
Bir ajanın aynı eylemi iki kez yapmasını nasıl engellersiniz?
Her yazma işlemini idempotent yapın: her eyleme benzersiz bir anahtar verin ki yeniden deneme, yeniden eyleme geçmek yerine ilk sonucu döndürsün. İdempotency, bir şeyi iki kez yapmanın bir kez yapmakla aynı etkiye sahip olması demektir.

Mükerrer işlemler sıradan arızalardan gelir: bir zaman aşımı, çöken bir işçi süreç, aynı planda aynı aracı iki kez çağıran bir model. Çözüm istemde değil, araçlardadır.
Hedef sistemin idempotency desteğini kullanın. Örneğin Stripe'ın API'si, nesne oluşturan ya da güncelleyen isteklerde bir idempotency anahtarı kabul eder; böylece "ikinci bir nesne oluşturma ya da güncellemeyi iki kez uygulama riski olmadan isteği güvenle tekrarlayabilirsiniz."
Anahtarı iş olayından türetin. Deneme başına rastgele bir değer değil, bilet kimliği artı eylemi kullanın; böylece aynı iadeye yönelik ikinci bir deneme aynı anahtarı taşır.
Anahtar yoksa yazmadan önce kontrol edin. Eyleme geçmeden önce e-postanın gönderilip gönderilmediğine ya da kaydın zaten güncellenip güncellenmediğine bakın.
Bunu bilerek test edin. Değerlendirme setine bir zaman aşımını ya da yeniden denemeyi zorlayan görevler ekleyin ve tam olarak tek bir eylemin gerçekleştiğini kontrol edin.
Gölge çalıştırma nedir ve ne kadar sürmeli?
Gölge çalıştırma, ajanın gerçek girdileri işlediği ama eylemlerinin yürütülmeyip yalnızca kaydedildiği, insanların ise işi yapmaya devam ettiği bir dönemdir. Ardından ajanın ne yapacağını, insanların gerçekte ne yaptığıyla karşılaştırırsınız.

Gölge çalıştırma, değerlendirme setinin kaçırdıklarını yakalar: kimsenin yazmayı düşünmediği vakalar. İşin normal dağılımını, yoğun bir dönem ve sürecin varsa ay sonu veya haftalık döngüsü dahil kapsayana kadar çalıştırın. Sonra uyuşmazlıkları tek tek inceleyin. Her biri ya ajandaki bir eksik, ya değerlendirme seti için yeni bir görev ya da insanların kendi aralarında da anlaşamadığının bir işaretidir.
Hangi ajan eylemleri lansmandan önce insan onayı gerektirir?
Geri alınması zor olan, para maliyeti olan ya da bir müşteriye ulaşan eylemler, ajanın bir sicili oluşana kadar bir insanı beklemelidir. Salt okunur sorgular genellikle baştan serbestçe çalışabilir.
OpenAI'ın ajan kurma pratik rehberi, her araca "salt okunur ve yazma erişimi, geri alınabilirlik, gereken hesap yetkileri ve mali etki gibi faktörlere dayanarak" "düşük, orta ya da yüksek" risk notu vermeyi ve bu notları kontroller için duraklatmak ya da bir insana yükseltmek amacıyla kullanmayı önerir.
Uygulamanın basit bir yolu:
Düşük risk: Örnek: bir siparişi sorgulamak. Lansmandan önce: otomatik çalışır.
Orta risk: Örnek: bir yanıt taslağı hazırlamak ya da dahili bir alanı güncellemek. Lansmandan önce: çalışır; bir kişi her gün bir örneklemi inceler.
Yüksek risk: Örnek: iade yapmak, bir müşteriye e-posta göndermek ya da bir kaydı silmek. Lansmandan önce: bir kişi her birini onaylar.
Bir kademeyi yalnızca kayıtlar onayların göstermelik olduğunu gösterdiğinde gevşetin. Yapay zeka ajanları için tasarım yazımız bu onay ekranlarının nasıl hızlı kullanılır hale getirileceğini ele alıyor.
Bir yapay zeka ajanı canlıya çıktıktan sonra neyi izlemelisiniz?
Her araç çağrısını girdileri, sonucu ve altında çalıştığı kimlikle izleyin ve testlerinizin bulduğu hata kalıplarını gözetleyin. Birleşik Krallık Ulusal Siber Güvenlik Merkezi (NCSC), ortak rehber Careful adoption of agentic AI services hakkında yazarken çıtayı açıkça koyuyor: "Bir ajanın eylemlerini anlayamıyor, izleyemiyor ya da kontrol altına alamıyorsanız, devreye alınmaya hazır değildir."
Neler takip edilmeli
Yapılan her eylem, onu tetikleyen girdiye bağlantıyla birlikte.
Onay kararları ve insanların ajanın önerisini ne sıklıkla değiştirdiği veya reddettiği.
Hatalar, yeniden denemeler ve bir insana yükseltmeler.
Süreci bilen biri tarafından okunan haftalık bir döküm örneklemi.
Aynı NCSC yazısı kuruluşlara "ajan tabanlı yapay zekayı, net tanımlı görevlerle sıkı sınırlı pilotlardan başlayarak kademeli olarak devreye almalarını" ve "kapsamı genişletmeden önce sisteme güven oluşturmalarını" tavsiye ediyor. Uygulamada bu, önce tek bir süreç, tek bir ekip ve küçük bir araç seti demektir.
Vizio AI olarak nasıl yaklaşıyoruz
Ajanı yazmadan önce değerlendirme setini yazıyoruz. İşi bugün yapan insanlarla gerçek vakaları topluyor, her biri için doğru sonucun neye benzediği konusunda anlaşıyor ve hangi eylemlerin düşük, orta ya da yüksek riskli olduğuna karar veriyoruz.
Ardından araçları, yazma işlemleri idempotent ve ajanın kendi servis hesabıyla sınırlı olacak şekilde kuruyor, ajanı ekibin yanında gölge modunda çalıştırıyor ve her uyuşmazlığı onlarla birlikte inceliyoruz. Kayıtlar kaldırmayı haklı çıkarana kadar yüksek riskli eylemlerde onay kalıyor; değerlendirme seti de tesliminden sonra çalışmaya devam ediyor, böylece bir vakayı bozan bir istem ya da model değişikliği müşteriye ulaşmak yerine bir testte başarısız oluyor.
Bu, DX Studio çalışmamızın bir parçasıdır. Ajan sistemlerinize MCP üzerinden bağlanıyorsa Bir Yapay Zeka Ajanını CRM'inize mi Bağlıyorsunuz? Önce MCP Sunucusunu Güvenceye Alın yazısını da okuyun.
Kaynaklar
Anthropic, Demystifying evals for AI agents (9 January 2026): https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents
OpenAI, A practical guide to building agents: https://cdn.openai.com/business-guides-and-resources/a-practical-guide-to-building-agents.pdf
NCSC, Thinking carefully before adopting agentic AI (15 May 2026): https://www.ncsc.gov.uk/blogs/thinking-carefully-before-adopting-agentic-ai
ASD's ACSC, CISA, NSA, Canadian Centre for Cyber Security, NCSC-NZ and NCSC UK, Careful adoption of agentic AI services (1 May 2026): https://www.cyber.gov.au/business-government/secure-design/artificial-intelligence/careful-adoption-of-agentic-ai-services
Stripe, Idempotent requests: https://docs.stripe.com/api/idempotent_requests
SSS.
Daha Fazla Oku

Attribution That Survives Your Tool Stack: Keeping UTMs From Ad to Booking to CRM

Clean Your CRM Data Before You Add AI: Dedupe, Grain and Ownership

Semantic Layer First: Getting Your BI Ready for AI Agents

How F&B CMOs Use Generative AI In Business For Location Decisions

How Real Estate Firms Use Business Analytics For City Parks To Drive Value

Data Storytelling and Visualization

When Does a Business Actually Need Digital Transformation?

Analytics for Product Recommendations

Data Analyst vs. Data Quality Analyst

The Best NoSQL Analytics Tools 2024



