Yapay Zekâ Halüsinasyonu
Yapay zekâ halüsinasyonu, büyük dil modeli gibi üretken bir yapay zekâ modelinin akıcı ve kendinden emin görünen ama yanlış, kaynaklarıyla desteklenmeyen veya sahte bir atıf ya da yanlış bir rakam gibi tamamen uydurulmuş çıktılar üretmesidir.
Yapay zekâ halüsinasyonu nedir?
Halüsinasyon, dil modellerinin çalışma biçiminin bir yan etkisidir: en olası sonraki kelimeleri üretirler ve bu süreçte hiçbir şey kelimelerin doğru olup olmadığını kontrol etmez. Bir büyük dil modelinin yerleşik bir olgu veritabanı yoktur; eğitim metinlerinden öğrenilmiş istatistiksel kalıpları vardır.
Yaygın biçimleri şunlardır:
Uydurma olgular: kendinden emin bir şekilde ifade edilen yanlış bir tarih, fiyat veya istatistik.
Sahte referanslar: var olmayan atıflar, URL'ler veya davalar.
Sadakatsiz özetler: kaynak belgesiyle çelişen veya ona ekleme yapan bir özet.
Uydurma arayüzler: hiç yayımlanmamış fonksiyonları veya paketleri çağıran kod.
Çok konuşulan bir örnek Mata v. Avianca (2023) davasıdır; bu davada bir ABD federal yargıcı, ChatGPT'nin uydurduğu dava atıflarını içeren bir dilekçe sunan avukatlara yaptırım uyguladı.
Yapay zekâ halüsinasyonları nasıl azaltılır?
Halüsinasyonu tamamen ortadan kaldıramazsınız, ancak modeli dayandırarak, kısıtlayarak ve kontrol ederek onu daha nadir ve yakalanması daha kolay hale getirebilirsiniz.
Dayandırın: yanıtların getirilmiş, doğrulanmış belgelerden beslenmesi için geri getirme destekli üretim kullanın.
Atıf zorunlu kılın: her iddianın arkasındaki pasaj kimliğini isteyin, ardından bu kimliklerin gerçekten getirilmiş olduğunu kodda doğrulayın.
"Bilmiyorum" demeye izin verin: kaynaklar soruyu yanıtlamıyorsa modele yanıt vermeyi reddetmesini söyleyin.
Olgular için araç kullanın: hesaplamaları ve sorgulamaları model belleği yerine SQL, API'ler veya bir hesap makinesi üzerinden çalıştırın.
Formatı kısıtlayın: izin verilen değerlere sahip JSON gibi yapılandırılmış çıktılar uydurmaya daha az alan bırakır.
Ölçün: sabit bir soru seti üzerinde eval'lar çalıştırın ve zaman içinde bir dayanaklılık (groundedness) puanını takip edin.
Halüsinasyonu azaltmak pratikte nasıl görünür?
Pratikte çözüm tek başına daha iyi bir prompt değil, modelin etrafında kurulan bir hattır. Şirket içi asistanı çalışanların poliçe metinleri hakkındaki sorularını yanıtlayan ve ilk sürümünde bazen teminat limitleri uyduran bir sigorta brokerliği şirketini düşünün.
Poliçe PDF'leri parçalara ayrılır, embedding'e dönüştürülür ve pgvector'da saklanır; her soru en ilgili pasajları getirir.
Prompt, modele yalnızca bu pasajlardan yanıt vermesini ve madde numarasını alıntılamasını söyler.
Bir son kontrol, getirilmemiş bir maddeye atıf yapan her yanıtı reddeder ve bunun yerine "bulunamadı, underwriting ekibine sorun" yanıtını döndürür.
Ekip, yanıtı bilinen örneğin 150 gerçek çalışan sorusundan oluşan bir eval seti oluşturur ve her prompt veya model değişikliğinde çalıştırır.
Başlangıçta reddetmeler artar ve bu bilinçli bir ödünleşimdir: görünür bir "bulunamadı", kendinden emin ama yanlış bir limitten daha güvenlidir.
Halüsinasyon ne zaman önemlidir ve onu önlemenin ödünleşimleri nelerdir?
Halüsinasyon riski, yanlış bir yanıtın maliyetiyle orantılı olarak yönetilmelidir. Slogan için beyin fırtınası uydurmaya tolerans gösterir; bir ilaç dozunu veya bir sözleşme maddesini alıntılamak göstermez.
Katı dayandırma reddetmeleri artırır ve geri getirme zayıfsa kullanıcıları sinirlendirebilir.
Doğru belge hiç getirilmediğinde RAG sessizce başarısız olur; bu yüzden yanıtların yanı sıra geri getirmeyi de ölçün.
İkinci bir modelin ilkini kontrol etmesi gibi doğrulama adımları, yanıt başına gecikme ve maliyet ekler.
Yüksek riskli çıktılarda son adımda human-in-the-loop incelemesini koruyun ve hataların izlenebilmesi için her yanıtı kaynaklarıyla birlikte kayıt altına alın.
Halüsinasyonları tespit etmeye ve kontrol etmeye hangi araçlar yardımcı olur?
Tespit araçları bir yanıtın bağlamıyla ne kadar iyi desteklendiğini puanlar; guardrail araçları ise bir kuralı karşılamayan yanıtları engeller veya yeniden yazar. Ragas, DeepEval ve TruLens sadakat (faithfulness) veya dayanaklılık (groundedness) metrikleri sağlar. LangSmith ve benzeri izleme araçları, inceleme için prompt'ları, getirilen bağlamı ve çıktıları kaydeder.
NVIDIA NeMo Guardrails ve Guardrails AI, ekiplerin bir yanıt kullanıcıya ulaşmadan önce çalışan kontroller tanımlamasına olanak tanır; bu da daha geniş bir yapay zekâ guardrail'leri kurulumunun parçasıdır. LangChain ve LlamaIndex gibi framework'ler geri getirme ve atıf altyapısını üstlenir.
Dayanaksız ve dayanaklı model yanıtları
Dayanaksız yanıt | Dayanaklı (RAG) yanıt | |
|---|---|---|
Bilgi kaynağı | Eğitim verisindeki kalıplar | Sorgu anında getirilen belgeler |
Kaynak gösterebilir mi? | Güvenilir şekilde değil | Evet, geri getirme başarılıysa |
Tipik halüsinasyon | Uydurma olgular ve referanslar | Pasajı yanlış okuma veya aşırı yorumlama |
Güncellik | Eğitim kesim tarihinde sabit | İndekslenen belgeler kadar güncel |
Nasıl doğrulanır | Manuel doğruluk kontrolü | İddiaları getirilen pasajlarla karşılaştırın |
VIZIO AI yapay zekâ ürünlerinde halüsinasyonu nasıl azaltıyor?
VIZIO AI, yanıtların gerçek belgelere kadar izlenebilmesi için asistanları doğrulanmış kaynaklara dayandırır. Güneydoğu Asya odaklı bir teknoloji danışmanlık firması için DX Studio, doğrulanmış finansal kaynakları ve bir vektör veritabanını kullanarak finansal soruları yanıtlayan, enstrümanları karşılaştıran ve mevzuatı açıklayan çok dilli bir chatbot geliştirdi. Platform finansal araştırma süresini %65 azalttı ve karar doğruluğunu %35 iyileştirdi.
Briefio AI için Venture Studio, akademik makaleleri özetlemek için OpenAI modellerini kullandı, kaynağın bütünlüğünü korumak için prompt yapısı üzerinde titizlikle çalıştı ve MVP'yi 3 ayda teslim etti. Nereden başlamalı: doğru yanıtı bilinen 50 gerçek soru toplayın ve mevcut kurulumunuzun bunları ne sıklıkla doğru yanıtladığını ölçün.