Getirme Destekli Üretim (RAG)
Getirme destekli üretim (retrieval-augmented generation, RAG), bir yapay zekâ sisteminin önce güvenilir bir doküman koleksiyonundan ilgili pasajları getirdiği, ardından bir dil modelinin bu pasajları bağlam olarak kullanarak yanıtını yazdığı bir tekniktir.
Getirme destekli üretim nedir?
RAG, bir modelin nasıl yapılacağını bildiği şeyleri (yazmak, akıl yürütmek, özetlemek) bilmesi gereken şeylerden (sizin güncel, özel bilgileriniz) ayırır. Bir modeli şirket dokümanları üzerinde yeniden eğitmek yerine sistem, soru sorulduğu anda doğru pasajları arar ve bunları prompt'a yerleştirir.
Yaklaşım, Facebook AI Research, University College London ve New York University'den araştırmacıların 2020 tarihli bir makalesinde adlandırıldı. Bugün yardım merkezleri, politika kütüphaneleri, sözleşmeler ve ürün dokümantasyonu üzerinde çalışan chatbot'lar için varsayılan kalıptır, çünkü bilgiyi güncellemek dokümanları güncellemek kadar basittir. Ayrıca yanıtların kaynak göstermesine olanak tanır, böylece kullanıcılar bunları kontrol edebilir.
Bir RAG pipeline'ı nasıl çalışır?
Bir RAG sisteminin önceden çalışan bir indeksleme pipeline'ı ve her soruda çalışan bir sorgu pipeline'ı vardır.
Alma ve parçalama: dokümanları, başlıkları ve bölüm başlıklarını metadata olarak koruyarak birkaç yüz token'lık pasajlara bölün.
Embedding: her parçayı bir embedding modeliyle bir vektöre dönüştürün; bkz. embedding'ler.
Depolama: vektörleri pgvector, Pinecone, Weaviate veya Qdrant gibi bir vektör veritabanına kaydedin.
Getirme: kullanıcının sorusunu embedding'e dönüştürün ve en benzer parçaları getirin; bu genellikle hibrit bir yaklaşımla anahtar kelime aramasıyla (BM25) birleştirilir.
Yeniden sıralama: bir yeniden sıralama (reranking) modeli adayları alaka düzeyine göre yeniden sıralar ve en üstteki birkaçını tutar.
Üretim: LLM, yalnızca getirilen parçaları kullanarak kaynak göstererek yanıt verir.
LangChain ve LlamaIndex gibi framework'ler bu adımları paketler, ancak her birinin yine de sizin dokümanlarınız üzerinde ayarlanması gerekir.
RAG pratikte nasıl görünür?
İK ekibi her gün üç ülkede aynı yan haklar ve izin politikası sorularını yanıtlayan, 400 çalışanlı bir üreticiyi düşünün. Politikalar, her biri bir ülke etiketi taşıyan yaklaşık 150 PDF ve intranet sayfasında yer alıyor.
Ekip dokümanları bölümlere göre parçalar, embedding'lerini oluşturur ve ülke ile yürürlük tarihi metadata'sını koruyarak pgvector ile Postgres'te depolar. Almanya'daki bir çalışan ebeveyn izni hakkında soru sorduğunda, getirme işlemi önce Alman politikalarına göre filtreleme yapar, ardından model tam ilgili bölümlere bağlantılar vererek yanıtlar.
Diyelim ki ekip, doğru yanıtları bilinen 100 gerçek sorudan oluşan bir test seti hazırlıyor ve her değişikliği buna karşı kontrol ediyor. Bu örnekte, bir politika güncellendiğinde İK PDF'i değiştirir ve indeks gece boyunca yenilenir; hiçbir model yeniden eğitimine gerek kalmaz.
RAG sistemleri neden yanlış yanıtlar verir?
RAG hatalarının çoğu getirme hatalarıdır: model kendinden emin bir şekilde yanlış pasajdan ya da hiçbir pasaja dayanmadan yanıt verir. Getirmeyi iyileştirmek genellikle daha büyük bir modele geçmekten daha fazla fayda sağlar.
Kötü parçalama: bir tabloyu veya numaralı bir prosedürü ikiye bölmek, bilgileri bağlamlarından ayırır.
Güncelliğini yitirmiş veya yinelenen dokümanlar: geçen yılın politikasını bu yılınkiyle birlikte getirmek çelişkiler üretir.
Eksik filtreler: ülke, ürün veya tarih gibi metadata olmadan, benzer ama yanlış dokümanlar üst sıralarda yer alır.
Dayanaksız yanıtlar: model boşlukları eğitim verilerinden doldurur; ona "Bilmiyorum" demesini söyleyin ve kaynakları doğrulayın.
Erişim kontrolü sızıntıları: getirme kullanıcının yetkilerine uymalıdır; aksi takdirde bot, kullanıcının görmemesi gereken dokümanlardan alıntı yapabilir.
Getirmeyi ve yanıtları ayrı ayrı ölçün; örneğin kaynaklara sadakati puanlayan eval'lerle.
RAG mı yoksa fine-tuning mi kullanmalısınız?
Model değişen veya kaynak gösterilmesi gereken bilgilere ihtiyaç duyuyorsa RAG'i; tutarlı bir üslup, format veya uzmanlaşmış bir davranışa ihtiyaç duyuyorsa fine-tuning'i kullanın. Farklı problemleri çözerler ve sıklıkla birlikte kullanılırlar.
RAG, dokümanlar değiştiğinde anında güncellenir, kaynak göstermeyi destekler ve hassas verileri model ağırlıklarının dışında tutar. Fine-tuning, her zaman belirli bir JSON yapısı üretmek veya markanızın tonu gibi kalıpları öğretir, ancak her ay değişen bilgileri saklamak için zayıf bir yoldur. Çok uzun bağlam pencereleri, küçük doküman setlerinde soru başına daha yüksek maliyetle bazen getirmenin yerini alabilir.
RAG ve fine-tuning
RAG | Fine-tuning | |
|---|---|---|
Kattığı şey | Sorgu anında güncel, spesifik bilgiler | Üslup, format veya uzmanlaşmış davranış |
Bilgiyi güncelleme | Dokümanları değiştirip yeniden indeksleme | Modeli yeniden eğitme |
Kaynak gösterme | Evet, getirilen pasajlara | Doğal bir kaynak izi yok |
Başlıca hata | Yanlış pasajı getirmek | Kendinden emin şekilde güncelliğini yitirmiş bilgiler |
Başlangıç eforu | Pipeline, parçalama ve eval'ler | Etiketli eğitim örnekleri ve eğitim çalıştırmaları |
VIZIO AI RAG sistemlerini nasıl kuruyor?
VIZIO AI, doğruluğun önemli olduğu bir alanda yanıtların dayanaklı kalması için getirme sistemlerini doğrulanmış kaynaklar üzerine kurar. Güneydoğu Asya odaklı küresel bir teknoloji danışmanlık firması için DX Studio, doğrulanmış finansal kaynakları ve bir vektör veritabanını kullanarak finansal soruları yanıtlayan, enstrümanları karşılaştıran ve düzenleyici bilgileri açıklayan akıllı bir chatbot içeren KOBİ'ler için yapay zekâ destekli bir finansal içgörü platformu geliştirdi.
Anlamsal arama ve otomatik ETL pipeline'ları, çok dilli bir platformda büyüyen veri setleri genelinde getirmenin hızlı kalmasını sağladı. Sonuç: finansal araştırma süresi %65 azaldı, platform etkileşimi 4 kat arttı ve karar doğruluğu %35 iyileşti.
Nereden başlamalı: herhangi bir vektör veritabanı seçmeden önce kullanıcılarınızın sorduğu 50 gerçek soruyu doğru yanıtlarıyla birlikte toplayın.