İçeriğe geç

Blog

Yapay Zekâ ve Makine Öğrenimi

Şirket Belgelerinizle Sohbet Edin: RAG Ne Zaman İşe Yarar, Ne Zaman Yaramaz

RAG, belgeler güncel, metin olarak okunabilir ve izin etiketli olduğunda işe yarar. Eski dosyalarda, taranmış PDF'lerde ve saymayı gerektiren sorularda başarısız olur.

7 dk. okuma
Loş bir arşivde, güvercin yuvası gözlerle dolu bir duvardan mumla mühürlü bir parşömen çeken mermer bir elin noktalı (dithered) illüstrasyonu; parşömenden kırmızı ışıklı bir pencerenin altındaki oyma bir kürsüye uzanan kırmızı bir iplik.
Facebook logosu
X logosu
LinkedIn logosu
Reddit logosu
Telegram logosu

Retrieval-augmented generation (RAG), yanıt birkaç güncel, metin olarak okunabilir ve soran kişinin görmesine izin verilen dosyada yazılı olduğunda şirket belgeleri için işe yarar. Dosyalar eski ya da mükerrer olduğunda, PDF'ler taranmış görüntü olduğunda, izinler göz ardı edildiğinde ve soru birçok kayıt boyunca saymayı ya da toplamayı gerektirdiğinde zorlanır.

60 kişilik bir hizmet firmasındaki operasyon müdürünü düşünün. Ekip her hafta aynı soruları soruyor: müşteri ziyaretleri için seyahat politikası nedir, sabit fiyatlı bir proje için hangi sözleşme şablonu geçerli, olağan sınırın üzerindeki bir iadeyi kim onaylar. Yanıtlar, el kitabının üç sürümü, taranmış sözleşmelerin bir klasörü ve yalnızca İK'nın açabildiği birkaç politika bulunan bir paylaşımlı sürücüde duruyor. O sürücünün üzerindeki bir sohbet asistanı hızlıca yanıt verir. Doğru yanıtlayıp yanıtlamaması modele değil, sürücüye bağlıdır.

RAG nedir ve şirket belgelerinden nasıl yanıt verir?

RAG, bir yapay zeka sisteminin önce belgelerinizde bir soruyla en çok ilgili pasajları aradığı, ardından bu pasajları yanıtı yazması için bir dil modeline verdiği bir kalıptır. Model yalnızca eğitimde öğrendiklerinden değil, sizin içeriğinizden yanıt verir.

Terim, Patrick Lewis ve arkadaşlarının 2020 tarihli araştırma makalesinden, "önceden eğitilmiş parametrik ve parametrik olmayan belleği birleştiren" modelleri tarif eden Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks'ten geliyor. Microsoft'un Azure AI Search dokümantasyonu bunu iş diliyle ifade ediyor: RAG, "yanıtları size ait içeriğe dayandırarak LLM yeteneklerini genişletir."

Tipik bir kurulumdaki dört adım

  1. İçeri alma (ingest). Dosyalar sürücülerden, wiki'lerden ya da bilet sistemlerinden toplanır ve metne dönüştürülür.

  2. Parçalama (chunk). Uzun belgeler, her bölüm kendi başına eşleştirilebilsin diye daha küçük pasajlara bölünür.

  3. Getirme (retrieve). Biri bir soru sorduğunda, bir arama (anlama, anahtar kelimeye ya da ikisine göre) en alakalı pasajları seçer.

  4. Üretme (generate). Model, yalnızca bu pasajları kullanarak, ideal olarak kaynağa bağlantılarla bir yanıt yazar.

Barındırılan araçlar bu adımları paketler. Örneğin OpenAI'ın dosya arama aracı, bir modelin "daha önce yüklenmiş dosyalardan oluşan bir bilgi tabanında anlamsal ve anahtar kelime aramasıyla bilgi getirmesine" olanak tanır.

RAG iş belgeleri için ne zaman iyi çalışır?

RAG, yanıt yazılı olarak bir ya da birkaç yerde bulunduğunda ve soru bir hesaplama istemek yerine bir belgenin ne söylediğini sorduğunda iyi çalışır. Politikalar, prosedürler, ürün dokümantasyonu, sözleşme maddeleri ve geçmiş teklifler iyi uyumlardır.

  • Politika ve İK soruları. Uyum: güçlü. Neden: yanıtlar, bir avuç resmi belgedeki kısa pasajlardır.

  • Ürün ve destek dokümantasyonu. Uyum: güçlü. Neden: içerik zaten bir şeyleri açıklamak için yazılmış ve genellikle güncel tutuluyor.

  • Sözleşme sorguları. Uyum: dikkatle iyi. Neden: maddeler bulunabilir, ama asistanın hangi sözleşmeyi ve sürümü kullandığını söylemesi gerekir.

  • "Kaç" ya da "ne kadar" soruları. Uyum: zayıf. Neden: kayıtlar arası toplamlar birkaç pasaj değil, bir veritabanı sorgusu gerektirir.

  • Yargı gerektiren sorular. Uyum: zayıf. Neden: RAG ilgili belgeleri bir araya getirebilir, ama yine de bir insanın karar vermesi gerekir.

Sorularınız çoğunlukla bölgeye göre gelir ya da haftalık biletler gibi rakamlarla ilgiliyse, belge araması değil yapılandırılmış verilere ve tanımlı metriklere ihtiyacınız var. Yapay zeka için semantik katman yazımız bu tarafı ele alıyor.

RAG neden yanlış ya da eksik yanıtlar verir?

Yanlış RAG yanıtlarının çoğu modelden değil getirmeden gelir: sistem yanlış pasajı, eskimiş birini ya da hiçbirini bulmuştur ve model kendisine verileni yanıtlamıştır. Belgeleri ve aramayı düzeltmek, modeli değiştirmekten genellikle daha çok yardımcı olur.

Uzun bir parşömeni şeritlere kesen iki mermer el; her şerit üst kenarı boyunca kızıl bir başlık çizgisini koruyor

Yaygın başarısızlık biçimleri

  • Eski ve mükerrer dosyalar. Aynı el kitabının üç sürümü üç farklı yanıt demektir. Arama, ona söylemediğiniz sürece hangisinin güncel olduğunu bilemez.

  • Taranmış PDF'ler. Taranmış bir sözleşme, metnin bir resmidir. Optik karakter tanıma (OCR) olmadan aranacak bir şey yoktur. Örneğin Microsoft'un OCR becerisi, PDF'lere gömülü görüntüler dahil, "görüntü dosyalarındaki basılı ve el yazısı metni tanır." Güvenmeden önce aracınızın görüntülerle ne yaptığını kontrol edin; OpenAI'ın dosya arama sayfası desteklenen biçimler arasında PDF, Word, PowerPoint, Markdown, metin ve HTML'i sayar, ama görüntü biçimlerini saymaz.

  • Bağlamını yitiren parçalar. "Sınır yukarıdaki tutara yükseltilir" diyen bir pasaj, başlık ve önceki paragraf olmadan çok az şey ifade eder. Anthropic'in bağlamsal getirme yazısı (Eylül 2024), geleneksel RAG çözümlerinin "bilgiyi kodlarken bağlamı kaldırdığını" belirtir. Kendi testlerinde, her parçaya kısa bir bağlam eklemek ve anlam tabanlı ile anahtar kelime aramasını birleştirmek, ilk 20 getirme hatasını %49, yeniden sıralamayla %67 azalttı.

  • Tablolar ve elektronik tablolar. Parçalara bölünen satırlar sütun başlıklarını yitirir. Tablo verisi genellikle asistanın sorgulayabileceği bir veritabanına aittir.

  • Dosyalarda yanıtı olmayan sorular. İlgili bir şey bulunamazsa, iyi kurulmuş bir asistan boşluğu doldurmak yerine bunu söylemelidir.

Bir RAG asistanının insanlara görmemeleri gereken belgeleri göstermesini nasıl engellersiniz?

Sonuçları, hiçbir şey modele ulaşmadan önce soran kullanıcının izinlerine göre filtreleyin. Bir kişi bir dosyayı sürücüde açamıyorsa, asistan onu onun için getirmemeli, alıntılamamalı ya da özetlememelidir.

Buna güvenlik kırpma (security trimming) ya da belge düzeyinde erişim kontrolü denir. Microsoft'un belge düzeyinde erişim dokümantasyonu en basit biçimini tarif eder: "Uygulamanız bir kullanıcı ya da grup kimliğini bir dize olarak iletir; bu, bir sorgudaki bir filtreyi doldurur ve dizeyle eşleşmeyen belgeleri hariç tutar." Hâlâ önizleme olarak işaretlenmiş daha yeni yaklaşımı, izin metadata'sını indekslenen içeriğin kendisinden okur.

Uzun bir zincirli kitaplar koridorunda zincirlenmiş bir kitaptan kızıl bir kilidi kaldıran mermer bir parmak ve baş parmak

Neler kontrol edilmeli

  • İndekslenen her belge, onu okumasına izin verilen grupları ya da kullanıcıları taşır.

  • Filtre, model metni gördükten sonra değil, arama sorgusunda uygulanır.

  • Kaynak sistemdeki izin değişiklikleri, bildiğiniz bir takvimle indekse ulaşır.

  • Bordro ya da hukuki uyuşmazlıklar gibi çok hassas klasörler, geri kalanı çalışana kadar tamamen dışarıda bırakılır.

Aynı kural, bir ajan belgelere bir bağlayıcı (connector) üzerinden eriştiğinde de geçerlidir. MCP sunucusunu güvenceye alma rehberimiz kapsamlı erişimi daha ayrıntılı ele alıyor.

RAG kurmadan önce belgeleri nasıl hazırlamalısınız?

Kaynağı indekslemeden önce temizleyin: her belgenin tek bir güncel sürümünü seçin, taramaları metne dönüştürün, net başlıklar ve sahipler ekleyin ve kimin neyi görebileceğine karar verin. Sürücüye harcanan bir saat, istemleri ayarlamanın günlerini kurtarır.

  1. Soruları listeleyin. İnsanların sorduğu 30 ila 50 gerçek soruyu, doğru yanıt ve geldiği belgeyle birlikte toplayın. Bu, test setiniz olur.

  2. Kaynakları seçin. Tüm sürücüyle değil, bu soruların çoğunu yanıtlayan klasörlerle başlayın.

  3. Mükerrerleri kaldırın ve eski sürümleri arşivleyin. Politika başına bir güncel dosya tutun; bir tarih ve bir sahiple.

  4. Dosyaları okunabilir hale getirin. Taramalarda OCR çalıştırın ve bir örneği gözle kontrol edin.

  5. İzinleri etiketleyin. Her kaynağı hangi grupların okuyabileceğini kaydedin.

  6. Lansmandan önce test edin. Test setini çalıştırın, her yanıtın doğru belgeyi alıntıladığını kontrol edin ve yanlış olanların arkasındaki belgeleri düzeltin.

RAG ne zaman yanlış araçtır?

RAG, yanıtın hesaplanması gerektiğinde, dakikada bir değişen bir sistemde yaşadığında ya da görev bir soruyu yanıtlamak yerine bir eylem gerçekleştirmek olduğunda yanlış araçtır. Bu durumlarda bir veritabanı sorgusu, doğrudan bir entegrasyon ya da araçları olan bir ajan daha iyi uyar.

  • Hesaplamalar ve raporlar. Veritabanını ya da BI katmanını kullanın ve yapay zekanın sorguyu yazmasına ya da açıklamasına izin verin.

  • Bir sipariş ya da bilet gibi canlı durum. Bir kopyayı indekslemek yerine soru sırasında sistemin API'sini çağırın.

  • Randevu almak, iade yapmak ya da bir kaydı güncellemek gibi eylemler. Bu, izinli araçları olan bir ajanın işidir; yapay zeka ajanının ne olduğu açıklayıcı yazımız farkı ele alıyor.

Birçok yararlı asistan bunları birleştirir: politika için RAG, müşterinin güncel siparişi için bir API çağrısı ve karar için bir insan.

Vizio AI olarak nasıl yaklaşıyoruz

Belgelerle değil, sorularla başlıyoruz. Herhangi bir şeyi indekslemeden önce ekipten gerçek soruları, doğru yanıtları ve bu yanıtların nerede durduğunu topluyor ve bu listeyi hangi kaynakların gireceğine karar vermek ve asistanı kimse güvenmeden önce test etmek için kullanıyoruz.

Ardından kaynakları sahipleriyle birlikte temizliyor, izinleri aramanın kendisinde uyguluyor ve her yanıtın kullandığı belgeyi ve bölümü alıntılamasını sağlıyoruz; böylece yanlış bir yanıt doğrudan düzeltilmesi gereken dosyaya götürüyor. Soruların rakamlara ya da canlı veriye ihtiyaç duyduğu ortaya çıktığında, belge aramasını zorlamak yerine doğru sistemi bağlıyoruz. Bu çalışma DX Studio'muzda yer alıyor.

Kaynaklar

SSS.

01

02

03

04

05

Daha fazlası.

Dithered illustration of two marble hands pulling a mason's line taut between stakes across bare ground at dawn, the first course of stones laid along it and a pink knot at the nearest stake.
Your First 30 Days With a Product Studio: What Happens Week by Week
7 dk.

The first 30 days with a product studio: week one sets access and goals, week two tests the riskiest assumption, weeks three and four ship a first slice.

Dithered illustration of a marble hand opening the case of a bracket clock to show a dense hidden mechanism, one small gear deep inside glowing red.
What Does an AI Agent Cost to Run? Tokens, Tools and the Hidden Line Items
6 dk.

An AI agent's running cost is model tokens across every step, plus retries, tool and search fees, hosting, monitoring and human review. Budget per task, not per token.

Dithered illustration of a fragmented marble face looking down at a jeweller's tray where gems are sorted by size, the largest stone glowing amber under a brass lamp.
AI Lead Scoring in Your CRM: Start With the Rules You Already Trust
7 dk.

Add AI lead scoring by writing down the rules sales already trusts, cleaning CRM data, then testing the AI score against those rules before reps use it.

Önce yapay zekâyı düşünün.
Geleceğin hızında ilerleyin.

Sıradakini birlikte inşa edelim! Ürün fikirlerinden akıllı iş akışlarına, veri odaklı sistemlerden ölçeklenebilir büyüme operasyonlarına kadar.

Strateji Görüşmesi Planlayın