Bağlam Penceresi
Bağlam penceresi, büyük bir dil modelinin aynı anda dikkate alabileceği, token cinsinden ölçülen maksimum metin miktarıdır; sistem prompt'unu, konuşma geçmişini, getirilen dokümanları ve modelin ürettiği yanıtı kapsar.
Bağlam penceresi nedir?
Bağlam penceresi, modelin tek bir istek için kullandığı çalışma belleğidir; pencerenin dışında kalan hiçbir şey model için var değildir. Modeller, geçmiş konuşmaları ancak bu geçmiş pencerenin içinde yeniden gönderilirse hatırlar.
Her şey aynı bütçe için yarışır:
Sistem prompt'u: talimatlar ve kurallar.
Konuşma geçmişi: kullanıcının ve asistanın önceki mesajları.
Getirilen içerik: dokümanlar, arama sonuçları veya araç çıktıları.
Çıktı: modelin ürettiği token'lar; çoğu zaman ayrı bir maksimum çıktı limitiyle sınırlandırılır.
Pencere boyutları güncel modeller arasında büyük farklılık gösterir: küçük açık modellerde birkaç bin token'dan bazı öncü (frontier) modellerde bir milyon veya daha fazlasına kadar.
Token'lar nasıl sayılır ve bağlam penceresi nasıl yönetilir?
Token'lar kelime parçalarıdır ve OpenAI, genel bir kural olarak İngilizce metinde token başına yaklaşık dört karakter, yani bir kelimenin dörtte üçü kadar bir uzunluk öngörür. Diğer diller ve kod genellikle kelime başına daha fazla token kullanır. Kesin sayımlar için OpenAI'ın tiktoken kütüphanesi gibi sağlayıcının kendi tokenizer'ını kullanın.
Pencereye daha fazla faydalı bilgi sığdırmanın yaygın yolları:
Doldurmayın, getirin: getirme destekli üretim (RAG) ile yalnızca ilgili pasajları çekin.
Geçmişi özetleyin: eski konuşma mesajlarını kısa, sürekli güncellenen bir özete sıkıştırın.
Uzun dokümanları parçalara bölün: bölümleri ayrı ayrı işleyin, ardından sonuçları birleştirin (map-reduce).
Araç çıktılarını kırpın: API yanıtlarının tamamını değil, yalnızca gereken alanları döndürün.
Sabit önekleri önbelleğe alın: aynı talimatlar tekrarlandığında prompt önbellekleme (prompt caching) maliyeti düşürür.
Bağlam penceresiyle çalışmak pratikte nasıl görünür?
Pratikte pencere mimariyi şekillendirir: ne gönderdiğinizi, hangi sırayla gönderdiğinizi ve neyi dışarıda bıraktığınızı. Bir sözleşme inceleme asistanı geliştiren 25 kişilik bir hukuk teknolojisi startup'ını düşünün.
Diyelim ki tipik bir çerçeve hizmet sözleşmesi 40 sayfa tutuyor ve müşteriler birbiriyle ilişkili on sözleşmeyi aynı anda yüklüyor. Her şeyi göndermek yavaş ve pahalı olur, üstelik çok uzun girdilerde kalite düşer. Bunun yerine ekip her sözleşmeyi maddelere ayırıyor, bunların embedding'lerini bir vektör veritabanında saklıyor ve her soru için en ilgili 15 maddeyi kaynak sayfalarıyla birlikte getiriyor.
Prompt, talimatları en başa, soruyu ise maddelerden sonra en sona koyuyor. Yanıtlar madde numaralarına atıf yapmak zorunda; böylece bir avukat her birini kontrol edebiliyor. Ekip, getirme ayarları her değiştiğinde sabit bir 100 soruluk set üzerinde test yapıyor.
Büyük bağlam pencerelerinin sınırları nelerdir?
Daha büyük bir pencere daha fazlasını göndermenize izin verir, ancak modelin hepsini iyi kullanacağını garanti etmez. 2023 tarihli "Lost in the Middle" makalesi gibi araştırmalar, modellerin uzun girdilerin başındaki ve sonundaki bilgileri ortasına gömülü bilgilerden daha iyi hatırladığını ortaya koydu.
Maliyet: sağlayıcılar girdi token'ı başına ücret alır; bu nedenle her çağrıda tam bir pencere kullanmak maliyeti hızla artırır.
Gecikme: uzun prompt'ların işlenmesi, ilk token görünmeden önce daha uzun sürer.
Dikkat dağınıklığı: ilgisiz metin yanıtları yoldan çıkarabilir ve halüsinasyon riskini artırabilir.
Sessiz kırpma: bazı uygulamalar en eski mesajları uyarı vermeden atar.
Uzun bağlam gerektiren görevleri kendi dokümanlarınızla test edin; sağlayıcı benchmark'ları nadiren gerçek verilerle örtüşür.
Bağlam penceresinin model belleğinden veya fine-tuning'den farkı nedir?
Bağlam penceresi istek başına geçicidir, fine-tuning modelin ağırlıklarını kalıcı olarak değiştirir, "bellek" özellikleri ise pencereye yeniden eklenen kayıtlı notlardır. Her biri farklı bir sorunu çözer.
Pencereyi, bugünün siparişleri gibi sık değişen veya kullanıcıya özgü bilgiler için kullanın. Fine-tuning'i değişen bilgileri değil, tutarlı bir üslubu veya formatı öğretmek için kullanın. ChatGPT'dekiler gibi ürün bellek özellikleri kısa bilgileri kaydeder ve gelecekteki prompt'lara ekler; bu yüzden yine pencere alanı tüketir. LangChain ve LlamaIndex gibi framework'ler bağlamı kırpmak, özetlemek ve getirmek için yardımcı araçlar içerir.
Uzun bağlam ve getirme (RAG)
Dokümanların tamamını göndermek | Getirme destekli üretim (RAG) | |
|---|---|---|
Pencereye giren | Dokümanların tamamı | Yalnızca en ilgili pasajlar |
İstek başına maliyet | Yüksek | Daha düşük |
Kurulum eforu | Minimum | Parçalara bölme, embedding'ler, vektör veritabanı |
Risk | Doküman ortasındaki ayrıntıların gözden kaçması | Getirme başarısız olursa pasajların kaçırılması |
En uygun olduğu alan | Birkaç dokümanın tek seferlik analizi | Büyük kütüphaneler üzerinde tekrarlanan sorular |
VIZIO AI, bağlam pencerelerini hesaba katarak nasıl tasarım yapar?
VIZIO AI, prompt'ları ve içerik işlemeyi, uzun kaynak materyal önemli olanı kaybetmeden modele sığacak şekilde tasarlar. Qurio LLC için Venture Studio'muz, uzun ve yoğun akademik makaleleri OpenAI modelleriyle kısa özetlere ve seslendirmelere dönüştüren, mobil öncelikli bir platform olan Briefio AI'ı geliştirdi.
Vaka çalışması, özetlerin zaman kazandıracak kadar kısa ama orijinal makalenin bütünlüğünü koruyacak kadar doğru kalması için prompt yapısı ve içerik işleme üzerinde yapılan titiz çalışmayı anlatıyor. Hareket hâlindeyken dinlemek için özel ses oynatma özelliği dahil MVP 3 ayda teslim edildi.
Nereden başlamalı: Bir model seçmeden önce en büyük gerçek girdinizdeki token'ları sayın ve yanıt kalitesini bu uzunlukta test edin.