llms.txt
llms.txt, genellikle /llms.txt adresinde sunulan ve büyük dil modellerine bir web sitesinin kısa bir özetini ve en önemli sayfalara giden seçilmiş bağlantıların listesini veren bir Markdown dosyası için önerilmiş bir standarttır.
llms.txt nedir?
llms.txt, arama tarayıcıları için değil dil modelleri için yazılmış bir site rehberidir. llms.txt önerisi Jeremy Howard tarafından 3 Eylül 2024'te yayımlandı.
Fikir basittir. Web sayfaları navigasyon, betikler ve reklamlar taşır ve bir modelin bağlam penceresi sınırlıdır. Küçük bir Markdown dosyası bir yapay zekâ aracını doğrudan temiz ve faydalı içeriğe yönlendirebilir.
Resmi bir web standardı değil, bir öneridir ve taramayı kontrol etmez.
Bir llms.txt dosyasında neler bulunur?
Zorunlu olan tek öğe, projenin veya sitenin adını içeren bir H1 başlığıdır. Öneri parçaları şu sırayla listeler:
Site veya proje adını içeren bir H1 (zorunlu).
Kısa bir özet içeren bir alıntı bloğu (isteğe bağlı).
Başlık içermeyen, daha fazla ayrıntı veren düz metin bölümleri (isteğe bağlı).
Her biri [ad](url) biçiminde yazılmış ve iki noktadan sonra isteğe bağlı bir not içeren bağlantı listeli H2 bölümleri (isteğe bağlı).
Bir aracın daha az bağlama ihtiyaç duyduğunda atlayabileceği ikincil bağlantılar için "Optional" adlı bir H2.
Dosya sitenin kökünde veya /docs/llms.txt gibi bir yolun altında durabilir. Öneri ayrıca önemli sayfaların, aynı URL'ye .md eklenerek erişilen temiz bir Markdown kopyasını da önerir.
Bir llms.txt dosyası pratikte nasıl görünür?
İyi bir llms.txt kısa, seçilmiş ve siteyle senkron tutulan bir dosyadır. 400 yardım makalesi olan bir B2B yazılım şirketi düşünün.
Dokümantasyon sorumlusu ürün adıyla bir H1 ve ürünün ne yaptığını ve kimin için olduğunu söyleyen tek satırlık bir alıntı bloğu yazar.
Destek taleplerinin çoğunu yanıtlayan 15 makaleyi, her biri tek satırlık bir notla, Docs adlı bir H2 altına ekler.
Pricing and policies adlı bir H2, fiyatlandırma sayfasına, güvenlik özetine ve kullanım koşullarına bağlantı verir.
Optional adlı bir H2, değişiklik günlüğünü ve eski API sürümlerini listeler.
Derleme betiği dokümantasyon değiştiğinde dosyayı yeniden üretir, böylece bağlantılar kırılmaz.
Diyelim ki bir geliştirici llms.txt URL'sini bir kodlama asistanına veriyor. Asistan artık ana sayfadan tahmin yürütmek yerine 15 temiz sayfayı okur.
llms.txt'nin sınırları nelerdir?
Google, yapay zekâ özelliklerinde görünmek için yapay zekâ metin dosyalarına gerek olmadığını söylüyor; bu yüzden llms.txt bir sıralama kaldıracı değildir.
Google'ın tutumu: yapay zekâ özellikleri rehberi, sitelerin AI Overviews veya AI Mode'da görünmek için "yeni makine tarafından okunabilir dosyalar, yapay zekâ metin dosyaları veya işaretleme oluşturmasına gerek olmadığını" söyler.
Tutarsız kullanım: dosyayı hangi yapay zekâ araçlarının okuduğu değişir. Üzerine çok zaman harcamadan önce sunucu kayıtlarınızda gerçek istekleri kontrol edin.
Güncelliğini yitirme: elle yazılmış bir dosya, sayfalar taşındıkça eskir.
Erişim kontrolü değildir: tarayıcılara izin vermez veya onları engellemez.
Bugün en net kullanımı, bir kullanıcının dokümantasyonunuza veya sitenize yönlendirdiği yapay zekâ asistanları ve geliştirici araçlarıdır.
llms.txt, robots.txt ve sitemap.xml'den nasıl farklıdır?
robots.txt tarama kurallarını belirler, sitemap.xml arama motorları için her URL'yi listeler, llms.txt ise bir dil modelinin önce okuması gereken birkaç sayfayı seçer. robots.txt, kurallarının "bir erişim yetkilendirmesi biçimi olmadığını" bizzat belirten Robots Exclusion Protocol (RFC 9309, 2022) standardını izler.
Bir site haritası, arama motorlarının bir sitenin URL'lerini bulup taraması için onları listeleyen bir XML dosyasıdır. llms.txt ise eksiksizlikle değil, seçim ve bağlamla ilgilidir.
Üçü birlikte çalışır: arama için robots.txt ve site haritanızı koruyun, insanlar içeriğiniz üzerinde yapay zekâ araçları kullanıyorsa llms.txt ekleyin. Yanıt motoru optimizasyonu ve GEO ile yan yana durur ve ruhen getirmeyle zenginleştirilmiş üretimde kullanılan seçilmiş kaynaklara yakındır.
llms.txt ve robots.txt karşılaştırması
llms.txt | robots.txt | |
|---|---|---|
Amaç | Dil modellerini önemli içeriğe yönlendirmek | Tarayıcılara hangi yolları alabileceklerini söylemek |
Format | Markdown | Düz metin kurallar |
Durum | 2024'te yayımlanmış bir öneri | IETF standardı, RFC 9309 (2022) |
Taramaya etkisi | Yok | Kurallara uyan tarayıcılar için yollara izin verir veya engeller |
Hedef kitle | Yapay zekâ asistanları ve agent'lar | Arama ve diğer tarayıcılar |
Vizio AI llms.txt'ye nasıl yaklaşır?
Vizio AI kendi llms.txt dosyasını yayımlar, ancak bu konuda yayımlanmış bir müşteri vaka çalışması yoktur. www.vizio.ai/llms.txt adresindeki dosya öneriyi izler: bir H1, tek satırlık bir özet, ardından stüdyolara, çözümlere ve diğer önemli sayfalara bağlantı veren H2 bölümleri ve tam URL listesi için site haritasına bir yönlendirme.
Nereden başlamalı: ürün adınızı, tek cümlelik bir özeti ve müşteri sorularının çoğunu yanıtlayan on sayfanın bağlantılarını içeren kısa bir llms.txt yazın, ardından her çeyrekte gözden geçirin.