Fine-Tuning (İnce Ayar)
Fine-tuning (ince ayar), önceden eğitilmiş bir yapay zekâ modelini daha küçük, göreve özel bir veri setiyle eğitmeye devam etme sürecidir; böylece model belirli bir formatı, üslubu, terminolojiyi veya davranışı yalnızca prompt'larla elde edilebilecek olandan daha güvenilir şekilde benimser.
Fine-tuning nedir?
Fine-tuning modelin ağırlıklarını değiştirir; prompt yazma ve bilgi getirme ise yalnızca modelin çalışma anında gördüklerini değiştirir. Temel bir büyük dil modeli genel dili devasa külliyatlardan öğrenmiştir; ince ayar yapılmış bir sürüm ise yüzlerce veya binlerce örnekle tek bir işe doğru yönlendirilmiştir.
Biçim öğretmede iyidir: tutarlı bir çıktı yapısı, kurumsal bir üslup, bir sınıflandırma şeması veya alana özgü kısaltmalar. Değişen bilgileri öğretmede ise zayıftır, çünkü yeni bilgiler başka bir eğitim çalıştırması gerektirir.
Aynı fikir LLM'lerden önce de vardı: bilgisayarlı görü ekipleri uzun süredir ImageNet üzerinde önceden eğitilmiş modellerden yola çıkıp son katmanları kendi görselleriyle yeniden eğitiyor.
Fine-tuning nasıl çalışır?
İş akışı, model araştırmasından çok küçük bir veri projesine benzer.
Önce görevi ve bir test setini tanımlayın: doğru yanıtları bilinen, eğitimden ayrı tutulmuş 100 ila 200 örnek.
Eğitim çiftlerini oluşturun: girdi ve ideal çıktı, genellikle JSONL formatında. OpenAI'ın fine-tuning API'si 10 örnek kadar az veriyi kabul eder, ancak işe yarar sonuçlar genellikle çok daha fazlasını gerektirir.
Bir yöntem seçin: tam fine-tuning tüm ağırlıkları günceller; LoRA (2021'de tanıtıldı) gibi parametre açısından verimli yöntemler ise küçük adaptör matrislerini eğiterek işlem gücü ve depolama ihtiyacını azaltır.
Eğitin ve karşılaştırın: ince ayarlı modeli aynı test setinde, güçlü bir prompt ile kullanılan temel modele karşı puanlayın.
Devreye alın ve izleyin: gerçek girdiler eğitim verisinden uzaklaştıkça oluşan sapmayı (drift) takip edin.
Fine-tuning pratikte nasıl görünür?
İyi bir aday, çıktı formatının her seferinde birebir doğru olması gereken yüksek hacimli bir görevdir. Eksper notlarını sabit 12 alanlı bir JSON özetine dönüştürmesi gereken 70 kişilik bir sigorta hasar yönetimi şirketini düşünün.
Genel bir modele prompt vermek alanların çoğunu doğru getirir, ancak zaman zaman hasar türleri için etiket uydurur.
Ekip, diyelim ki kıdemli eksperlerce kontrol edilmiş özetleriyle birlikte 2.000 geçmiş notu topluyor ve OpenAI API üzerinden daha küçük bir modele fine-tuning yapıyor.
200 notluk bir test setinde ince ayarlı model hasar taksonomisine tutarlı şekilde uyuyor ve çağrı başına maliyeti daha büyük genel modelden daha düşük oluyor.
Belirli poliçelere ilişkin bilgiler yine çalışma anında bilgi getirme yoluyla geliyor; ince ayarlı model yalnızca yapıyı ve terminolojiyi ele alıyor.
Bir modele ne zaman fine-tuning yapmamalısınız?
Önce prompt yazmayı ve bilgi getirmeyi deneyin; yalnızca ölçülmüş bir açık kaldığında ince ayar yapın.
Değişen bilgi: ürün katalogları, fiyatlar ve politikalar ağırlıklara değil, RAG'e aittir.
Çok az temiz veri: birkaç yüz tutarsız örnek, tutarsızlığı öğretir.
Felaket boyutunda unutma (catastrophic forgetting): dar bir görev üzerinde yoğun eğitim, genel yetenekleri zayıflatabilir.
Bakım maliyeti: her yeni temel model sürümü, yeniden ince ayar ve yeniden test anlamına gelir.
Dürüst kıyas noktası, iyi örneklerle donatılmış, iyi kurgulanmış bir prompt'tur; birçok ekip bunun açığın büyük kısmını kapattığını görür.
Lisanslama da önemlidir: eğitim verilerinizin bu şekilde kullanılabildiğini ve temel modelin koşullarının ticari ince ayara izin verdiğini kontrol edin.
Fine-tuning'in RAG ve prompt mühendisliğinden farkı nedir?
Prompt mühendisliği talimatları şekillendirir, RAG sorgu anında bilgi sağlar, ince ayar ise modelin varsayılan davranışını yeniden şekillendirir. Bunlar birbirini tamamlar ve birçok üretim sistemi üçünü bir arada kullanır.
Prompt mühendisliği değiştirmesi en hızlı olandır ve eğitim verisi gerektirmez. RAG yanıtları güncel ve kaynak gösterilebilir tutar. İnce ayar ise yüksek hacimde tutarlılık, gecikme ve maliyet açısından öne çıkar.
Bunu destekleyen platformlar arasında OpenAI API, Google Vertex AI, Amazon Bedrock ve Llama veya Mistral gibi modeller için Hugging Face TRL ve PEFT gibi açık kaynak yapılar bulunur. RLHF ve DPO gibi tercih tabanlı yöntemler, birebir çıktılar yerine insanların hangi yanıtları tercih ettiğine göre ayar yapar ve çoğunlukla uygulama ekipleri yerine model geliştiriciler tarafından kullanılır.
Fine-tuning ve RAG karşılaştırması
Fine-tuning | RAG | |
|---|---|---|
Ne değişir | Modelin ağırlıkları | Sorgu anında verilen bağlam |
En uygun olduğu alan | Tutarlı format, üslup ve sınıflandırma | Güncel, kaynak gösterilebilir bilgiler |
Bilgiyi güncelleme | Yeniden eğitim gerektirir | Doküman indeksini güncelleyin |
Başlangıç gereksinimi | Özenle seçilmiş eğitim örnekleri | Temiz, parçalanmış kaynak dokümanlar |
Ana risk | Unutma ve maliyetli yeniden ince ayar | Yanlış pasajı getirme |
VIZIO AI fine-tuning'e nasıl yaklaşır?
VIZIO AI'ın yayımlanmış projeleri üretime önce prompt tasarımı ve ürün mühendisliği yoluyla ulaşır; bu da herhangi bir ince ayardan önceki doğru sıralamadır. Qurio LLC'nin Briefio AI ürünü için Venture Studio, yoğun akademik makaleleri özetlemek için OpenAI modellerini kullandı; özetlerin kısa ama aslına sadık kalması için prompt yapısı ve içerik işleme üzerinde titizlikle çalıştı, ardından bunları sese dönüştürdü.
Briefio AI araştırma platformu MVP'si 3 ayda teslim edildi. Vaka çalışması fine-tuning'i anlatmıyor; bir ince ayar projesinin, gerçek makaleler üzerinde eval'lerle ölçülen hangi temel seviyeyi geçmesi gerektiğini gösteriyor.
Nereden başlamalı: göreviniz için 100 örnekli bir test seti oluşturun ve herhangi bir şeyi eğitmeye karar vermeden önce en iyi prompt'unuzu bu sete karşı puanlayın.