İçeriğe geç

Sözlük

Yapay Zekâ ve Makine Öğrenimi

Doğal Dil İşleme (NLP)

Doğal dil işleme (NLP, natural language processing), bilgisayarların insan dilini okumasını, yorumlamasını ve üretmesini sağlayan yapay zekâ alanıdır; arama, çeviri, sınıflandırma, özetleme ve chatbot'lar gibi görevlere güç verir.

Güncelleme: · Hazırlayan: VIZIO AI ekibi

Doğal dil işleme nedir?

NLP, çoğu şirketin bilgisinin büyük kısmını oluşturan yapılandırılmamış metin ve konuşmayı, yazılımın arayabileceği, sayabileceği ve üzerinde aksiyon alabileceği bir şeye dönüştürür. E-postalar, destek talepleri, sözleşmeler, yorumlar ve görüşme transkriptlerinin tümü NLP girdisidir.

Alan üç dönemden geçti:

  • Kurallar: elle yazılmış gramerler ve anahtar kelime listeleri.

  • İstatistiksel ve klasik makine öğrenmesi: spam filtreleri gibi etiketli örneklerle eğitilmiş modeller.

  • Transformer'lar ve büyük dil modelleri: 2017 tarihli "Attention Is All You Need" makalesinden bu yana BERT ve GPT gibi transformer modelleri, göreve özgü çok az eğitimle birçok görevi yerine getirebiliyor.

Bugün iş dünyasındaki NLP'nin çoğu, ya bir API üzerinden ya da şirket verileriyle fine-tune edilerek kullanılan önceden eğitilmiş modellerden yararlanıyor. Zor kısım, model geliştirmekten; görevi seçmeye, iyi örnekler toplamaya ve çıktı kalitesini gerçek şirket metinleri üzerinde kontrol etmeye kaydı.

Temel NLP görevleri nelerdir?

İş dünyasındaki kullanım senaryolarının çoğu birkaç standart görevden oluşur.

  1. Tokenizasyon: metni, modelin işlediği kelimelere veya alt kelime birimlerine ayırmak.

  2. Sınıflandırma: talep konusu, spam veya aciliyet gibi bir etiket atamak.

  3. Varlık ismi tanıma (NER): isimleri, tarihleri, tutarları ve ürün kodlarını çıkarmak.

  4. Duygu analizi: metnin olumlu, olumsuz veya nötr olduğunu değerlendirmek.

  5. Özetleme: uzun metni ana noktalara indirgemek.

  6. Çeviri: diller arasında dönüştürme yapmak.

  7. Semantik arama: embedding'ler kullanarak anlama göre eşleştirme yapmak.

Kalite; precision (işaretlenen öğelerin ne kadarının doğru olduğu) ve recall (doğru öğelerin ne kadarının bulunduğu) ya da ikisinin birleşimi olan F1 skoru ile ölçülür.

NLP pratikte nasıl görünür?

Tipik bir ilk NLP projesi, insanların şu anda tek tek okuduğu gelen metinlerin sınıflandırılmasını otomatikleştirir. Haftada binlerce hasar e-postası alan orta ölçekli bir konut sigortası şirketini düşünün.

Diyelim ki hasar ekibi geçmişteki 2.000 e-postayı hasar türü ve aciliyete göre etiketliyor. Veri ekibi, ayrılmış bir test seti üzerinde precision ve recall kullanarak zero-shot bir LLM sınıflandırıcısını Hugging Face'ten fine-tune edilmiş daha küçük bir modelle karşılaştırıyor; ayrıca poliçe numaralarını ve olay tarihlerini çıkarmak için NER çalıştırıyor.

Kendi verilerinde daha ucuz olan fine-tune edilmiş model kazanıyor. E-postalar artık, çıkarılan alanlar hasar sisteminde önceden doldurulmuş şekilde doğru kuyruğa yönlendiriliyor; güven eşiğinin altında kalan her şey ise bir insan sınıflandırıcıya gidiyor. Kaymayı (drift) yakalamak için yönlendirilen e-postalardan haftalık örnekler yeniden kontrol ediliyor ve yanlış yönlendirilen örnekler, üç ayda bir yapılan bir sonraki yeniden eğitim için eğitim setine ekleniyor.

NLP'nin sınırları ve riskleri nelerdir?

NLP modelleri yaygın dilde güçlü; jargon, ironi, nadir diller ve eğitim verilerinin dışında kalan her şeyde ise daha zayıftır. Perakende yorumlarıyla eğitilmiş bir model klinik notları yanlış okuyabilir.

  • Yanlılık (bias): modeller, eğitim metinlerinde bulunan stereotipleri yansıtabilir.

  • Halüsinasyon: üretken modeller akıcı ama yanlış özetler üretebilir; bkz. yapay zekâ halüsinasyonu.

  • Gizlilik: müşteri mesajlarını harici API'lere göndermek GDPR kapsamında veri işleme sözleşmeleri gerektirebilir.

  • Kayma (drift): yeni ürünler ve argo zamanla doğruluğu düşürür.

Dar kapsamlı, yüksek hacimli görevlerde küçük ve uzmanlaşmış bir model, genel amaçlı bir LLM'den çoğu zaman daha ucuz ve daha öngörülebilirdir.

NLP için hangi araçlar kullanılır?

Seçenekler hacme, gizlilik gereksinimlerine ve şirket içi yetkinliğe bağlı olarak açık kaynak kütüphanelerden barındırılan API'lere kadar uzanır.

  • Kütüphaneler: production pipeline'ları için spaCy, eğitim ve temel işler için NLTK, önceden eğitilmiş modeller için Hugging Face Transformers.

  • Barındırılan LLM API'leri: OpenAI, Anthropic, Google Gemini, Cohere.

  • Bulut NLP hizmetleri: Google Cloud Natural Language, Amazon Comprehend, Azure AI Language.

  • Konuşmadan metne: ses kaynakları için OpenAI Whisper, Deepgram veya bulut muadilleri.

NLP, daha geniş metin analitiği ailesinin içinde yer alır; büyük dil modelleri ise artık en genel amaçlı NLP aracıdır.

Klasik NLP ve LLM tabanlı NLP

Klasik NLP modelleri

LLM tabanlı NLP

Gereken eğitim verisi

Yüzlerce ile binlerce etiket

Çok az veya hiç (prompting)

İstek başına maliyet

Çok düşük

Daha yüksek

Esneklik

Model başına tek görev

Tek modelden çok sayıda görev

Öngörülebilirlik

Yüksek

Daha düşük; değerlendirme gerektirir

Tipik araçlar

spaCy, scikit-learn, fine-tune edilmiş BERT

OpenAI, Anthropic, Gemini API'leri

VIZIO AI NLP'yi nasıl uyguluyor?

VIZIO AI, metni okumanın, çevirmenin veya özetlemenin bir iş akışında darboğaz olduğu yerlerde NLP uygular. Güneydoğu Asya odaklı bir teknoloji danışmanlık firması için DX Studio'muz, finansal soruları yanıtlayan ve regülasyon bilgilerini açıklayan bir yapay zekâ chatbot'u ile doğrulanmış kaynaklar üzerinde semantik arama içeren çok dilli bir platform geliştirdi. Finansal araştırma süresi %65 azaldı ve karar doğruluğu %35 arttı.

Qurio LLC için Venture Studio'muz, yoğun akademik makaleleri özetlemek ve özetleri sese dönüştürmek için OpenAI modellerini kullanan Briefio AI'ı geliştirdi; MVP 3 ayda teslim edildi.

Nereden başlamalı: herhangi bir model seçmeden önce, otomatikleştirmek istediğiniz metin görevinden 200 gerçek örneği etiketleyin.

Facebook logosu
X logosu
LinkedIn logosu
Reddit logosu
Telegram logosu

Önce yapay zekâyı düşünün.
Geleceğin hızında ilerleyin.

Sıradakini birlikte inşa edelim! Ürün fikirlerinden akıllı iş akışlarına, veri odaklı sistemlerden ölçeklenebilir büyüme operasyonlarına kadar.

Strateji Görüşmesi Planlayın