İçeriğe geç

Sözlük

Analitik ve BI

Metin Analitiği

Metin analitiği; yorumlar, destek talepleri, e-postalar veya raporlar gibi yapılandırılmamış metinleri, sayılabilen ve analiz edilebilen konu, kategori, duygu ve çıkarılmış varlıklar gibi yapılandırılmış verilere dönüştürmek için hesaplamalı yöntemlerin kullanılmasıdır.

Güncelleme: · Hazırlayan: VIZIO AI ekibi

Metin analitiği nedir?

Metin analitiği, kelimeleri satır ve sütunlara dönüştürür; böylece binlerce doküman diğer veri setleri gibi ölçülebilir. Bir destek gelen kutusu; konu, duygu skoru, ürün adı ve aciliyet işareti içeren bir talep tablosuna dönüşür.

Metin analitiği, doğal dil işlemenin uygulamalı ve işe dönük yüzüdür. Tipik bir pipeline dört aşamadan oluşur: metni kaynaklardan toplamak, temizlemek (imzaları, kopyaları ve standart kalıp metinleri ayıklamak), yapıyı çıkarmak (varlıklar, kategoriler, duygu, anahtar ifadeler) ve sonucu bir BI aracında müşteri başına gelir gibi diğer verilerle birlikte analiz etmek.

Yaklaşımlar; anahtar kelime kuralları ve düzenli ifadelerden, lojistik regresyonla birlikte TF-IDF gibi klasik makine öğrenmesine ve çok az eğitim verisiyle ya da hiç eğitim verisi olmadan sınıflandırma veya özetleme yapan transformer modellerine ve büyük dil modellerine kadar uzanır.

Başlıca metin analitiği teknikleri nelerdir?

Çoğu iş kullanım senaryosu üç ya da dört standart tekniği bir araya getirir.

  • Sınıflandırma: her dokümanı faturalama, hata veya özellik talebi gibi bir kategoriye atamak.

  • Adlandırılmış varlık tanıma: isimleri, ürünleri, şirketleri, konumları ve tutarları ayıklamak.

  • Duygu analizi: tonu olumlu, olumsuz veya nötr olarak puanlamak; ideal olarak her boyut için ayrı ayrı ("teslimat" ile "fiyat" gibi).

  • Konu modelleme ve kümeleme: LDA veya embedding'ler üzerinde kümeleme kullanarak kimsenin önceden tanımlamadığı temaları keşfetmek.

  • Özetleme: uzun dokümanları birkaç cümleye indirgemek.

Toplam sonuçlara güvenmeden önce her birini, elle etiketlenmiş birkaç yüz dokümanlık bir örneklem üzerinde precision ve recall ile ölçün.

Metin analitiği pratikte nasıl görünür?

Yaygın bir ilk proje, ürün ekiplerinin müşterilerin neden şikâyet ettiğini görebilmesi için destek taleplerini kategorize etmektir. Ayda yaklaşık 3.000 Zendesk talebi alan ve tutarlı bir etiketleme düzeni olmayan 150 kişilik bir yazılım şirketi düşünün.

  1. Veri ekibi altı aylık talepleri dışa aktarır ve iki destek ekibi lideri 500 talebi elle 12 kategoriye etiketler.

  2. Ekip, bir LLM prompt'unu ve fine-tune edilmiş küçük bir sınıflandırıcıyı bu etiketlere karşı test eder; diyelim ki sınıflandırıcı ilk sekiz kategoride kabul edilebilir bir precision'a ulaşıyor.

  3. Yeni talepler her gece sınıflandırılır ve bir duygu skoruyla birlikte etiket olarak Zendesk'e geri yazılır.

  4. Bir Looker paneli, talep hacmini kategoriye, ürün alanına ve müşteri segmentine göre gösterir.

Ürün yöneticisi, kurumsal müşteri taleplerinin büyük bir kısmının tek bir dışa aktarma özelliğinden kaynaklandığını keşfeder ve bu özellik, kanıtlarıyla birlikte yol haritasında üst sıralara taşınır.

Metin analitiğinin sınırları nelerdir?

Metin modelleri öngörülebilir biçimlerde kendinden emin şekilde yanılır; bu nedenle ürettikleri sayıların örneklenmesi ve kontrol edilmesi gerekir. Bilinen zayıf noktalar:

  • İroni ve olumsuzlama: "harika, yine bir kesinti" olumlu değildir.

  • Alana özgü dil: genel amaçlı bir duygu modeli "kill the process" ifadesini olumsuz olarak okuyabilir.

  • Kategori kayması: taksonominin kapsamadığı yeni ürünler ve sorunlar ortaya çıkar.

  • Kişisel veriler: talepler ve e-postalar; isimler, adresler ve bazen maskelenmesi gereken sağlık bilgileri içerir.

Hacim düşük olduğunda metin analitiği gereksiz kaçar: bir ekip ayda 30 yorum alıyorsa, bunları okumak hem daha hızlı hem de daha doğrudur.

Metin analitiği için hangi araçlar kullanılır?

Araç seçimi, hazır kategorilere mi yoksa kendi taksonominize mi ihtiyaç duyduğunuza bağlıdır. Google Cloud Natural Language, AWS Comprehend ve Azure AI Language gibi yönetilen API'ler varlık, duygu ve sınıflandırma uç noktaları sunar. Açık kaynak kütüphaneler arasında varlıklar ve pipeline'lar için spaCy, önceden eğitilmiş modeller için Hugging Face Transformers ve klasik sınıflandırıcılar için scikit-learn yer alır.

OpenAI veya Anthropic'in LLM API'leri, sınıflandırma ve özetlemeyi prompt'lar aracılığıyla yapar; bu genellikle bir prototipe giden en hızlı yoldur. Qualtrics ve Medallia gibi anket ve CX platformları yerleşik metin analitiği içerir. Metin analitiği, kapsam bakımından duygu analizinden ayrılır: duygu tek bir çıktıdır; metin analitiği ise ham metinden yapılandırılmış veriye kadar tüm pipeline'ı kapsar.

Metin analitiği ve duygu analizi karşılaştırması

Metin analitiği

Duygu analizi

Kapsam

Ham metinden yapılandırılmış veriye uzanan tüm pipeline

Tek bir görev: tonu puanlamak

Çıktılar

Konular, kategoriler, varlıklar, özetler, duygu

Olumlu, olumsuz, nötr skorlar

Tipik soru

Müşteriler ne hakkında yazıyor?

Müşteriler ne hissediyor?

Yöntemler

Sınıflandırma, NER, konu modelleme, LLM'ler

Sözlükler, sınıflandırıcılar, LLM'ler

İlişki

Duyguyu bileşenlerinden biri olarak içerir

Metin analitiğinin bir alt kümesi

VIZIO AI metin analitiğini nasıl uygular?

VIZIO AI, yapılandırılmamış içeriği sınıflandıran veya yoğunlaştıran metin pipeline'ları kurar; böylece ekipler bu içeriğe göre daha hızlı aksiyon alabilir. Birleşik Krallık merkezli bir siber güvenlik araştırma kuruluşu için Growth Studio, OSINT akışlarını, olay takip sistemlerini, bülten özetlerini ve tehdit raporlarını içeri alan ve her olayı kural tabanlı mantık ile makine öğrenmesi sezgisel yöntemleri kullanarak Doğrulanmış veya Doğrulanmamış olarak sınıflandıran bir fidye yazılımı izleme pipeline'ı geliştirdi.

Bu çözüm manuel ön değerlendirmeyi %70 azalttı ve yılda 1.500+ analist saati tasarruf sağladı. Qurio LLC için Venture Studio, yoğun akademik makaleleri OpenAI modelleriyle özetleyen ve özetleri sese dönüştüren Briefio AI'ı geliştirdi; MVP 3 ayda teslim edildi.

Nereden başlamalı: kendi dokümanlarınızdan 200 tanesini önem verdiğiniz kategorilere elle etiketleyin; bu örneklem hem taksonominiz hem de doğruluk testiniz olur.

Facebook logosu
X logosu
LinkedIn logosu
Reddit logosu
Telegram logosu

Önce yapay zekâyı düşünün.
Geleceğin hızında ilerleyin.

Sıradakini birlikte inşa edelim! Ürün fikirlerinden akıllı iş akışlarına, veri odaklı sistemlerden ölçeklenebilir büyüme operasyonlarına kadar.

Strateji Görüşmesi Planlayın