Embedding (Gömme Vektörleri)
Embedding'ler; metnin, görsellerin veya diğer verilerin anlamını temsil eden sayı listeleridir (vektörler). Böylece anlamca benzer öğeler birbirine yakın konumlanır ve matematiksel olarak karşılaştırılabilir.
Embedding nedir?
Bir embedding modeli, "iade politikası" ve "paramı nasıl geri alırım" ifadelerini, ortak tek bir kelime içermeseler bile birbirine yakın duran vektörlere dönüştürür. Semantik aramayı, önerileri ve yapay zekâ asistanları için bilgi getirmeyi mümkün kılan da budur.
Temel özellikler:
Boyutlar: her vektörün sabit bir uzunluğu vardır; örneğin OpenAI'ın text-embedding-3-small modeli varsayılan olarak 1.536 boyut üretir.
Benzerlik: yakınlık genellikle −1 ile 1 arasında değişen kosinüs benzerliğiyle ölçülür; değer yükseldikçe benzerlik artar.
Modele özgülük: farklı embedding modellerinden gelen vektörler birbiriyle karşılaştırılamaz.
Modaliteler: metin, görsel, ses ve bunların kombinasyonları için modeller vardır; örneğin görseller ve metin için OpenAI'ın CLIP modeli.
Fikrin kökleri word2vec (2013) gibi kelime düzeyindeki yöntemlere dayanır; modern modeller ise cümlelerin ve pasajların tamamını gömer.
Embedding'ler semantik arama ve RAG'i nasıl çalıştırır?
Semantik arama, bir sorunun embedding'ini dokümanların saklanan embedding'leriyle karşılaştırır ve en yakın olanları döndürür. Pipeline şöyle işler:
Parçalama: dokümanları, genellikle her biri birkaç yüz token uzunluğunda ve bir miktar örtüşmeli pasajlara bölün.
Gömme: her parçayı embedding modelinden geçirin ve vektörü metni ve metadata'sıyla birlikte saklayın.
İndeksleme: vektörleri, HNSW gibi yaklaşık en yakın komşu indeksine sahip bir vektör veritabanına yükleyin.
Sorgu: kullanıcının sorusunu aynı modelle gömün.
Getirme: en iyi eşleşmeleri döndürün; isteğe bağlı olarak tarih veya ürün gibi metadata'ya göre filtreleyin.
Üretme: eşleşmeleri bir LLM'e aktarın; bu, getirmeyle zenginleştirilmiş üretimin (RAG) özüdür.
Embedding'ler pratikte nasıl görünür?
Yaygın bir ilk proje, bir yardım merkezindeki anahtar kelime aramasını semantik aramayla değiştirmektir. Müşterileri SSS'de "kanepe kapıdan sığmıyor" diye arayan, ancak ilgili makalenin başlığı "Teslimat erişim gereksinimleri" olduğu için hiç sonuç alamayan bir online mobilya perakendecisini düşünün.
Diyelim ki ekip 600 yardım makalesinin tamamını barındırılan bir embedding modeliyle gömüyor ve pgvector eklentisini kullanarak Postgres'te saklıyor. Artık aramalar sorguyu gömüyor ve kosinüs benzerliğine göre en yakın makaleleri döndürüyor; buna paralel olarak bir anahtar kelime araması da çalıştırılıyor ve iki sonuç listesi birleştiriliyor.
Ekip, kullanıcıların arama yaptıktan sonra yine de desteğe başvurduğu aramaları kayda alıyor, bunları aylık olarak inceliyor ve yakın eşleşmesi olmayan konular için yeni makaleler yazıyor. Aynı indeks daha sonra hiçbir şeyi yeniden kurmadan bir destek chatbot'unu besliyor; aynı şekilde gömülen ürün açıklamaları da ürün sayfalarındaki "benzer ürünler" karuselini çalıştırıyor.
Embedding'lerin sınırları ve tuzakları nelerdir?
Embedding'ler doğruluğu değil genel benzerliği yakalar; bu nedenle en yakın pasaj konuyla ilgili olup yine de yanlış olabilir. Tam tanımlayıcılarda da zorlanırlar: "INV-20931" numaralı fatura için yapılan bir arama, benzer görünen numaraları döndürebilir.
Kötü parçalama: cümlenin ortasından bölmek veya bir parçada birden fazla konuyu karıştırmak eşleşmeleri zayıflatır.
Model değişiklikleri: embedding modelini değiştirmek, tüm külliyatı yeniden gömmek anlamına gelir.
Alan jargonu: genel modeller uzmanlık terimlerini iyi ayırt edemeyebilir.
Güncelliğini yitirmiş indeksler: düzenlenen dokümanların yeniden gömülmesi gerekir; aksi halde yanıtlar eski metne atıfta bulunur.
Maliyet nadiren sorun olur, çünkü bir dokümanı gömmek metin üretmeye kıyasla ucuzdur; ancak depolama ve yeniden indeksleme eforu külliyatla birlikte büyür. BM25 gibi anahtar kelime puanlamasını vektör benzerliğiyle birleştiren hibrit arama, bu sorunların birçoğunu çözer.
Embedding oluşturmak ve saklamak için hangi araçlar kullanılır?
İki şeye ihtiyacınız var: embedding oluşturacak bir model ve bunları arayabileceğiniz bir yer.
Barındırılan modeller: OpenAI text-embedding-3, Cohere Embed, Google'ın Gemini embedding modelleri ve Voyage AI.
Açık modeller: Sentence Transformers ve Hugging Face'teki diğer modeller; kendi sunucularınızda çalıştırılır.
Depolama ve arama: Postgres için pgvector, Pinecone, Weaviate, Qdrant, Milvus veya Elasticsearch, MongoDB Atlas ve BigQuery'deki yerleşik vektör araması.
Framework'ler: LangChain ve LlamaIndex parçalama, gömme ve getirme adımlarını sarmalar.
Embedding'ler ayrıca destek taleplerinin veya yorumların kümelenmesini ve az sayıda etiketli örnekle sınıflandırma gibi NLP görevlerini de destekler.
Anahtar kelime araması ve embedding araması karşılaştırması
Anahtar kelime araması | Embedding (semantik) araması | |
|---|---|---|
Eşleştirme ölçütü | Ortak kelimeler | Benzer anlam |
Eş anlamlıları ele alma | Yalnızca manuel listelerle | Evet |
Tam ID'ler ve kodlar | Güçlü | Zayıf |
Tipik araçlar | Elasticsearch BM25, Algolia | pgvector, Pinecone, Weaviate |
En iyi uygulama | İkisini hibrit aramada birleştirin | İkisini hibrit aramada birleştirin |
VIZIO AI embedding'leri nasıl kullanır?
VIZIO AI, büyük ve çok dilli bilgi tabanlarını sade sorularla yanıtlanabilir hale getirmek için embedding'leri ve vektör aramayı kullanır. Güneydoğu Asya odaklı bir teknoloji danışmanlık firması için DX Studio'muz; doğrulanmış finansal kaynaklar ve vektör veritabanı mantığıyla çalışan semantik aramaya sahip çok dilli bir finansal istihbarat platformu ile finansal sorular için bir yapay zekâ chatbot'u geliştirdi.
Otomatik ETL pipeline'ları, arama katmanının arkasındaki veri setlerini güncel tuttu. Platform, finansal araştırma süresini %65 azalttı, platform etkileşimini 4 kat artırdı ve karar doğruluğunu %35 iyileştirdi.
Nereden başlamalı: en çok okunan 100 dokümanınızı pgvector ile gömün ve semantik sonuçları gerçek sorgular üzerinde mevcut anahtar kelime aramanızla karşılaştırın.