Vektör Veritabanı
Vektör veritabanı; metin, görsel veya sesin anlamını temsil eden sayısal vektörler olan embedding'leri indekslemek ve aramak için tasarlanmış bir veri deposudur; böylece bir sorguya en çok benzeyen öğeleri hızla döndürebilir.
Vektör veritabanı nedir?
Bir vektör deposu, kelimeleri birebir eşleştirmek yerine, yüksek boyutlu bir uzaydaki noktalar arasındaki mesafeyle ölçülen anlamca yakın öğeleri bulur. Her öğe bir model tarafından embedding'lere dönüştürülür; örneğin OpenAI'ın text-embedding-3-small modeli varsayılan olarak 1.536 boyutlu vektörler üretir. Benzerlik; kosinüs benzerliği, nokta çarpımı veya Öklid mesafesiyle ölçülür.
Büyük ölçekte bir sorguyu her vektörle karşılaştırmak çok yavaş olduğundan, bu sistemler HNSW veya IVF gibi yaklaşık en yakın komşu (ANN) indeksleri kullanır; bunlar küçük bir doğruluk kaybı karşılığında büyük hız kazanımları sağlar. Ayrıca filtreleme için metadata da saklarlar; böylece bir arama, örneğin bu yıl güncellenmiş ve mevcut kullanıcının okuma yetkisi olan İngilizce dokümanlarla sınırlandırılabilir. En bilinen rolleri, retrieval-augmented generation sürecindeki erişim (retrieval) adımıdır.
Vektör veritabanı adım adım nasıl çalışır?
Erişim kalitesi, veritabanının kendisi kadar dokümanların nasıl parçalara bölündüğüne ve filtrelendiğine de bağlıdır.
Bölün (chunk): kaynak dokümanları pasajlara ayırın; örneğin bir miktar örtüşmeyle birkaç yüz token'lık parçalar.
Embedding'e dönüştürün: her parçayı bir embedding modeliyle vektöre çevirin.
Saklayın: vektörü metadata ile birlikte kaydedin: kaynak URL, tarih, dil, ürün alanı ve erişim izinleri.
Sorguyu embedding'e dönüştürün: arama anında aynı modeli kullanın.
Arayın: ANN indeksinde, metadata'ya göre filtrelenmiş en yakın top-k parçayı bulun.
Yeniden sıralayın (rerank): isteğe bağlı olarak bir cross-encoder veya Cohere Rerank gibi bir servisle.
Döndürün: sonuçları kullanıcıya iletin veya bağlam olarak bir dil modeline aktarın.
Vektör veritabanı pratikte nasıl görünür?
Yaygın bir ilk proje, destek temsilcilerinin zaten bir yerlerde var olan cevabı bulmasına yardımcı olmaktır. Temsilcilerinin, diyelim ki 2.000 yardım merkezi makalesi ve 5.000 çözülmüş talep arasında arama yaptığı 70 kişilik bir İK yazılımı şirketi düşünün.
Makaleler ve talep çözümleri parçalara bölünür ve OpenAI'ın text-embedding-3-small modeliyle embedding'e dönüştürülür.
Vektörler, şirketin mevcut PostgreSQL veritabanındaki pgvector'a bir HNSW indeksiyle yerleştirilir.
Bir Zendesk kenar çubuğu uygulaması, gelen her talebi embedding'e dönüştürür ve ürün alanına göre filtrelenmiş en benzer beş geçmiş çözümü gösterir.
Lansmandan önce ekip 100 gerçek soruyu etiketler ve doğru cevabın ilk beş sonuçta ne sıklıkla göründüğünü kontrol eder.
Her şeyi Postgres'te tutmak yeni bir altyapı gerektirmediği anlamına gelir ve izinler mevcut satır düzeyindeki kuralları yeniden kullanır. Diyelim ki etiketli test, soruların çoğunda doğru cevabın ilk beşte yer aldığını gösteriyor; ıskalananlar ise farklı bir veritabanına değil, yeniden yazılması gereken makalelere işaret ediyor.
Ne zaman ayrı bir vektör veritabanına ihtiyacınız olmaz?
Birçok ekibin ayrı bir ürüne hiç ihtiyacı yoktur; mevcut bir veritabanına eklenen bir uzantı çoğu zaman yeterlidir. Birkaç milyon vektöre kadar pgvector, MongoDB Atlas Vector Search veya Elasticsearch'ün k-NN araması genellikle iyi performans gösterir ve güvenliğini sağlamanız ve senkronize etmeniz gereken ek bir sistemden sizi kurtarır.
Birebir tanımlayıcılar: SKU'lar, hata kodları ve isimler yalnızca anlama göre zayıf eşleşir; BM25 gibi anahtar kelime puanlamasını vektörlerle harmanlayan hibrit arama kullanın.
Model değişiklikleri: embedding modelini değiştirmek, her dokümanı yeniden embedding'e dönüştürmek anlamına gelir.
Güncelliğini yitirmiş içerik: düzenlenen veya silinen dokümanlar yeniden indekslenmeli ya da kaldırılmalıdır.
İzin sızıntıları: metadata filtreleri olmadan arama, kullanıcının görmemesi gereken dokümanları gün yüzüne çıkarabilir.
En yaygın kullanılan vektör veritabanları hangileridir?
Asıl seçim, bu iş için özel olarak geliştirilmiş vektör depoları ile zaten çalıştırdığınız veritabanlarına eklenmiş vektör özellikleri arasındadır. Özel olarak geliştirilmiş seçenekler arasında Pinecone (yönetilen), Weaviate, Qdrant, Milvus ve Chroma bulunur. Yerleşik seçenekler arasında PostgreSQL için pgvector, MongoDB Atlas Vector Search, Elasticsearch ve OpenSearch ile Redis'teki vektör araması yer alır.
"500 $ üzerindeki siparişler" gibi kesin sorulara yanıt veren ilişkisel bir veritabanının aksine, bir vektör deposu "buna benzer talepler" gibi bulanık sorulara yanıt verir. Birçok teknoloji yığını ikisini birlikte kullanır. LangChain ve LlamaIndex gibi framework'ler, bunları bir büyük dil modeline bağlayarak yapay zekâ chatbot'u gibi uygulamalara olanak tanır.
Vektör veritabanı ve ilişkisel veritabanı karşılaştırması
Vektör veritabanı | İlişkisel veritabanı | |
|---|---|---|
Sorgu türü | Anlamca benzer öğeleri bulur | Kesin koşullara uyan satırları bulur |
Saklanan veri | Embedding'ler ve metadata | Tablolarda tipli sütunlar |
İndeks türü | HNSW veya IVF gibi ANN indeksleri | B-tree ve hash indeksleri |
Tipik kullanım | Semantik arama, RAG, öneriler | İşlemler, raporlama, join'ler |
Örnekler | Pinecone, Weaviate, Qdrant, pgvector | PostgreSQL, MySQL, SQL Server |
VIZIO AI vektör veritabanlarını nasıl kullanır?
VIZIO AI, yapay zekâ yanıtlarını bir modelin genel bilgisi yerine doğrulanmış kaynaklara dayandırmak için vektör aramasını kullanır. Güneydoğu Asya odaklı küresel bir teknoloji danışmanlık firması için DX Studio'muz; soruları yanıtlayan, finansal araçları karşılaştıran ve düzenleyici bilgileri incelenmiş finansal kaynaklar ile bir vektör veritabanı kullanarak açıklayan bir yapay zekâ chatbot'una sahip, otomatik ETL pipeline'ları ve semantik aramayla desteklenen çok dilli bir finansal istihbarat platformu geliştirdi.
Platformu kullanan KOBİ'lerde finansal araştırma süresi %65 azaldı, etkileşim 4 kat arttı ve karar doğruluğu %35 iyileşti. Nereden başlamalı: 50 gerçek kullanıcı sorusu toplayın ve vektör eklemeden önce anahtar kelime aramasının bunları zaten yanıtlayıp yanıtlamadığını kontrol edin.