Embeddings
Embeddings sind Zahlenlisten (Vektoren), die die Bedeutung von Text, Bildern oder anderen Daten abbilden, sodass Elemente mit ähnlicher Bedeutung nahe beieinander liegen und sich mathematisch vergleichen lassen.
Was sind Embeddings?
Ein Embedding-Modell verwandelt „Rückerstattungsrichtlinie“ und „Wie bekomme ich mein Geld zurück?“ in Vektoren, die nahe beieinander liegen, obwohl die beiden Formulierungen kein einziges Wort gemeinsam haben. Genau das macht semantische Suche, Empfehlungen und Retrieval für KI-Assistenten möglich.
Wichtige Eigenschaften:
Dimensionen: Jeder Vektor hat eine feste Länge; OpenAIs text-embedding-3-small erzeugt zum Beispiel standardmäßig 1.536 Dimensionen.
Ähnlichkeit: Die Nähe wird meist mit der Kosinus-Ähnlichkeit gemessen, von −1 bis 1, wobei höhere Werte größere Ähnlichkeit bedeuten.
Modellspezifisch: Vektoren aus verschiedenen Embedding-Modellen lassen sich nicht miteinander vergleichen.
Modalitäten: Es gibt Modelle für Text, Bilder, Audio und Kombinationen daraus, etwa OpenAIs CLIP für Bilder und Text.
Die Idee geht auf Verfahren auf Wortebene wie word2vec (2013) zurück; moderne Modelle betten ganze Sätze und Textpassagen ein.
Wie ermöglichen Embeddings semantische Suche und RAG?
Semantische Suche vergleicht das Embedding einer Frage mit gespeicherten Embeddings von Dokumenten und liefert die nächstgelegenen zurück. Die Pipeline:
Chunking: Dokumente in Passagen aufteilen, oft jeweils einige hundert Tokens mit etwas Überlappung.
Embedding: Jeden Chunk durch das Embedding-Modell laufen lassen und den Vektor zusammen mit Text und Metadaten speichern.
Indexierung: Die Vektoren in eine Vektordatenbank mit einem Approximate-Nearest-Neighbor-Index wie HNSW laden.
Abfrage: Die Frage der Nutzerin oder des Nutzers mit demselben Modell einbetten.
Retrieval: Die besten Treffer zurückgeben, optional gefiltert nach Metadaten wie Datum oder Produkt.
Generierung: Die Treffer an ein LLM übergeben – der Kern von Retrieval-Augmented Generation.
Wie sehen Embeddings in der Praxis aus?
Ein typisches erstes Projekt ist es, die Stichwortsuche in einem Help Center durch semantische Suche zu ersetzen. Nehmen wir einen Online-Möbelhändler, dessen Kundschaft in den FAQ nach „Sofa passt nicht durch die Tür“ sucht und keine Ergebnisse erhält, weil der Artikel „Anforderungen an den Lieferzugang“ heißt.
Angenommen, das Team bettet alle 600 Hilfeartikel mit einem gehosteten Embedding-Modell ein und speichert sie mit der Erweiterung pgvector in Postgres. Suchanfragen werden nun eingebettet und liefern die per Kosinus-Ähnlichkeit nächstgelegenen Artikel; parallel läuft eine Stichwortsuche, und beide Ergebnislisten werden zusammengeführt.
Das Team protokolliert Suchen, nach denen Nutzer trotzdem den Support kontaktieren, prüft sie monatlich und schreibt neue Artikel zu Themen ohne passenden Treffer. Derselbe Index speist später einen Support-Chatbot, ohne dass etwas neu aufgebaut werden muss, und auf dieselbe Weise eingebettete Produktbeschreibungen treiben ein „Ähnliche Artikel“-Karussell auf den Produktseiten an.
Welche Grenzen und Fallstricke haben Embeddings?
Embeddings erfassen allgemeine Ähnlichkeit, nicht Richtigkeit – die nächstgelegene Passage kann also zum Thema passen und trotzdem falsch sein. Außerdem tun sie sich mit exakten Kennungen schwer: Eine Suche nach der Rechnung „INV-20931“ kann ähnlich aussehende Nummern liefern.
Schlechtes Chunking: Wird mitten im Satz getrennt oder werden Themen in einem Chunk vermischt, schwächt das die Treffer.
Modellwechsel: Ein Wechsel des Embedding-Modells bedeutet, den gesamten Korpus neu einzubetten.
Fachjargon: Allgemeine Modelle unterscheiden Fachbegriffe unter Umständen nicht gut.
Veraltete Indizes: Bearbeitete Dokumente müssen neu eingebettet werden, sonst zitieren Antworten alten Text.
Die Kosten sind selten das Problem, da das Einbetten eines Dokuments im Vergleich zur Textgenerierung günstig ist, doch Speicherbedarf und Aufwand für die Neuindexierung wachsen mit dem Korpus. Hybride Suche, die Stichwort-Scoring wie BM25 mit Vektorähnlichkeit kombiniert, behebt viele dieser Probleme.
Mit welchen Tools werden Embeddings erstellt und gespeichert?
Sie brauchen zweierlei: ein Modell, das Embeddings erzeugt, und einen Ort, an dem Sie sie durchsuchen.
Gehostete Modelle: OpenAI text-embedding-3, Cohere Embed, Googles Gemini-Embedding-Modelle und Voyage AI.
Offene Modelle: Sentence Transformers und andere Modelle von Hugging Face, betrieben auf Ihren eigenen Servern.
Speicherung und Suche: pgvector für Postgres, Pinecone, Weaviate, Qdrant, Milvus oder die integrierte Vektorsuche in Elasticsearch, MongoDB Atlas und BigQuery.
Frameworks: LangChain und LlamaIndex kapseln Chunking, Embedding und Retrieval.
Embeddings unterstützen auch das Clustering von Support-Tickets oder Bewertungen sowie NLP-Aufgaben wie Klassifikation mit wenigen gelabelten Beispielen.
Stichwortsuche vs. Embedding-Suche
Stichwortsuche | Embedding-Suche (semantisch) | |
|---|---|---|
Trifft auf Basis von | Gemeinsamen Wörtern | Ähnlicher Bedeutung |
Erkennt Synonyme | Nur mit manuellen Listen | Ja |
Exakte IDs und Codes | Stark | Schwach |
Typische Tools | Elasticsearch BM25, Algolia | pgvector, Pinecone, Weaviate |
Best Practice | Beides als hybride Suche kombinieren | Beides als hybride Suche kombinieren |
Wie nutzt VIZIO AI Embeddings?
VIZIO AI nutzt Embeddings und Vektorsuche, um große, mehrsprachige Wissensdatenbanken mit einfachen Fragen durchsuchbar zu machen. Für ein auf Südostasien fokussiertes Technologieberatungsunternehmen hat unser DX Studio eine mehrsprachige Financial-Intelligence-Plattform gebaut – mit semantischer Suche auf Basis verifizierter Finanzquellen und Vektordatenbank-Logik sowie einem KI-Chatbot für Finanzfragen.
Automatisierte ETL-Pipelines hielten die Datensätze hinter der Suchebene aktuell. Die Plattform reduzierte den Zeitaufwand für Finanzrecherchen um 65 %, steigerte das Plattform-Engagement um das 4-Fache und verbesserte die Entscheidungsgenauigkeit um 35 %.
So fangen Sie an: Betten Sie Ihre 100 meistgelesenen Dokumente mit pgvector ein und vergleichen Sie die semantischen Ergebnisse anhand echter Anfragen mit Ihrer aktuellen Stichwortsuche.