Zum Inhalt springen

Glossar

KI & Machine Learning

Large Language Model (LLM)

Ein Large Language Model (LLM) ist ein neuronales Netz, typischerweise ein Transformer, das auf sehr großen Textmengen darauf trainiert wird, das nächste Token vorherzusagen. Dadurch kann es auf Prompts hin Sprache generieren, zusammenfassen, klassifizieren und übersetzen.

Aktualisiert am · Vom VIZIO AI Team

Was ist ein LLM?

Ein LLM ist eine universelle Text-Engine: Ein einziges Modell kann je nach Prompt E-Mails entwerfen, Felder aus Rechnungen extrahieren und SQL schreiben. Technisch ist es ein Transformer – die Architektur, die 2017 im Paper „Attention Is All You Need“ vorgestellt wurde – mit Milliarden gelernter Parameter.

Das Training erfolgt in Phasen. Pretraining auf großen Textkorpora vermittelt Sprache und breites Wissen durch Vorhersage des nächsten Tokens. Instruction Tuning und Reinforcement Learning from Human Feedback (RLHF) bringen dem Modell bei, Anweisungen zu befolgen und schädliche Anfragen abzulehnen.

Bei der Nutzung wird Text in Tokens zerlegt, und das Modell erzeugt eine Antwort Token für Token innerhalb eines festen Kontextfensters.

Bekannte Modellfamilien sind die GPT-Modelle von OpenAI, Claude von Anthropic, Gemini von Google, Llama von Meta und die Modelle von Mistral.

Wie setzt man ein LLM in einer Geschäftsanwendung ein?

Der größte geschäftliche Nutzen entsteht, wenn man ein gehostetes Modell mit den eigenen Daten, eigenen Regeln und Prüfungen seiner Ausgaben umgibt. Die üblichen Bausteine, grob nach Aufwand geordnet:

  1. Prompting: Anweisungen, Beispiele und Ausgabeformat in der Anfrage.

  2. Strukturierte Ausgabe: JSON gemäß einem Schema anfordern, damit Code das Ergebnis weiterverarbeiten kann.

  3. RAG: relevante Dokumente abrufen und in den Prompt aufnehmen, damit Antworten auf Ihren aktuellen Daten beruhen.

  4. Tool-Nutzung: das Modell APIs aufrufen oder Abfragen ausführen lassen – die Grundlage von Agenten.

  5. Fine-Tuning: Gewichte anhand Ihrer Beispiele anpassen, wenn Prompting den nötigen Stil oder die nötige Genauigkeit nicht erreicht.

Wählen Sie Modelle aus, indem Sie sie an Ihren eigenen Aufgaben auf Qualität, Latenz und Kosten pro 1.000 Anfragen testen.

Wie sieht der Einsatz eines LLM in der Praxis aus?

Ein praktischer erster Einsatz ist eine eng umrissene Aufgabe mit eindeutig richtiger Antwort, bei der ein Mensch die Ausgabe prüft. Stellen Sie sich einen Spediteur mit 25 Mitarbeitenden vor, der pro Woche Hunderte Transportanfragen als Freitext per E-Mail erhält.

  1. Die Operations-Leitung definiert ein JSON-Schema: Herkunft, Ziel, Gewicht, Incoterm, Bereitstellungsdatum.

  2. Ein LLM-API-Aufruf extrahiert diese Felder aus jeder E-Mail und gibt null zurück, wenn ein Feld fehlt, statt zu raten.

  3. Eine einfache Prüfansicht zeigt die extrahierten Felder neben der E-Mail; Mitarbeitende korrigieren und geben frei.

  4. Freigegebene Anfragen fließen über die API in das Angebotssystem.

Angenommen, im ersten Monat korrigieren Mitarbeitende etwa eines von zehn Feldern. Diese Korrekturen werden zu Testfällen, und der Prompt wird so lange verfeinert, bis Korrekturen so selten sind, dass nur noch markierte E-Mails geprüft werden müssen.

Welche Grenzen haben LLMs?

LLMs erzeugen flüssigen Text, ob er nun stimmt oder nicht – daher braucht jeder produktive Einsatz eine Möglichkeit, Fakten zu prüfen. Die wichtigsten Grenzen:

  • Halluzination: selbstsichere, plausible, aber falsche Aussagen, einschließlich erfundener Quellenangaben.

  • Wissensstichtag: Das Modell kennt keine Ereignisse nach seinen Trainingsdaten, sofern Sie sie nicht bereitstellen.

  • Arithmetik und exakte Nachschlagevorgänge: unzuverlässig ohne Tools wie einen Rechner oder eine Datenbankabfrage.

  • Prompt Injection: In Dokumenten oder Webseiten versteckte Anweisungen können das Verhalten kapern.

  • Umgang mit Daten: Prüfen Sie die Aufbewahrungsbedingungen des Anbieters, bevor Sie personenbezogene Daten senden.

Setzen Sie kein LLM ein, wo eine deterministische Regel oder eine SQL-Abfrage bereits die richtige Antwort liefert.

Worin unterscheidet sich ein LLM von generativer KI oder einem Chatbot?

Ein LLM ist das zugrunde liegende Modell; generative KI ist die übergeordnete Kategorie; ein Chatbot ist ein darauf aufbauendes Produkt. Zur generativen KI gehören auch Bild-, Audio- und Videomodelle wie Diffusionsmodelle. Ein Chatbot wie ChatGPT kombiniert ein LLM mit einer Chat-Oberfläche, Gedächtnis, Sicherheitsebenen und Tools.

Die Wahl zwischen gehosteten und offenen Modellen ist die zentrale Architekturentscheidung. Gehostete APIs (OpenAI, Anthropic, Google Vertex AI, Azure OpenAI, AWS Bedrock) bieten die stärksten Modelle ohne eigene Infrastruktur. Open-Weight-Modelle (Llama, Mistral, Qwen) laufen über vLLM oder Ollama auf Ihren eigenen Servern und geben Ihnen mehr Kontrolle über die Daten, um den Preis, sie selbst betreiben zu müssen.

Frameworks wie LangChain und LlamaIndex helfen bei der Orchestrierung beider Varianten.

Gehostete vs. Open-Weight-LLMs

Gehostete LLM-API

Open-Weight-LLM

Beispiele

GPT, Claude, Gemini

Llama, Mistral, Qwen

Einrichtung

API-Schlüssel, Bezahlung pro Token

GPUs oder ein Hosting-Anbieter

Datenkontrolle

Geregelt durch die Bedingungen des Anbieters

Bleibt auf Ihrer Infrastruktur

Modellqualität

Meist die stärkste verfügbare

Bei vielen Aufgaben nah dran, schwankt

Am besten für

Schnelles Prototyping und die meisten Produktiv-Apps

Strenge Datenresidenz oder hohes, gleichbleibendes Volumen

Wie entwickelt VIZIO AI mit LLMs?

VIZIO AI entwickelt LLM-Funktionen rund um eine konkrete Nutzeraufgabe und testet und iteriert dann, bis die Ausgaben für echte Nutzer verlässlich genug sind. Für Auli AI setzte das Venture Studio Large Language Models in einem Multi-Agenten-System ein, um strukturierte E-Commerce-Daten zu analysieren und in Empfehlungen zu Preisen, Lagerbestand und Profitabilität umzuwandeln; das MVP wird bereits von mehr als 1.000 Nutzern verwendet.

Für Qurio LLC baute das Venture Studio Briefio AI, das mithilfe von OpenAI-Modellen komplexe wissenschaftliche Paper zusammenfasst und die Zusammenfassungen in Audio umwandelt; das MVP wurde in 3 Monaten geliefert.

Ein guter Startpunkt: Wählen Sie eine wiederkehrende Textaufgabe, die Ihr Team wöchentlich erledigt, sammeln Sie 30 echte Beispiele und testen Sie, ob ein Modell sie bewältigt, bevor Sie irgendetwas anderes bauen.

Facebook-Logo
X-Logo
LinkedIn-Logo
Reddit-Logo
Telegram-Logo

AI-first denken.
Zukunftsschnell handeln.

Lassen Sie uns bauen, was als Nächstes kommt! Von Produktideen und intelligenten Workflows bis zu datengetriebenen Systemen und skalierbaren Growth Operations.

Strategiegespräch buchen