Zum Inhalt springen

Glossar

KI & Machine Learning

KI-Evaluierung (Evals)

KI-Evaluierung (Evals) ist die systematische Prüfung der Ausgaben eines KI-Systems anhand definierter Kriterien – mit festen Testdatensätzen, automatisierten Bewertern und menschlicher Prüfung –, um die Qualität zu messen und Regressionen vor und nach dem Release zu erkennen.

Aktualisiert am · Vom VIZIO AI Team

Was sind KI-Evals?

Evals sind die Testsuite für KI-Verhalten: Sie machen aus „es wirkt besser“ eine Zahl, die Sie über Versionen hinweg verfolgen können. Anders als klassische Softwaretests gehen sie davon aus, dass Ausgaben variieren, und bewerten die Qualität daher auf einer Skala, statt auf eine exakte Antwort zu prüfen.

Ein Eval besteht aus vier Teilen: einem Datensatz von Eingaben (echte Nutzerfragen, Grenzfälle, adversariale Prompts), dem erwarteten Verhalten oder Referenzantworten, einem Bewerter (exakte Übereinstimmung, Code-Prüfung, LLM-as-Judge oder ein Mensch) und einem Bericht, der die Ergebnisse über Änderungen an Modell, Prompt oder Abruf hinweg vergleicht.

Evals laufen an drei Stellen: offline vor dem Release, in der CI bei jeder Prompt-Änderung und online in der Produktion über Stichproben von Konversationen, Nutzerfeedback und A/B-Tests.

Wie bauen Sie eine Eval-Suite auf?

Gehen Sie von echten Fehlern aus, nicht von generischen Benchmarks. Eine praxisnahe Abfolge:

  1. Sammeln Sie 50–200 echte Eingaben aus Logs oder von Pilotnutzern, einschließlich der Fälle, die schiefgegangen sind.

  2. Formulieren Sie Kriterien pro Aufgabe: korrekte Fakten, nennt eine Quelle, hält das Format ein, lehnt Anfragen außerhalb des Anwendungsbereichs ab.

  3. Wählen Sie Bewerter: Code-Prüfungen für Format und JSON-Gültigkeit; Referenzvergleich für Fakten; einen LLM-Judge mit Bewertungsraster für Tonalität oder Hilfsbereitschaft, kalibriert an menschlichen Labels.

  4. Legen Sie Bestehensschwellen fest und blockieren Sie Releases mit Regressionen.

  5. Fügen Sie jeden neuen Produktionsfehler dem Datensatz hinzu.

Bewerten Sie bei RAG-Systemen den Abruf (kam das richtige Dokument zurück?) getrennt von der Generierung (hat die Antwort es getreu verwendet?).

Wie sehen KI-Evals in der Praxis aus?

In der Praxis machen Evals aus Prompt-Anpassungen statt Ratespiel gemessene Experimente. Stellen Sie sich ein HR-Softwareunternehmen mit 40 Mitarbeitenden vor, das einen Assistenten einführt, der Fragen von Beschäftigten zu Richtlinien anhand des Handbuchs des jeweiligen Kunden beantwortet.

Das Team sammelt 150 echte Fragen aus einem Pilotprojekt, schreibt mit HR-Expertinnen und -Experten Referenzantworten und ergänzt 30 Fangfragen, die das Handbuch nicht abdeckt. Die Bewerter prüfen drei Dinge: Ist die Antwort durch den abgerufenen Abschnitt gedeckt, nennt sie den Abschnitt, und lehnt sie ab, wenn das Handbuch dazu schweigt?

Angenommen, ein günstigeres Modell schneidet bei der Korrektheit gut ab, erfindet aber bei einem Drittel der Fangfragen Antworten. Das Team behält für diesen Schritt das ursprüngliche Modell, und das Eval läuft von da an bei jeder Änderung automatisch.

Ohne die Fangfragen hätte das günstigere Modell wie ein klarer Gewinner ausgesehen. Das Eval hat sich bereits beim ersten blockierten Release bezahlt gemacht.

Welche Fallstricke gibt es bei KI-Evals?

Ein hoher Eval-Wert bedeutet nur, dass das System bei den Fällen gut abschneidet, an die Sie gedacht haben. Häufige Fallen:

  • Benchmark-Kontamination: Fragen öffentlicher Benchmarks können in den Trainingsdaten eines Modells vorkommen und die Werte aufblähen.

  • Unkalibrierte LLM-Judges: Judges können längere Antworten oder die eigene Modellfamilie bevorzugen; prüfen Sie die Übereinstimmung mit menschlichen Labels.

  • Zu wenige Fälle: 20 Beispiele können eine Veränderung um 5 Punkte nicht zuverlässig erkennen.

  • Veraltete Datensätze: Das Nutzerverhalten verändert sich, und alte Testdatensätze übersehen neue Fehlerarten.

Evals messen; sie verhindern nichts. Für den Live-Betrieb sind weiterhin Laufzeit-Guardrails nötig.

Welche Tools werden für KI-Evals eingesetzt?

Die meisten Teams kombinieren ein Eval-Framework mit Tracing, damit sich Fehler untersuchen lassen. Zu den Optionen gehören OpenAI Evals, LangSmith (vom LangChain-Team), Braintrust, Promptfoo, DeepEval, Ragas für RAG-spezifische Metriken, Arize Phoenix und Weights & Biases Weave.

Für Vergleiche auf Modellebene geben öffentliche Benchmarks wie MMLU oder HumanEval ein grobes Signal, sagen aber wenig über Ihren Anwendungsfall aus. Evals unterscheiden sich von Guardrails im Zeitpunkt: Evals bewerten Verhalten anhand von Testdatensätzen, während Guardrails einzelne Ein- und Ausgaben zur Laufzeit filtern oder blockieren. Zudem unterstützen sie die KI-Governance, indem sie dokumentieren, wie ein System vor dem Release getestet wurde.

KI-Evals vs. klassische Softwaretests

KI-Evals

Klassische Softwaretests

Erwartete Ausgabe

Eine Bandbreite akzeptabler Antworten

Ein exaktes Ergebnis

Bewertung

Abgestufte Werte, oft 0 bis 1

Bestanden oder nicht bestanden

Bewerter

Code, Referenz, LLM-Judge, Menschen

Assertions im Code

Datensatz

Wächst aus echten Produktionsfehlern

Vorab von Entwicklern geschrieben

Schwankende Ergebnisse

Erwartet; Durchschnitte über mehrere Läufe verfolgen

Als Bug behandelt

Wie evaluiert VIZIO AI KI-Systeme?

VIZIO AI testet KI-Funktionen an realen Anwendungsfällen und iteriert, bis die Ausgaben für Nutzer zuverlässig genug sind; die veröffentlichten Fallstudien beschreiben allerdings Tests und kein namentlich genanntes Eval-Framework. Für Auli AI baute das Venture Studio ein Multi-Agenten-System, das mithilfe von Large Language Models strukturierte E-Commerce-Daten analysiert, mit rigorosen Tests und Iterationen zu Leistung und Zuverlässigkeit; das MVP wird bereits von mehr als 1.000 Nutzern verwendet.

Für Briefio AI von Qurio LLC arbeitete das Team an Prompt-Struktur und Inhaltsverarbeitung, damit Zusammenfassungen kurz, aber dem Originalpaper treu blieben, und lieferte das MVP in 3 Monaten.

Wo Sie anfangen sollten: Speichern Sie noch heute 50 echte Nutzereingaben, einschließlich Fehlern, und bewerten Sie jede künftige Änderung daran.

Facebook-Logo
X-Logo
LinkedIn-Logo
Reddit-Logo
Telegram-Logo

AI-first denken.
Zukunftsschnell handeln.

Lassen Sie uns bauen, was als Nächstes kommt! Von Produktideen und intelligenten Workflows bis zu datengetriebenen Systemen und skalierbaren Growth Operations.

Strategiegespräch buchen