Zum Inhalt springen

Blog

KI & Machine Learning

Bevor Sie einen KI-Agenten auf Kunden loslassen: Die Prüfungen, die wir durchführen

Testen Sie einen KI-Agenten vor dem Start mit einem Evaluierungsdatensatz, idempotenten Schreibvorgängen, einem Shadow-Run, Freigabe bei riskanten Aktionen und Logs. Die Prüfungen Schritt für Schritt.

7 Min. Lesezeit
Gedithertes Bild einer Marmorhand, die in einem Gießereiturm mit einem kleinen Schlägel eine große gegossene Glocke anschlägt, der Berührungspunkt in Rot.
Facebook-Logo
X-Logo
LinkedIn-Logo
Reddit-Logo
Telegram-Logo

Um einen KI-Agenten vor dem Livegang zu testen, lassen Sie ihn gegen eine Reihe geprüfter Aufgaben laufen, bewerten Sie, was er tatsächlich verändert hat, statt was er gesagt hat, machen Sie jeden Schreibvorgang wiederholungssicher, lassen Sie ihn im Shadow-Modus neben dem laufenden Prozess mitlaufen und verlangen Sie bei riskanten Aktionen eine Freigabe, bis die Ergebnisse Vertrauen verdienen. Danach protokollieren und testen Sie auch nach dem Start weiter.

Stellen Sie sich einen Agenten vor, der Erstattungsanfragen für einen Online-Shop bearbeitet. In der Demo liest er das Ticket, prüft die Bestellung, veranlasst die Erstattung und antwortet dem Kunden. Zwei Wochen nach dem Start stellt die Finanzabteilung fest, dass eine Handvoll Kunden doppelt erstattet wurde. Der Zahlungsanbieter lief in ein Timeout, der Agent wiederholte den Aufruf, und beide Aufrufe gingen durch. Die Demo hätte das nicht zeigen können, weil in der Demo nie etwas ein Timeout hatte.

Was umfasst das Testen eines KI-Agenten, das normales Software-Testing nicht abdeckt?

Einen Agenten zu testen heißt, Entscheidungen ebenso zu testen wie Code: Dieselbe Eingabe kann bei verschiedenen Läufen zu unterschiedlichen Tool-Aufrufen führen, ein einzelner bestandener Lauf beweist also wenig. Sie brauchen viele Läufe pro Aufgabe, Prüfer, die das Ergebnis kontrollieren, und Kontrollen, die den Schaden begrenzen, wenn ein Lauf schiefgeht.

Drei Dinge machen Agenten anders:

  • Sie sind nichtdeterministisch. Das Modell kann jedes Mal einen anderen Weg wählen, daher muss ein Test wiederholt werden.

  • Sie handeln in anderen Systemen. Eine falsche Antwort eines Chatbots ist Text; eine falsche Aktion eines Agenten ist eine Erstattung, eine E-Mail oder ein veränderter Datensatz.

  • Sie lesen nicht vertrauenswürdige Eingaben. Tickets, E-Mails und Webseiten können Anweisungen enthalten, die der Agent ignorieren sollte.

Wenn Sie eine Auffrischung brauchen, wo Agenten enden und Workflows beginnen, lesen Sie Was ist ein KI-Agent wirklich?.

Wie bauen Sie einen Evaluierungsdatensatz für einen KI-Agenten?

Ein Evaluierungsdatensatz ist eine Liste realistischer Aufgaben, jeweils mit einem bekannten korrekten Ergebnis und einer Möglichkeit, es automatisch zu bewerten. Das Engineering-Team von Anthropic definiert eine Eval als „einen Test für ein KI-System: Man gibt einer KI eine Eingabe und wendet dann eine Bewertungslogik auf ihre Ausgabe an, um den Erfolg zu messen.“

Woher die Aufgaben kommen

Beginnen Sie mit echter Arbeit, nicht mit ausgedachten Prompts. Ziehen Sie Tickets, Anfragen oder Fälle aus dem Prozess, den der Agent übernehmen soll, einschließlich der unbequemen: fehlende Daten, verärgerte Kunden, Anfragen, die abgelehnt werden sollten. Anthropics Leitfaden zum Evaluieren von Agenten sagt: „20 bis 50 einfache Aufgaben aus realen Fehlern sind ein hervorragender Anfang.“

Das Ergebnis bewerten, nicht das Transkript

Ein Transkript ist die vollständige Aufzeichnung dessen, was der Agent in einem Lauf getan hat; das Ergebnis ist der Zustand der Systeme danach. Anthropics Beispiel ist ein Flugbuchungs-Agent, der sagt „Ihr Flug wurde gebucht“, wobei „das Ergebnis ist, ob in der SQL-Datenbank der Umgebung eine Reservierung existiert“. Prüfen Sie die Datenbank, den CRM-Datensatz oder das Zahlungsprotokoll, nicht die letzte Nachricht des Agenten.

Jede Aufgabe mehr als einmal ausführen

Weil Läufe variieren, führen Sie jede Aufgabe mehrmals aus. Anthropic beschreibt zwei Maße: pass@k, die Wahrscheinlichkeit, dass mindestens einer von k Versuchen gelingt, und pass^k, die Wahrscheinlichkeit, dass alle k gelingen. Für einen Agenten, der für Kunden handelt, ist pass^k entscheidend: Er muss jedes Mal funktionieren, nicht nur gelegentlich.

Behalten Sie den Datensatz und führen Sie ihn nach jeder Änderung an Prompt, Modell, Tools oder Daten erneut aus. Anthropic nennt das Regressions-Evals: Sie fragen, ob der Agent „weiterhin alle Aufgaben bewältigt, die er früher bewältigt hat“.

Wie verhindern Sie, dass ein Agent dieselbe Aktion zweimal ausführt?

Machen Sie jeden Schreibvorgang idempotent: Geben Sie jeder Aktion einen eindeutigen Schlüssel, sodass ein erneuter Versuch das erste Ergebnis zurückliefert, statt erneut zu handeln. Idempotenz bedeutet, dass etwas zweimal zu tun dieselbe Wirkung hat wie einmal.

Eine Marmorfingerspitze dreht ein steinernes Sperrrad um eine Raste weiter, eine rote Klinke hält es an seinem Platz

Dubletten entstehen durch gewöhnliche Fehler: ein Timeout, ein abgestürzter Worker, ein Modell, das dasselbe Tool in einem Plan zweimal aufruft. Die Lösung liegt in den Tools, nicht im Prompt.

  • Nutzen Sie die Idempotenz-Unterstützung des Zielsystems. Die API von Stripe etwa akzeptiert bei Anfragen, die Objekte anlegen oder aktualisieren, einen Idempotenzschlüssel, sodass „Sie die Anfrage gefahrlos wiederholen können, ohne ein zweites Objekt anzulegen oder die Aktualisierung doppelt auszuführen“.

  • Leiten Sie den Schlüssel aus dem Geschäftsvorfall ab. Verwenden Sie die Ticket-ID plus die Aktion, keinen Zufallswert pro Versuch, damit ein zweiter Versuch derselben Erstattung denselben Schlüssel trägt.

  • Prüfen Sie vor dem Schreiben, wo es keinen Schlüssel gibt. Schlagen Sie nach, ob die E-Mail bereits versendet oder der Datensatz bereits aktualisiert wurde, bevor Sie handeln.

  • Testen Sie es gezielt. Nehmen Sie Aufgaben in den Evaluierungsdatensatz auf, die ein Timeout oder eine Wiederholung erzwingen, und prüfen Sie, dass genau eine Aktion angekommen ist.

Was ist ein Shadow-Run, und wie lange sollte er dauern?

Ein Shadow-Run ist ein Zeitraum, in dem der Agent echte Eingaben verarbeitet, seine Aktionen aber nur aufgezeichnet und nicht ausgeführt werden, während Menschen die Arbeit weiterhin erledigen. Anschließend vergleichen Sie, was der Agent getan hätte, mit dem, was Menschen tatsächlich getan haben.

Eine Marmorhand bleibt still, während ihr Schatten an der Wand die Greifgeste ihr voraus vollendet

Ein Shadow-Run fängt auf, was ein Evaluierungsdatensatz verpasst: die Fälle, die niemand aufzuschreiben dachte. Lassen Sie ihn laufen, bis er die normale Bandbreite der Arbeit abgedeckt hat, einschließlich einer geschäftigen Phase und des Monatsabschluss- oder Wochenzyklus, falls der Prozess einen hat. Prüfen Sie dann die Abweichungen einzeln. Jede ist entweder eine Lücke beim Agenten, eine neue Aufgabe für den Evaluierungsdatensatz oder ein Zeichen dafür, dass sich auch die Menschen untereinander nicht einig sind.

Welche Agentenaktionen brauchen vor dem Start eine menschliche Freigabe?

Aktionen, die schwer umkehrbar sind, Geld kosten oder einen Kunden erreichen, sollten auf einen Menschen warten, bis der Agent eine Erfolgsbilanz hat. Reine Lesezugriffe können meist von Anfang an frei laufen.

Der praktische Leitfaden zum Bau von Agenten von OpenAI schlägt vor, jedes Tool mit „niedrig, mittel oder hoch“ zu bewerten, „basierend auf Faktoren wie reinem Lese- gegenüber Schreibzugriff, Umkehrbarkeit, erforderlichen Kontoberechtigungen und finanziellen Auswirkungen“, und diese Einstufungen zu nutzen, um für Prüfungen anzuhalten oder an einen Menschen zu eskalieren.

Eine einfache Art, das anzuwenden:

  • Niedriges Risiko: Beispiel: eine Bestellung nachschlagen. Vor dem Start: läuft automatisch.

  • Mittleres Risiko: Beispiel: eine Antwort entwerfen oder ein internes Feld aktualisieren. Vor dem Start: läuft, wobei täglich ein Mensch eine Stichprobe prüft.

  • Hohes Risiko: Beispiel: eine Erstattung veranlassen, eine E-Mail an einen Kunden senden oder einen Datensatz löschen. Vor dem Start: Ein Mensch gibt jede einzelne frei.

Lockern Sie eine Stufe erst, wenn die Logs zeigen, dass die Freigaben nur noch durchgewinkt wurden. Unser Beitrag zum Design für KI-Agenten zeigt, wie sich diese Freigabe-Oberflächen schnell bedienen lassen.

Was sollten Sie überwachen, nachdem ein KI-Agent live gegangen ist?

Überwachen Sie jeden Tool-Aufruf mit seinen Eingaben, dem Ergebnis und der Identität, unter der er lief, und achten Sie auf die Fehlermuster, die Ihre Tests gefunden haben. Das britische National Cyber Security Centre (NCSC) formuliert zur gemeinsamen Empfehlung Careful adoption of agentic AI services die Messlatte unmissverständlich: „Wenn Sie die Aktionen eines Agenten nicht verstehen, überwachen oder eindämmen können, ist er nicht bereit für den Einsatz.“

Was Sie erfassen sollten

  • Jede ausgeführte Aktion, mit einem Rückverweis auf die Eingabe, die sie ausgelöst hat.

  • Freigabeentscheidungen und wie oft Menschen den Vorschlag des Agenten ändern oder ablehnen.

  • Fehler, Wiederholungen und Eskalationen an einen Menschen.

  • Eine wöchentliche Stichprobe von Transkripten, gelesen von jemandem, der den Prozess kennt.

Derselbe NCSC-Beitrag rät Organisationen, „agentische KI schrittweise einzuführen, beginnend mit eng begrenzten Pilotprojekten mit klar definierten Aufgaben“, und „Vertrauen in das System aufzubauen, bevor Sie den Umfang erweitern“. In der Praxis heißt das zunächst: ein Prozess, ein Team und eine kleine Auswahl an Tools.

So gehen wir bei Vizio AI vor

Wir schreiben den Evaluierungsdatensatz, bevor wir den Agenten schreiben. Gemeinsam mit den Menschen, die die Arbeit heute erledigen, sammeln wir echte Fälle, legen für jeden fest, wie ein korrektes Ergebnis aussieht, und entscheiden, welche Aktionen ein niedriges, mittleres oder hohes Risiko tragen.

Anschließend bauen wir die Tools so, dass Schreibvorgänge idempotent und auf das eigene Servicekonto des Agenten begrenzt sind, lassen den Agenten im Shadow-Modus neben dem Team laufen und besprechen jede Abweichung mit ihnen. Die Freigabe bleibt bei Aktionen mit hohem Risiko, bis die Logs ihre Abschaffung rechtfertigen, und der Evaluierungsdatensatz läuft nach der Übergabe weiter, sodass eine Änderung an Prompt oder Modell, die einen Fall bricht, an einem Test scheitert, statt einen Kunden zu erreichen.

Das gehört zu unserer Arbeit im DX Studio. Wenn der Agent über MCP an Ihre Systeme angebunden ist, lesen Sie auch KI-Agent an Ihr CRM anbinden? Sichern Sie zuerst den MCP-Server ab.

Quellen

FAQs.

01

02

03

04

05

Mehr lesen.

Dithered illustration of two marble hands pulling a mason's line taut between stakes across bare ground at dawn, the first course of stones laid along it and a pink knot at the nearest stake.
Your First 30 Days With a Product Studio: What Happens Week by Week
7 Min.

The first 30 days with a product studio: week one sets access and goals, week two tests the riskiest assumption, weeks three and four ship a first slice.

Dithered illustration of a marble hand opening the case of a bracket clock to show a dense hidden mechanism, one small gear deep inside glowing red.
What Does an AI Agent Cost to Run? Tokens, Tools and the Hidden Line Items
6 Min.

An AI agent's running cost is model tokens across every step, plus retries, tool and search fees, hosting, monitoring and human review. Budget per task, not per token.

Dithered illustration of a fragmented marble face looking down at a jeweller's tray where gems are sorted by size, the largest stone glowing amber under a brass lamp.
AI Lead Scoring in Your CRM: Start With the Rules You Already Trust
7 Min.

Add AI lead scoring by writing down the rules sales already trusts, cleaning CRM data, then testing the AI score against those rules before reps use it.

AI-first denken.
Zukunftsschnell handeln.

Lassen Sie uns bauen, was als Nächstes kommt! Von Produktideen und intelligenten Workflows bis zu datengetriebenen Systemen und skalierbaren Growth Operations.

Strategiegespräch buchen