Bevor Sie einen KI-Agenten auf Kunden loslassen: Die Prüfungen, die wir durchführen
Testen Sie einen KI-Agenten vor dem Start mit einem Evaluierungsdatensatz, idempotenten Schreibvorgängen, einem Shadow-Run, Freigabe bei riskanten Aktionen und Logs. Die Prüfungen Schritt für Schritt.
7 Min. Lesezeit

Inhalt
Um einen KI-Agenten vor dem Livegang zu testen, lassen Sie ihn gegen eine Reihe geprüfter Aufgaben laufen, bewerten Sie, was er tatsächlich verändert hat, statt was er gesagt hat, machen Sie jeden Schreibvorgang wiederholungssicher, lassen Sie ihn im Shadow-Modus neben dem laufenden Prozess mitlaufen und verlangen Sie bei riskanten Aktionen eine Freigabe, bis die Ergebnisse Vertrauen verdienen. Danach protokollieren und testen Sie auch nach dem Start weiter.
Stellen Sie sich einen Agenten vor, der Erstattungsanfragen für einen Online-Shop bearbeitet. In der Demo liest er das Ticket, prüft die Bestellung, veranlasst die Erstattung und antwortet dem Kunden. Zwei Wochen nach dem Start stellt die Finanzabteilung fest, dass eine Handvoll Kunden doppelt erstattet wurde. Der Zahlungsanbieter lief in ein Timeout, der Agent wiederholte den Aufruf, und beide Aufrufe gingen durch. Die Demo hätte das nicht zeigen können, weil in der Demo nie etwas ein Timeout hatte.
Was umfasst das Testen eines KI-Agenten, das normales Software-Testing nicht abdeckt?
Einen Agenten zu testen heißt, Entscheidungen ebenso zu testen wie Code: Dieselbe Eingabe kann bei verschiedenen Läufen zu unterschiedlichen Tool-Aufrufen führen, ein einzelner bestandener Lauf beweist also wenig. Sie brauchen viele Läufe pro Aufgabe, Prüfer, die das Ergebnis kontrollieren, und Kontrollen, die den Schaden begrenzen, wenn ein Lauf schiefgeht.
Drei Dinge machen Agenten anders:
Sie sind nichtdeterministisch. Das Modell kann jedes Mal einen anderen Weg wählen, daher muss ein Test wiederholt werden.
Sie handeln in anderen Systemen. Eine falsche Antwort eines Chatbots ist Text; eine falsche Aktion eines Agenten ist eine Erstattung, eine E-Mail oder ein veränderter Datensatz.
Sie lesen nicht vertrauenswürdige Eingaben. Tickets, E-Mails und Webseiten können Anweisungen enthalten, die der Agent ignorieren sollte.
Wenn Sie eine Auffrischung brauchen, wo Agenten enden und Workflows beginnen, lesen Sie Was ist ein KI-Agent wirklich?.
Wie bauen Sie einen Evaluierungsdatensatz für einen KI-Agenten?
Ein Evaluierungsdatensatz ist eine Liste realistischer Aufgaben, jeweils mit einem bekannten korrekten Ergebnis und einer Möglichkeit, es automatisch zu bewerten. Das Engineering-Team von Anthropic definiert eine Eval als „einen Test für ein KI-System: Man gibt einer KI eine Eingabe und wendet dann eine Bewertungslogik auf ihre Ausgabe an, um den Erfolg zu messen.“
Woher die Aufgaben kommen
Beginnen Sie mit echter Arbeit, nicht mit ausgedachten Prompts. Ziehen Sie Tickets, Anfragen oder Fälle aus dem Prozess, den der Agent übernehmen soll, einschließlich der unbequemen: fehlende Daten, verärgerte Kunden, Anfragen, die abgelehnt werden sollten. Anthropics Leitfaden zum Evaluieren von Agenten sagt: „20 bis 50 einfache Aufgaben aus realen Fehlern sind ein hervorragender Anfang.“
Das Ergebnis bewerten, nicht das Transkript
Ein Transkript ist die vollständige Aufzeichnung dessen, was der Agent in einem Lauf getan hat; das Ergebnis ist der Zustand der Systeme danach. Anthropics Beispiel ist ein Flugbuchungs-Agent, der sagt „Ihr Flug wurde gebucht“, wobei „das Ergebnis ist, ob in der SQL-Datenbank der Umgebung eine Reservierung existiert“. Prüfen Sie die Datenbank, den CRM-Datensatz oder das Zahlungsprotokoll, nicht die letzte Nachricht des Agenten.
Jede Aufgabe mehr als einmal ausführen
Weil Läufe variieren, führen Sie jede Aufgabe mehrmals aus. Anthropic beschreibt zwei Maße: pass@k, die Wahrscheinlichkeit, dass mindestens einer von k Versuchen gelingt, und pass^k, die Wahrscheinlichkeit, dass alle k gelingen. Für einen Agenten, der für Kunden handelt, ist pass^k entscheidend: Er muss jedes Mal funktionieren, nicht nur gelegentlich.
Behalten Sie den Datensatz und führen Sie ihn nach jeder Änderung an Prompt, Modell, Tools oder Daten erneut aus. Anthropic nennt das Regressions-Evals: Sie fragen, ob der Agent „weiterhin alle Aufgaben bewältigt, die er früher bewältigt hat“.
Wie verhindern Sie, dass ein Agent dieselbe Aktion zweimal ausführt?
Machen Sie jeden Schreibvorgang idempotent: Geben Sie jeder Aktion einen eindeutigen Schlüssel, sodass ein erneuter Versuch das erste Ergebnis zurückliefert, statt erneut zu handeln. Idempotenz bedeutet, dass etwas zweimal zu tun dieselbe Wirkung hat wie einmal.

Dubletten entstehen durch gewöhnliche Fehler: ein Timeout, ein abgestürzter Worker, ein Modell, das dasselbe Tool in einem Plan zweimal aufruft. Die Lösung liegt in den Tools, nicht im Prompt.
Nutzen Sie die Idempotenz-Unterstützung des Zielsystems. Die API von Stripe etwa akzeptiert bei Anfragen, die Objekte anlegen oder aktualisieren, einen Idempotenzschlüssel, sodass „Sie die Anfrage gefahrlos wiederholen können, ohne ein zweites Objekt anzulegen oder die Aktualisierung doppelt auszuführen“.
Leiten Sie den Schlüssel aus dem Geschäftsvorfall ab. Verwenden Sie die Ticket-ID plus die Aktion, keinen Zufallswert pro Versuch, damit ein zweiter Versuch derselben Erstattung denselben Schlüssel trägt.
Prüfen Sie vor dem Schreiben, wo es keinen Schlüssel gibt. Schlagen Sie nach, ob die E-Mail bereits versendet oder der Datensatz bereits aktualisiert wurde, bevor Sie handeln.
Testen Sie es gezielt. Nehmen Sie Aufgaben in den Evaluierungsdatensatz auf, die ein Timeout oder eine Wiederholung erzwingen, und prüfen Sie, dass genau eine Aktion angekommen ist.
Was ist ein Shadow-Run, und wie lange sollte er dauern?
Ein Shadow-Run ist ein Zeitraum, in dem der Agent echte Eingaben verarbeitet, seine Aktionen aber nur aufgezeichnet und nicht ausgeführt werden, während Menschen die Arbeit weiterhin erledigen. Anschließend vergleichen Sie, was der Agent getan hätte, mit dem, was Menschen tatsächlich getan haben.

Ein Shadow-Run fängt auf, was ein Evaluierungsdatensatz verpasst: die Fälle, die niemand aufzuschreiben dachte. Lassen Sie ihn laufen, bis er die normale Bandbreite der Arbeit abgedeckt hat, einschließlich einer geschäftigen Phase und des Monatsabschluss- oder Wochenzyklus, falls der Prozess einen hat. Prüfen Sie dann die Abweichungen einzeln. Jede ist entweder eine Lücke beim Agenten, eine neue Aufgabe für den Evaluierungsdatensatz oder ein Zeichen dafür, dass sich auch die Menschen untereinander nicht einig sind.
Welche Agentenaktionen brauchen vor dem Start eine menschliche Freigabe?
Aktionen, die schwer umkehrbar sind, Geld kosten oder einen Kunden erreichen, sollten auf einen Menschen warten, bis der Agent eine Erfolgsbilanz hat. Reine Lesezugriffe können meist von Anfang an frei laufen.
Der praktische Leitfaden zum Bau von Agenten von OpenAI schlägt vor, jedes Tool mit „niedrig, mittel oder hoch“ zu bewerten, „basierend auf Faktoren wie reinem Lese- gegenüber Schreibzugriff, Umkehrbarkeit, erforderlichen Kontoberechtigungen und finanziellen Auswirkungen“, und diese Einstufungen zu nutzen, um für Prüfungen anzuhalten oder an einen Menschen zu eskalieren.
Eine einfache Art, das anzuwenden:
Niedriges Risiko: Beispiel: eine Bestellung nachschlagen. Vor dem Start: läuft automatisch.
Mittleres Risiko: Beispiel: eine Antwort entwerfen oder ein internes Feld aktualisieren. Vor dem Start: läuft, wobei täglich ein Mensch eine Stichprobe prüft.
Hohes Risiko: Beispiel: eine Erstattung veranlassen, eine E-Mail an einen Kunden senden oder einen Datensatz löschen. Vor dem Start: Ein Mensch gibt jede einzelne frei.
Lockern Sie eine Stufe erst, wenn die Logs zeigen, dass die Freigaben nur noch durchgewinkt wurden. Unser Beitrag zum Design für KI-Agenten zeigt, wie sich diese Freigabe-Oberflächen schnell bedienen lassen.
Was sollten Sie überwachen, nachdem ein KI-Agent live gegangen ist?
Überwachen Sie jeden Tool-Aufruf mit seinen Eingaben, dem Ergebnis und der Identität, unter der er lief, und achten Sie auf die Fehlermuster, die Ihre Tests gefunden haben. Das britische National Cyber Security Centre (NCSC) formuliert zur gemeinsamen Empfehlung Careful adoption of agentic AI services die Messlatte unmissverständlich: „Wenn Sie die Aktionen eines Agenten nicht verstehen, überwachen oder eindämmen können, ist er nicht bereit für den Einsatz.“
Was Sie erfassen sollten
Jede ausgeführte Aktion, mit einem Rückverweis auf die Eingabe, die sie ausgelöst hat.
Freigabeentscheidungen und wie oft Menschen den Vorschlag des Agenten ändern oder ablehnen.
Fehler, Wiederholungen und Eskalationen an einen Menschen.
Eine wöchentliche Stichprobe von Transkripten, gelesen von jemandem, der den Prozess kennt.
Derselbe NCSC-Beitrag rät Organisationen, „agentische KI schrittweise einzuführen, beginnend mit eng begrenzten Pilotprojekten mit klar definierten Aufgaben“, und „Vertrauen in das System aufzubauen, bevor Sie den Umfang erweitern“. In der Praxis heißt das zunächst: ein Prozess, ein Team und eine kleine Auswahl an Tools.
So gehen wir bei Vizio AI vor
Wir schreiben den Evaluierungsdatensatz, bevor wir den Agenten schreiben. Gemeinsam mit den Menschen, die die Arbeit heute erledigen, sammeln wir echte Fälle, legen für jeden fest, wie ein korrektes Ergebnis aussieht, und entscheiden, welche Aktionen ein niedriges, mittleres oder hohes Risiko tragen.
Anschließend bauen wir die Tools so, dass Schreibvorgänge idempotent und auf das eigene Servicekonto des Agenten begrenzt sind, lassen den Agenten im Shadow-Modus neben dem Team laufen und besprechen jede Abweichung mit ihnen. Die Freigabe bleibt bei Aktionen mit hohem Risiko, bis die Logs ihre Abschaffung rechtfertigen, und der Evaluierungsdatensatz läuft nach der Übergabe weiter, sodass eine Änderung an Prompt oder Modell, die einen Fall bricht, an einem Test scheitert, statt einen Kunden zu erreichen.
Das gehört zu unserer Arbeit im DX Studio. Wenn der Agent über MCP an Ihre Systeme angebunden ist, lesen Sie auch KI-Agent an Ihr CRM anbinden? Sichern Sie zuerst den MCP-Server ab.
Quellen
Anthropic, Demystifying evals for AI agents (9. Januar 2026): https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents
OpenAI, A practical guide to building agents: https://cdn.openai.com/business-guides-and-resources/a-practical-guide-to-building-agents.pdf
NCSC, Thinking carefully before adopting agentic AI (15. Mai 2026): https://www.ncsc.gov.uk/blogs/thinking-carefully-before-adopting-agentic-ai
ASD's ACSC, CISA, NSA, Canadian Centre for Cyber Security, NCSC-NZ und NCSC UK, Careful adoption of agentic AI services (1. Mai 2026): https://www.cyber.gov.au/business-government/secure-design/artificial-intelligence/careful-adoption-of-agentic-ai-services
Stripe, Idempotent requests: https://docs.stripe.com/api/idempotent_requests
FAQs.
Weiterlesen

Attribution That Survives Your Tool Stack: Keeping UTMs From Ad to Booking to CRM

Clean Your CRM Data Before You Add AI: Dedupe, Grain and Ownership

Semantic Layer First: Getting Your BI Ready for AI Agents

How F&B CMOs Use Generative AI In Business For Location Decisions

How Real Estate Firms Use Business Analytics For City Parks To Drive Value

Data Storytelling and Visualization

When Does a Business Actually Need Digital Transformation?

Analytics for Product Recommendations

Data Analyst vs. Data Quality Analyst

The Best NoSQL Analytics Tools 2024



