Zum Inhalt springen

Glossar

KI & Machine Learning

KI-Governance

KI-Governance ist das Rahmenwerk aus Richtlinien, Rollen, Kontrollen und Prüfprozessen, mit dem eine Organisation entscheidet, welche KI-Systeme sie entwickelt oder einkauft, wie diese überwacht werden und wer verantwortlich ist, wenn sie versagen.

Aktualisiert am · Vom VIZIO AI Team

Was ist KI-Governance?

Governance beantwortet für jedes KI-System drei Fragen: Wer hat es genehmigt, woher wissen wir, dass es funktioniert, und wer handelt, wenn es das nicht tut? In der Praxis bedeutet das ein Verzeichnis der KI-Systeme, eine Risikoklassifizierung, dokumentierte Tests, Überwachung im Betrieb und einen Incident-Prozess.

Drei externe Bezugspunkte prägen die meisten Programme. Das NIST AI Risk Management Framework (AI RMF 1.0, veröffentlicht im Januar 2023) gliedert die Arbeit in vier Funktionen: Govern, Map, Measure und Manage.

ISO/IEC 42001:2023 spezifiziert ein zertifizierbares KI-Managementsystem. Der EU AI Act, seit August 2024 in Kraft, ordnet Systeme den Kategorien verboten, hohes Risiko, Transparenzpflichten und minimales Risiko zu, wobei die Pflichten schrittweise über mehrere Jahre greifen.

Was umfasst ein KI-Governance-Programm?

Ein praxistaugliches Programm passt auf wenige Seiten und wird über bestehende Freigabeschritte durchgesetzt, nicht über ein neues Gremium für jeden Chatbot.

  • KI-Register: jedes Modell, jedes Anbieter-Tool und jeder Anwendungsfall, jeweils mit einem Verantwortlichen.

  • Risikostufen: zum Beispiel niedrig (interne Entwürfe), mittel (kundenseitige Inhalte) und hoch (Kredit-, Einstellungs- oder medizinische Entscheidungen).

  • Nutzungsrichtlinie: welche Daten in welche Tools gelangen dürfen.

  • Tests vor dem Release: aufgabenspezifische Evals mit Bestehensschwellen.

  • Menschliche Aufsicht: wo eine Person die Ausgabe prüfen muss, nach dem Human-in-the-Loop-Prinzip.

  • Überwachung: Fehlerraten, Drift, Halluzinationen und Nutzerbeschwerden.

  • Anbieterprüfung: Datenaufbewahrung und ob Eingaben für das Training verwendet werden.

Wie sieht KI-Governance in der Praxis aus?

Gute Governance macht ein nützliches KI-Tool sicher einsatzfähig, statt es zu blockieren. Stellen Sie sich einen Versicherungsmakler mit 80 Mitarbeitenden vor, der einen LLM-Assistenten einführt, der Kunden-E-Mails entwirft und Policendokumente zusammenfasst.

  1. Der COO trägt sich als Verantwortlicher ein und stuft das Tool als mittleres Risiko ein, da die Ausgaben Kunden erreichen.

  2. Das Team wählt einen Enterprise-Tarif, dessen Bedingungen das Training mit Kundeneingaben ausschließen.

  3. Die Nutzungsrichtlinie verbietet das Einfügen vollständiger Ausweis- oder Kontonummern.

  4. Vor dem Launch bilden beispielsweise 50 echte Policenfragen mit bekannten Antworten einen Eval-Datensatz; der Assistent muss mindestens 45 davon korrekt beantworten.

  5. Makler müssen jeden Entwurf vor dem Versand prüfen, Prompts werden protokolliert, und der Verantwortliche wertet Fehler quartalsweise aus.

Die gesamte Einrichtung dauert Tage, nicht Monate, und gibt dem Unternehmen eine klare Antwort, wenn ein Kunde oder eine Aufsichtsbehörde fragt, wie das Tool kontrolliert wird.

Welche Zielkonflikte bringt KI-Governance mit sich?

Zu schwerfällige Governance treibt Mitarbeitende zu nicht genehmigten Tools, während Governance, die nur auf dem Papier existiert, falsche Sicherheit vermittelt. Ein generelles KI-Verbot führt oft zu „Schatten-KI“: Mitarbeitende nutzen private Konten ohne Protokollierung und ohne Datenschutzbedingungen.

  • Aufwand am Risiko ausrichten: Ein internes Brainstorming-Tool braucht nicht die Prüfung, die ein Modell für Kreditentscheidungen benötigt.

  • An realen Aufgaben testen: Generische Benchmarks sagen wenig über Ihren Anwendungsfall aus.

  • Namentlich Verantwortliche benennen: In Gremien ohne Verantwortliche fallen Vorfälle zwischen die Teams.

  • Nach Änderungen erneut prüfen: Ein Modell-Update eines Anbieters kann das Verhalten über Nacht verändern.

Beginnen Sie schlank und verschärfen Sie die Anforderungen, je näher Anwendungsfälle an Kunden oder regulierte Entscheidungen rücken. Ein einseitiges Register, das monatlich geprüft wird, bringt mehr als eine 40-seitige Richtlinie, die niemand gelesen hat.

Wie unterscheidet sich KI-Governance von Data Governance und KI-Guardrails?

Data Governance steuert die Daten, KI-Governance die darauf aufbauenden Systeme und Entscheidungen, und Guardrails sind Laufzeitkontrollen innerhalb einer Anwendung. Data Governance umfasst Verantwortlichkeit, Qualität und Zugriff für Datensätze.

KI-Governance ergänzt Modellrisiko, Tests, Aufsicht und Rechenschaftspflicht. KI-Guardrails sind technische Prüfungen wie Eingabefilter, Ausgabevalidierung und Themenbeschränkungen.

Tools decken alle drei Ebenen ab: Credo AI und IBM watsonx.governance für Register und Risiko-Workflows, MLflow für die Modellversionierung, Langfuse oder LangSmith für das Tracing von LLM-Aufrufen sowie Azure AI Content Safety oder Guardrails AI für Laufzeitprüfungen.

KI-Governance vs. Data Governance

KI-Governance

Data Governance

Steuert

Modelle, KI-Tools und automatisierte Entscheidungen

Datensätze, Definitionen und Zugriff

Zentrale Risiken

Bias, Halluzination, unsichere Automatisierung

Mangelhafte Qualität, Datenlecks, inkonsistente Metriken

Zentrale Artefakte

KI-Register, Risikostufen, Eval-Ergebnisse

Datenkatalog, Verantwortlichkeiten, Qualitätsregeln

Referenz-Frameworks

NIST AI RMF, ISO/IEC 42001, EU AI Act

DAMA-DMBOK, DSGVO, interne Richtlinien

Typische Verantwortung

Funktionsübergreifende KI-Leitung oder ein Gremium

Chief Data Officer, Data Stewards

Wie geht VIZIO AI an KI-Governance heran?

Die Fallstudien von VIZIO AI zeigen Governance, die in das Systemdesign eingebaut ist – etwa durch die Beschränkung der KI auf geprüfte Quellen und die Validierung maschineller Ausgaben –, statt eigenständiger Richtlinienprogramme. Für ein auf Südostasien fokussiertes Technologieberatungsunternehmen baute unser DX Studio einen Finanz-Chatbot, der über eine Vektordatenbank aus geprüften Finanzquellen antwortet, den Aufwand für Finanzrecherchen um 65 % reduzierte und die Entscheidungsgenauigkeit um 35 % verbesserte.

Für eine britische Cybersecurity-Forschungsorganisation kombinierte unser Growth Studio regelbasierte Logik mit Machine-Learning-Heuristiken, um Vorfälle als bestätigt (Confirmed) oder unbestätigt (Unconfirmed) zu klassifizieren, und senkte den manuellen Triage-Aufwand um 70 %. Wo Sie anfangen sollten: Listen Sie jedes KI-Tool auf, das Ihre Mitarbeitenden bereits nutzen, und weisen Sie jedem einen Verantwortlichen und eine Risikostufe zu.

Facebook-Logo
X-Logo
LinkedIn-Logo
Reddit-Logo
Telegram-Logo

AI-first denken.
Zukunftsschnell handeln.

Lassen Sie uns bauen, was als Nächstes kommt! Von Produktideen und intelligenten Workflows bis zu datengetriebenen Systemen und skalierbaren Growth Operations.

Strategiegespräch buchen