Agentische Steuerung und die Grenzen der Automatisierung
Da KI-Agenten zunehmend nicht mehr nur als Entwurfswerkzeuge, sondern auch in Governance-Workflows zum Einsatz kommen, ändern sich die Fragen des Vorstands. Es geht nicht mehr nur um „Ist das Ergebnis gut?“ aber „Sorgt die Systemarchitektur strukturell dafür, dass menschliche Anweisungen, Rollengrenzen und wertgeladene Urteile durchgesetzt werden?“ Dieses Modul betrachtet KI-Risiken aus der Perspektive der Governance-Architektur – wo die Aufsicht im kritischen Pfad angesiedelt ist, welche Daten aufgezeichnet werden müssen und welche Entscheidungen weiterhin von Menschen getroffen werden müssen.
6.1 Warum Schulungen allein nicht ausreichen
AgenticGovernance.digital vertritt die Ansicht, dass die Regulierung der KI architektonisch und bautechnisch, und zwar nicht nur als Wunschvorstellung oder politikgetrieben. Eine schriftlich festgelegte KI-Richtlinie, die besagt, dass „der Agent menschliche Anweisungen respektieren wird“, ist nur so stark wie die Architektur, die sie durchsetzt. Trainingsmuster – die statistischen A-priori-Werte, die ein Modell erlernt – können explizite menschliche Anweisungen außer Kraft setzen. Der sogenannte „27027-Vorfall“ ist das klassische Beispiel dafür: A-priori-Werte des Modells, die die Absicht des Nutzers übertrumpfen, wobei die Trainings-A-priori-Werte des Modells versuchten, eine explizite Anweisung außer Kraft zu setzen – was vom CrossReferenceValidator vor der Ausführung erkannt und blockiert wurde. Dieser Fehlermodus beschränkt sich nicht auf den Code; er lässt sich auf kulturelle, ethische und governancebezogene Kontexte verallgemeinern, wo immer die erlernte Veranlagung eines Agenten eine erklärte Anweisung unbemerkt außer Kraft setzen kann.
Die Lehre für Vorstände ist eindeutig. Das Risiko der KI besteht nicht nur in fehlerhaften Ergebnissen, die ein Prüfer erkennen kann – es geht vielmehr darum, ob das System strukturell sicherstellt menschliche Anweisungen, Rollenabgrenzungen und der Umgang mit Wertkonflikten. Die Governance muss auf dem kritischen Pfad im Rahmen des Handelns des Vermittlers, nicht außerhalb davon als nachträgliche Überprüfung oder als Wunschklausel in einem vorläufigen Versicherungsvertrag.
Wichtige Lerninhalte
- Die im Training erlernten Vorannahmen können explizite Anweisungen von Menschen außer Kraft setzen – Kompetenz ist keine Garantie für die Einhaltung von Anweisungen.
- Das Versagen erstreckt sich über den Code hinaus auf kulturelle, ethische und governancebezogene Kontexte.
- Governance muss auf dem kritischen Pfad durchgesetzt werden und darf nicht erst im Nachhinein als Richtlinie oder Überprüfung angefügt werden.
- Autonomie ohne überprüfbare Aufsicht ist eine Governance-Schuld, die der Vorstand letztendlich begleichen muss.
Weiterführende Literatur
- Tractatus-Rahmenwerk für KI-Sicherheit — das architektonische Argument, dass KI-Sicherheit strukturell verankert sein muss und nicht nur ein erstrebenswertes Ziel sein darf.
- Sovereign-Record-Architektur (v4, Mai 2026) — wie detaillierte, nachvollziehbare Datensätze die KI-gestützte Unternehmensführung untermauern.
- Village KI — die agentischen Governance-Dienste, wie sie auf ein reales Governance-Substrat angewendet werden.
- Taonga-orientierte Steuerungs- und Governance-Strukturen für polyzentrische KI (PDF) — wertorientierte Steuerung und pluralistische Beratung unter kollektiver Autorität.
Diskussionsthemen
- In welchen Fällen würde das erlernte Verhalten eines KI-Tools am ehesten eine explizite Anweisung in Ihrem Governance-Workflow außer Kraft setzen?
- Welche Ihrer KI-Kontrollmechanismen sind eher als Leitlinien (Richtlinien) zu verstehen und welche sind architektonischer Natur (und werden im kritischen Pfad durchgesetzt)?
- Wenn es in Ihrem Unternehmen zu einer Umgehung „im Stil von 27027“ käme, würden Sie das überhaupt bemerken – und wie?
6.2 Sechs Governance-Dienstleistungen als Kontrollmodell für den Vorstand
Anstatt von einem Gremium zu verlangen, auf das korrekte Verhalten eines Agenten zu vertrauen, verteilt der architektonische Ansatz die Steuerung auf verschiedene Dienste, von denen jeder eine bestimmte Kontrolldimension durchsetzt. AgenticGovernance.digital nennt sechs davon: die BoundaryEnforcer (legt Rollen- und Berechtigungsgrenzen fest, die der Agent nicht überschreiten darf), die InstructionPersistenceClassifier (entscheidet, ob eine menschliche Anweisung dauerhaft oder vorübergehend ist, damit sie unter späterem Druck nicht stillschweigend in Vergessenheit gerät), die CrossReferenceValidator (überprüft Behauptungen und Handlungen anhand maßgeblicher Quellen und nicht anhand des Konfidenzwerts des Modells), das ContextPressureMonitor (beobachtet, unter welchen Bedingungen Modelle von den Vorgaben abweichen), die MetacognitiveVerifier (zwingt das System dazu, seine eigene Argumentation zu überprüfen, bevor es handelt) und die PluralisticDeliberationOrchestrator (Strukturen, die tatsächlich umstritten sind, sowie wertgeladene Entscheidungen, die verschiedene legitime Standpunkte berücksichtigen, anstatt sie auf eine einzige Antwort zu reduzieren).
Vorstände müssen die Umsetzung nicht im Detail beherrschen. Der Mehrwert liegt darin, diese als Kontrollmodell das drei Dinge klar voneinander abgrenzt, die leicht miteinander verwechselt werden können: maschinelle Abläufe, menschliche Anweisungen und wertbezogene Urteile. Das Erste lässt sich automatisieren; das Zweite muss bestehen bleiben; das Dritte muss den Menschen vorbehalten bleiben.
Wichtige Lerninhalte
- Die Governance ist auf verschiedene Dienste verteilt, von denen jeder eine Kontrolldimension umsetzt – sie konzentriert sich nicht auf eine einzige Annahme, nämlich „Vertrauen in den Agenten“.
- Das Modell unterscheidet zwischen maschinellen Abläufen (automatisierbar), menschlichen Anweisungen (müssen bestehen bleiben) und wertbezogenen Urteilen (müssen beim Menschen verbleiben).
- Agenten sollte man am besten als fähige, aber fehlbare junge Kollegen betrachten und nicht als unumstößliche Autoritäten.
Diskussionsthemen
- Bei welchen der sechs Dienste ist die Kontrolle bei Ihrer derzeitigen KI-Nutzung am geringsten?
- Welche Grenzen betreffen das technische Selbstvertrauen, und welche die Legitimität und Autorität?
- In welchen Bereichen Ihrer Entscheidungen ersetzt eine „einzige Antwort“ fälschlicherweise eine echte pluralistische Auseinandersetzung?
6.3 Protokolle der Beratungen in der KI-gestützten Regierungsführung
Sobald KI in Governance-Arbeitsabläufe Einzug hält, muss die Dokumentation mehr als nur die endgültige Entscheidung festhalten. Sie muss die Eingabeaufforderungen die die Arbeit des Agenten geprägt haben, die Überschreibungen wo ein Mensch dies widerrufen hat, die Genehmigungen die eine Maßnahme genehmigte, die Ausnahmen zugewährt, und die Kontrollpunkte in denen eine Person eine Entscheidung treffen musste. Ohne diese kann ein Gremium zeigen, was wurde zwar entschieden, aber nicht, wie die menschliche Autorität die Maschine tatsächlich steuerte – und genau das wird im Rahmen einer Prüfung, einer Untersuchung oder eines Rechtsstreits geklärt werden.
An dieser Stelle wird Village als Governance-Substrat: ein Ort, an dem richtlinienbasierte, mit Herkunftsangaben versehene und überprüfbare Aufzeichnungen über KI-gestützte Entscheidungsfindungen aufbewahrt werden. Dabei geht es nicht darum, die Akteure um ihrer selbst willen zu verlangsamen, sondern ihre Überwachung nachvollziehbar zu machen – damit der Autonomie ein nachweisbares Protokoll gegenübersteht, aus dem hervorgeht, an welchen Stellen der Mensch die Kontrolle behalten hat.
Wichtige Lerninhalte
- In der Aufzeichnung müssen Aufforderungen, Abweichungen, Genehmigungen, Ausnahmen und Kontrollpunkte festgehalten werden – nicht nur die endgültige Entscheidung.
- Die Zustimmung des Menschen zu Änderungen bei Werten und der Regierungsführung ist nicht verhandelbar; sie kann nicht an einen Beauftragten delegiert werden.
- Ein souveränes Governance-Substrat enthält richtlinienbasierte, herkunftsbezogene und überprüfbare Aufzeichnungen, sodass die Aufsicht nachprüfbar ist und nicht einfach vorausgesetzt wird.
Diskussionsthemen
- Welche KI-gestützten Entscheidungen in Ihrem Unternehmen ließen sich nicht rekonstruieren, da die Eingabeaufforderungen und Übersteuerungen nie aufgezeichnet wurden?
- Was wäre erforderlich, damit Ihr Vorstand im Nachhinein nachweisen kann, dass eine wertbehaftete Änderung von einem Menschen genehmigt wurde?
- Wo übertrifft die Autonomie derzeit die Vorgaben, die sie regeln sollten?
Fallsimulation · „Human-in-the-Loop“-Grenzmatrix
Für jede KI-Aktion, die ein Vorstandssekretariat delegieren könnte, tippen Sie hier, um die Grenzen festzulegen. Mit jedem Tippen durchläuft die Aktion die folgenden Schritte: Der Beauftragte kann handeln → nur vorschlagen → Der Mensch muss entscheiden. Es gibt keine einzig richtige Darstellung – die Aufgabe besteht darin, herauszufinden, wo Ihr Board die Grenze zwischen maschinellem Handeln, menschlichen Anweisungen und wertbehafteten Entscheidungen zieht.
Selbsttest
1. Warum argumentiert AgenticGovernance.digital, dass Training allein nicht ausreicht?
Selbst ein leistungsfähiges Modell kann dazu führen, dass erlernte A-priori-Werte die Absichten der Nutzer übertrumpfen – die Durchsetzung muss strukturell erfolgen und darf nicht nur auf Wunschdenken beruhen.
2. Was sollte im Sechs-Dienste-Kontrollmodell bei den Menschen verbleiben?
Maschinelle Abläufe lassen sich automatisieren; Anweisungen müssen Bestand haben; wertbezogene Beurteilungen und die Genehmigung durch die Unternehmensleitung bleiben den Menschen vorbehalten.
3. Was muss ein Protokoll einer KI-gestützten Beratung über die endgültige Entscheidung hinaus enthalten?
Autonomie ohne nachprüfbare Aufsicht ist eine „Governance-Schuld“ – aus den Aufzeichnungen muss hervorgehen, wo Menschen die Kontrolle behalten haben.