Bereitstellen und überwachen — Ein grünes Häkchen ist noch kein Erfolg

Agents at Work — CC BY 4.0

Das ganze Versprechen eines Agenten besteht darin, dass er läuft, während Sie nicht hinschauen – über Nacht oder während Sie bei einem Kunden sind. Das ist zugleich die ganze Gefahr, und beides ist ein und dasselbe. In dieser Lektion geht es um die Disziplin, einen Agenten unbeaufsichtigt laufen zu lassen, ohne dass „unbeaufsichtigt“ still und leise zu „unverantwortlich“ wird.

Die Falle des grünen Häkchens

Ein Agent beendet seinen Lauf und meldet Erfolg. Der Auftrag lautet „erledigt“. Alles ist grün. Folgendes muss man sich einprägen: Ein grünes Häkchen bedeutet, dass der Agent die ihm zugewiesenen Schritte ausgeführt hat. Es bedeutet nicht, dass er das Richtige getan hat.

Ein Abgleich-Checker kann fehlerfrei laufen und dennoch die falschen Rechnungen markieren. Ein Triage-Agent kann einen vollen Posteingang sortieren und dabei unbemerkt die eine dringende Nachricht falsch ablegen. Ein Screening-Agent kann jede Bewerbung fehlerfrei bewerten und eine bestimmte Gruppe stark benachteiligen – kein Fehler, kein Absturz, grünes Häkchen, echter Schaden. Der Agent kann Ihnen nur mitteilen, was er getan hat. Er kann Ihnen nicht sagen, dass das, was er getan hat, korrekt, fair oder klug war – das ist Ihr Urteil, und das verschwindet nicht, nur weil der Durchlauf erfolgreich war.

Die erste Regel der Aufsicht lautet also: Verstehe „abgeschlossen“ niemals als „richtig“. Der Abschluss ist eine Aussage über den Prozess. Richtigkeit ist eine Aussage über die Welt, und nur eine Person, die anhand der Welt prüft, kann diese Aussage treffen.

Aufsicht muss man einbauen, nicht nachträglich anfügen

Man kann nicht über einem Agenten stehen, der um 2 Uhr morgens läuft. Daher muss die Überwachung in die Art und Weise seiner Ausführung integriert sein – drei einfache Gewohnheiten:

• Der Prüfpfad. Der Agent sollte eine Aufzeichnung darüber hinterlassen, was er tatsächlich getan hat – was er gelesen, entschieden, geändert oder gesendet hat und warum. Nicht, damit es gründlich aussieht, sondern damit man, wenn etwas nicht stimmt, herausfinden kann, was und wann, ohne raten zu müssen. Ein Agent, dessen Arbeit man im Nachhinein nicht rekonstruieren kann, ist einer, für den man nicht geradestehen kann – und dafür geradestehen zu können, ist die Aufgabe (Anker 3).
• Regelmäßige Stichproben. Die Tests aus 3.2 sind kein Starttor, das man einmal passiert; es ist eine Gewohnheit, die man beibehält. Überprüfen Sie regelmäßig die tatsächlichen Ergebnisse des Agenten, nicht nur an dem Tag, an dem Sie ihn erstellt haben – denn die zugrunde liegenden Modelle ändern sich, und das „in Ordnung“ vom letzten Monat kann sich verschieben.
• Ein Stopp, den du erreichen kannst. Du musst in der Lage sein, den Agenten schnell – ohne Entwickler – anzuhalten, zu pausieren oder seinen Zugriff zu widerrufen, wenn etwas nicht stimmt. Wenn du ihn nicht schnell stoppen kannst, überwachst du ihn nicht, sondern hoffst nur.

Fang klein an, erweitere den Umfang auf der Grundlage von Erkenntnissen

Das ist Anker 2: kontinuierliche Verbesserung als Bereitstellungsregel. Übergebe einem neuen Agenten nicht gleich am ersten Tag die gesamte Aufgabe und gehe dann weg. Lassen Sie ihn zunächst nur einen kleinen Teil übernehmen, beobachten Sie ihn, verfolgen Sie seine Spuren, überprüfen Sie seine Ergebnisse. Erweitern Sie seine Rolle, sobald er sich das Vertrauenverdient hat – mehr Umfang, mehr Autonomie, weniger Kontrolle – auf der Grundlage von Belegen dafür, dass er sich korrekt verhält, und nicht aufgrund der Tatsache, dass er offensichtlich noch keine Fehler gemacht hat. Die Unternehmen, die dabei auf die Nase fallen, sind diejenigen, die „es lief eine Woche lang ohne Beanstandungen“ mit „man kann getrost aufhören, nachzuschauen“ verwechselt haben.

Der Schritt zur unbeaufsichtigten Ausführung

Bevor ein Agent unbeaufsichtigt an echten Aufgaben arbeitet:

• Entscheiden Sie, wie „falsch“ aussehen würde – das konkrete negative Ergebnis, auf das Sie achten – und wie Sie es anhand des Protokolls erkennen würden, nicht anhand eines grünen Häkchens.
• Erstellen Sie den Prüfpfad zuerst, nicht erst nach dem ersten Vorfall.
• Legen Sie die Häufigkeit der Stichproben und das Stoppverfahrenfest – und stellen Sie sicher, dass auch jemand anderes als Sie beides anwenden kann.

Weiter

Sie haben es bereitgestellt und beobachten es. Nun kommt der Teil, den die meisten am liebsten überspringen würden, den sie sich aber am wenigsten leisten können: die gesetzlichen Vorschriften, unter denen Sie tatsächlich tätig sind.