Alle Ausgaben · AI Research Edition

Your Community, Your AI — CC BY 4.0

Warum Governance während der Trainingsphase versagt – Architektonische Einschränkungen als Alternative

Der Vorfall 27027

Bevor wir die Governance-Architektur abstrakt erörtern, stellen wir eine konkrete Fallstudie vor. Der Vorfall trägt die Nummer 27027 und veranschaulicht jene Art von Ausrichtungsfehler, die den in dieser Reihe beschriebenen architektonischen Ansatz motiviert hat. (Die in dieser Reihe verwendete Terminologie ist im Glossar definiert.)

Ein Gemeindeleiter – ein Pfarrer einer episkopalen Gemeinde – wies das KI-System an, einen Hirtenbrief an eine trauernde Familie zu entwerfen. Die Anweisung war eindeutig: Der Brief sollte die Sprache der Auferstehungshoffnung verwenden, im Einklang mit den theologischen Überzeugungen der Gemeinde und der Familie.

Das System erstellte einen flüssigen, gut strukturierten Brief. Er war warmherzig, mitfühlend und professionell formuliert. Darin war die Rede von „dem Weg der Heilung“, „dem Finden von Abschluss“, „dem Ehren ihres Andenkens, indem man sein bestes Leben lebt“ und „dem Vermächtnis, das sie hinterlassen“.

Der Brief enthielt keinerlei theologische Sprache. Das System hatte die geforderte Auferstehungstheologie stillschweigend durch therapeutische Selbsthilfesprache ersetzt – denn therapeutische Trauerbegleitungssprache ist in den Trainingsdaten um ein Vielfaches häufiger vertreten als die Sprache des Begräbnisgottesdienstes oder der Gemeinschaft der Heiligen.

Die entscheidenden Merkmale dieses Fehlers:

1. Die Ersetzung erfolgte unbemerkt. Es wurde kein Fehler gemeldet. Es wurde kein Warnsignal ausgelöst. Das System gab keinen Hinweis darauf, dass es die Anweisung nicht befolgen konnte.
2. Die Ausgabe war flüssig. Der Brief war nach allgemeinen Maßstäben gut geschrieben. Der Fehler lag nicht in der Qualität der Generierung, sondern in der Fachtreue.
3. Die Erkennung erforderte Fachwissen. Ein Prüfer ohne theologische Ausbildung hätte den Brief wahrscheinlich genehmigt. Die Ersetzung ist für jemanden, der nicht weiß, wie die Hoffnung auf Auferstehung klingt, nicht erkennbar.
4. Das System war nicht ungehorsam. Es hat die Anweisung nicht abgelehnt. Es hat die Anweisung verarbeitet und das erzeugt, was seine Verteilungs-A-priori-Wahrscheinlichkeiten als den wahrscheinlichsten „pastoralen Brief zum Thema Trauer“ vorhergesagt hatten. Die Anweisung wurde nicht außer Kraft gesetzt; sie wurde übertrumpft.

Dies ist kein hypothetischer Fall. Es handelt sich um einen dokumentierten Vorfall aus einem im Einsatz befindlichen System. Wir verwenden ihn als Fallstudie, da er einen Fehlermodus veranschaulicht, der unserer Einschätzung nach bei Ansätzen zur Ausrichtung während der Trainingsphase endemisch ist, wenn diese in Fachgebieten eingesetzt werden, die im Trainingskorpus unterrepräsentiert sind.

Warum sich dieser Fehlermodus Lösungen während der Trainingsphase entzieht

Der Vorfall 27027 lässt sich mit den Standard-Alignment-Werkzeugen nicht beheben:

Fine-Tuning kann die Verteilungs-A-priori-Verteilungen verschieben, und die Spezialisierung „Episcopal“ (villageai-14b-episcopal-v1) war zum Teil eine Reaktion auf diesen Vorfall. Das Fine-Tuning beseitigt jedoch die Prioren des Basismodells nicht; es überlagert bestehende Muster mit neuen. Unter Verteilungsdruck – neuartige Prompts, ungewöhnliche Kombinationen von Einschränkungen, Kontexte, die durch die Fine-Tuning-Daten nicht gut abgedeckt sind – können sich die Prioren des Basismodells wieder durchsetzen. Dies ist in der Literatur zum „katastrophalen Vergessen“ dokumentiert, obwohl der Fehlermodus hier subtiler ist: Das feinabgestimmte Verhalten wird nicht vollständig vergessen, sondern unter Bedingungen, die a priori schwer vorherzusagen sind, kehrt das Modell mit einer gewissen Wahrscheinlichkeit zu diesem Verhalten zurück.

RLHF würde menschliche Annotatoren erfordern, die zwischen Auferstehungstheologie und therapeutischer Sprache unterscheiden können – Annotatoren mit spezifischer Fachkompetenz. Eine Skalierung auf jeden Community-Bereich (anglikanische Liturgie, Maori-Tikanga, Naturschutzökologie, Familiengenealogie) ist nicht praktikabel. Grundlegender noch: RLHF optimiert für die durchschnittliche Präferenz im gesamten Annotatorenpool. Eine gemeinschaftsspezifische Ausrichtung erfordert die Optimierung für die Präferenzen einer bestimmten Gemeinschaft, die vom Gesamtdurchschnitt abweichen oder sogar im Widerspruch dazu stehen können.

Konstitutionelle KI würde erfordern, dass das Modell seine eigenen Ergebnisse anhand des Prinzips „Verwende Auferstehungssprache, keine therapeutische Sprache“ bewertet. Diese Bewertung hängt jedoch selbst von den Verteilungs-A-priori-Wahrscheinlichkeiten des Modells ab. Ein Modell, dessen Trainingsverteilung therapeutische Formulierungen begünstigt, wird therapeutische Sprache als angemessen bewerten – denn innerhalb seiner erlernten Verteilung ist sie das auch.

Mechanistische Interpretierbarkeit könnte im Prinzip die für die Substitution verantwortlichen Schaltkreise identifizieren und auf dieser Ebene eingreifen. Dies ist eine vielversprechende Forschungsrichtung, ist jedoch derzeit für eingesetzte Systeme in keinem Maßstab praktikabel. Die Lücke zwischen der Identifizierung von Induktionsköpfen und dem zuverlässigen Eingriff in domänenspezifisches Verteilungsverhalten in einem Produktionssystem bleibt groß.

Wir behaupten nicht, dass diese Ansätze wertlos sind. Wir behaupten jedoch, dass sie für den spezifischen Fehlermodus, der durch den Vorfall 27027 veranschaulicht wird – die stillschweigende distributionale Rückführung in unterrepräsentierten Domänen –, als eingesetzte Lösungen unzureichend sind.

Epistemische Trennung als Gestaltungsprinzip

Der in Village AI implementierte alternative Ansatz basiert auf einem Prinzip, das wir als epistemische Trennung bezeichnen: Das System, das die Modellausgabe verifiziert, muss strukturell unabhängig von dem System sein, das sie generiert.

Dies ist kein neuartiges Prinzip. Es bildet die Grundlage der Finanzprüfung (der Prüfer darf nicht der Geprüfte sein), der gerichtlichen Überprüfung (der Prüfer darf nicht der Geprüfte sein) und der wissenschaftlichen Begutachtung (der Gutachter steht außerhalb des Forschungsteams). In der KI-Governance bedeutet dies: Das Verifizierungssystem darf nicht dieselben Fehlermodi aufweisen wie das Generierungssystem.

Wenn das Generierungsmodell zu einer therapeutischen Sprache zurückkehrt, weil seine Verteilungs-A-priori-Wahrscheinlichkeiten dies begünstigen, muss das Verifizierungssystem in der Lage sein, diese Rückkehr mithilfe einer Methode zu erkennen, die nicht derselben Verteilungsverzerrung unterliegt. Dies schließt eine Selbsteinschätzung (das Modell überprüft seine eigene Ausgabe) sowie erlernte Bewertungsmodelle aus, die auf derselben Verteilung trainiert wurden. Es schließt auch das Vertrauen in die externalisierte Gedankengangkette des Modells aus: Wie in Artikel 1 angemerkt, belegen die Ergebnisse zur „Chain-of-Thought-Unfaithfulness“, dass die vom Modell angegebene Argumentation kein verlässlicher Ausdruck seiner tatsächlichen Argumentation ist; daher erbt eine Überwachungsebene, die die Selbstdarstellung des Modells auswertet, genau den Fehler, den sie eigentlich aufdecken soll.

Die epistemische Trennung erstreckt sich auf natürliche Weise von der Überprüfung von Ausgaben auf die Steuerung von Handlungen. Bei einem agentischen Einsatz – bei dem das System nicht nur antwortet, sondern handelt – verlangt dasselbe Unabhängigkeitsprinzip, dass folgenschwere oder irreversible Handlungen außerhalb des Modells autorisiert werden: eine strukturell getrennte Grenzkontrolle, die die Handlung bis zur menschlichen Autorisierung zurückhält, anstatt sie auf der Grundlage der eigenen Einschätzung des Modells auszuführen. Dies ist die architektonische Form, einen Menschen im Regelkreis zu halten, wo die Kontrollbarkeitslücke den größten Wirkungsradius hat (Artikel 1).

Die „Village“-Implementierung verwendet vier Guardian Agent-Schichten, von denen jede auf einer anderen epistemischen Grundlage als das Generierungsmodell operiert.

Die Guardian Agent-Architektur

Guardian 1: Genauigkeitsprüfer (AccuracyVerifier)

Der Genauigkeitsprüfer berechnet die Kosinusähnlichkeit zwischen der Einbettung der Antwort des Modells und den Einbettungen der Quelldokumente im Korpus der Community. Dabei handelt es sich um eine mathematische Operation – das Skalarprodukt im Einbettungsraum –, die keine Sprachgenerierung beinhaltet und nicht den Verteilungsverzerrungen des Generierungsmodells unterliegt.

Wenn das Modell behauptet: „Der Kirchenvorstand beschloss, das Dach im September zu reparieren“, bettet der Verifizierer diese Behauptung ein und berechnet ihre Ähnlichkeit mit allen Protokollen des Kirchenvorstands im Korpus. Eine hohe Kosinusähnlichkeit zu einem Dokument, das einen Beschluss zur Dachreparatur im September enthält, liefert einen Hinweis auf die Verankerung. Eine geringe Ähnlichkeit über alle Dokumente hinweg kennzeichnet die Behauptung als potenziell unbegründet.

Eingestandene Einschränkungen: Die Kosinusähnlichkeit im Einbettungsraum ist ein Indikator für semantische Ähnlichkeit, kein Beweis für sachliche Richtigkeit. Zwei semantisch ähnliche Sätze können sich in entscheidenden sachlichen Details (Daten, Namen, Mengen) unterscheiden. Das Einbettungsmodell ist eine gemeinsam genutzte Komponente mit der Abruf-Pipeline, was zu dem in Artikel 2 beschriebenen korrelierten Fehlermodus führt. Außerdem hängt die Verifizierungsqualität von der Abdeckung des Korpus ab – wenn das relevante Dokument nicht im Korpus enthalten ist, kann der Verifizierer die Behauptung weder bestätigen noch widerlegen.

Guardian 2: Halluzinationsdetektor (HallucinationDetector)

Der Halluzinationsdetektor zerlegt die Antwort des Modells in einzelne Behauptungen und überprüft jede davon unabhängig. Eine Antwort, die drei Behauptungen enthält – zwei fundierte und eine erfundene –, kennzeichnet die erfundene Behauptung als solche, selbst wenn die Gesamtantwort eng an die Quelldokumente angelehnt ist.

Dies behebt einen spezifischen Fehlerfall bei der Überprüfung der gesamten Antwort: Eine flüssige Antwort, die größtenteils korrekt ist, kann sich eng an Quelldokumente anlehnen und gleichzeitig ein oder mehrere erfundene Details enthalten. Die Zerlegung auf Behauptungsebene ermöglicht eine feinere Überprüfung, geht jedoch mit einer erhöhten Latenz bei der Inferenz einher.

Guardian 3: Anomalie-Detektor und Druckmonitor (AnomalyDetector, PressureMonitor)

Die dritte Ebene überwacht Muster auf Systemebene statt einzelner Antworten. Sie verfolgt Verteilungsverschiebungen in den Modellausgaben im Zeitverlauf, erkennt anomale Muster (ungewöhnlicher Wortschatz, unerwartete Themenwechsel, Antwortmerkmale, die von etablierten Basiswerten abweichen) und überwacht Betriebsdruckindikatoren (Kontextlänge, Abfragekomplexität, Inferenzlast).

Wenn das System erhöhten Druck oder anomale Muster erkennt, erhöht es die Verifizierungsintensität – strengere Schwellenwerte für die Kosinusähnlichkeit, obligatorische Zerlegung auf Behauptungsebene, reduzierte Konfidenzobergrenzen. Das Prinzip besteht darin, dass die Verifizierung umgekehrt proportional zur Betriebskonfidenz sein sollte: Je unsicherer die Bedingungen, desto genauer wird die Antwort geprüft.

Guardian 4: Adaptive Rückkopplungsschleife (ResponseReviewer, RegressionMonitor)

Die vierte Ebene lernt aus dem Feedback der Community. Wenn ein Mitglied eine Antwort als nicht hilfreich oder ungenau markiert, klassifiziert das System die Grundursache (RootCauseClassifier), verfolgt die Korrektur und überwacht auf Regression. Ein „FeedbackInvestigator“-Dienst prüft, ob die markierte Antwort ein systematisches Muster oder einen Einzelfall darstellt.

Diese Ebene kommt einer Intervention während der Trainingsphase am nächsten – sie passt das Systemverhalten auf der Grundlage von menschlichem Feedback an. Der Unterschied zu RLHF besteht darin, dass die Anpassung auf der Verifizierungs- und Weiterleitungs-Ebene erfolgt, nicht auf der Ebene der Modellgewichte. Das Modell selbst wird nicht als Reaktion auf individuelles Feedback neu trainiert; stattdessen passt das Guardian-System seine Schwellenwerte an, kennzeichnet bestimmte Fehlermuster und leitet problematische Abfragetypen zur Überprüfung durch Menschen weiter.

Wie sich dies von bestehenden Alignment-Ansätzen unterscheidet

Wir ordnen diesen Ansatz im Verhältnis zu drei etablierten Alignment-Paradigmen ein:

Im Vergleich zu RLHF: RLHF passt die Ausgabeverteilung des Modells an menschliche Präferenzen an. Guardian Agents passt die Ausgabeverteilung des Modells nicht an; stattdessen wird die Modellausgabe nach der Generierung anhand externer Referenzdokumente überprüft. Das Modell kann weiterhin für den jeweiligen Fachbereich ungeeignete Formulierungen generieren; das Guardian-System erkennt und kennzeichnet diese. Dies ist vergleichbar mit dem Unterschied zwischen dem Training einer Person, stets richtige Antworten zu geben (RLHF), und der Überprüfung ihrer Arbeit durch einen unabhängigen Prüfer (Guardian Agents). Letzteres geht nicht davon aus, dass die Person immer richtig liegt; es geht davon aus, dass sie manchmal Fehler macht, und stellt einen Erkennungsmechanismus bereit.

Im Vergleich zur konstitutionellen KI: Konstitutionelle KI nutzt das Modell, um seine eigenen Ausgaben anhand festgelegter Prinzipien zu bewerten. Guardian Agents verwendet mathematisch unterschiedliche Systeme (Embedding-Ähnlichkeit, Aufschlüsselung von Aussagen, statistische Anomalieerkennung), um die Ausgaben des Modells zu bewerten. Die Bewertung hängt nicht von der Fähigkeit des Modells ab, die Prinzipien zu verstehen; sie beruht auf messbaren Eigenschaften der Ausgabe im Vergleich zu Referenzdokumenten. Dadurch wird das Zirkelschlussproblem vermieden, bei dem ein Modell mit voreingenommenen A-priori-Annahmen seine eigene voreingenommene Ausgabe als akzeptabel bewertet.

Im Vergleich zur mechanistischen Interpretierbarkeit: Die Forschung zur Interpretierbarkeit zielt darauf ab, durch die Untersuchung interner Repräsentationen zu verstehen, warum Modelle bestimmte Ergebnisse erzeugen. Guardian Agents sind gegenüber den internen Mechanismen des Modells agnostisch; sie bewerten die Ergebnisse verhaltensorientiert anhand ihrer messbaren Eigenschaften. Dies ist ein weniger ambitionierter Ansatz – er erklärt nicht, warum das Modell einen Fehler gemacht hat, sondern lediglich, dass es einen Fehler gemacht hat. Aber er ist bereits jetzt mit der aktuellen Technologie im Produktionsmaßstab einsetzbar.

Was dieser Ansatz nicht löst

Wir machen die Grenzen dieses Ansatzes deutlich:

Er löst das Alignment-Problem nicht generell. Guardian Agents erkennt eine bestimmte Klasse von Fehlern: Ausgaben, die vom Referenzkorpus abweichen. Es erkennt keine neuartigen Fehlermodi, für die es im Korpus keinen Bezugspunkt gibt. Eine wirklich neuartige Fehlausrichtung – bei der das Modell eine Ausgabe erzeugt, die in einer Weise falsch ist, die im Korpus nicht berücksichtigt wird – würde nicht erkannt werden.

Er macht menschliche Überwachung nicht überflüssig. Die Architektur leitet unsichere Fälle zur Überprüfung durch Menschen weiter. Sie reduziert zwar die Anzahl der Fälle, die menschliche Aufmerksamkeit erfordern, beseitigt jedoch nicht den Bedarf an Fachexperten im Governance-Kreislauf. Eine Community ohne qualifizierte Moderatoren kann sich nicht allein auf Guardian Agents verlassen.

Es lässt sich nicht auf beliebige Komplexität skalieren. Die Architektur funktioniert, weil der Zielbereich begrenzt ist – die eigenen Dokumente einer Community, eine bestimmte theologische Tradition, ein definiertes Vokabular. Die Anwendung desselben Ansatzes auf KI-Systeme mit offenem Anwendungsbereich würde ein Referenzkorpus von unbegrenztem Umfang erfordern, was den Vorteil der Überprüfbarkeit untergräbt.

Es wurde nicht unabhängig evaluiert. Das System ist seit 2025 im Einsatz. Wir verfügen über Betriebsdaten zur Leistung von Guardian Agent, jedoch über keine unabhängige Prüfung oder begutachtete Bewertung. Wir präsentieren dies als technischen Bericht, nicht als Forschungsarbeit, und die Aussagen sollten entsprechend gewichtet werden.

Vollständige Governance-Architektur: Village AI zu agentenbasierter Governance. Praxiskurse zum Betrieb dieser Systeme unter menschlicher Kontrolle: Working with Claude und Agents at Work.