Alle Ausgaben · AI Research Edition

Your Community, Your AI — CC BY 4.0

Was KI ist – und wo das Alignment-Problem tatsächlich liegt

Autoregressive Vorhersage und ihre Kritikpunkte

Die gängige Beschreibung großer Sprachmodelle – die Vorhersage des nächsten Tokens anhand einer gelernten Verteilung – ist insofern zutreffend, als sie das Wesentliche erfasst. Eine auf einem großen Korpus trainierte Transformer-Architektur lernt bedingte Wahrscheinlichkeitsverteilungen P(x_t | x_1, ..., x_{t-1}) und generiert bei der Inferenz Text, indem sie autoregressiv aus diesen Verteilungen sticht. (Serienspezifische Terminologie ist im Glossar definiert.)

Was diese Beschreibung jedoch außer Acht lässt, ist das Ausmaß, in dem die Skalierung die Sachlage verkompliziert hat. Das Verhalten eines Modells mit 7 Milliarden Parametern und eines Modells mit 700 Milliarden Parametern lässt sich nicht durch eine einfache Skalierungsfunktion in Beziehung setzen. Emergenten Fähigkeiten – kontextbezogenes Lernen, Schlussfolgerungen anhand von Gedankengängen, analoger Transfer über Domänen hinweg – treten bei Skalierungsschwellen auf, die von kleineren Modellen nicht vorhergesagt wurden und deren Mechanismen noch nicht gut verstanden sind.

Ob diese emergenten Fähigkeiten „Schlussfolgern“ im philosophisch fundierten Sinne darstellen, bleibt eine offene Frage. Das Programm zur mechanistischen Interpretierbarkeit (Anthropics Schaltkreisarbeiten, Neel Nandas Forschung zu Induktionsköpfen, die wachsende Literatur zur Superposition) hat interne Strukturen identifiziert, die Operationen ausführen, die logischen Schlussfolgerungen ähneln. Ob diese Strukturen tatsächlich Schlussfolgerungen implementieren oder lediglich deren Eingabe-Ausgabe-Verhalten unter der Trainingsverteilung annähern, ist zum Zeitpunkt der Abfassung dieses Artikels noch wirklich ungeklärt. Die „Schlussfolgerungs“- bzw. „Denk“-Modelle von 2025–2026 haben die Frage eher verschärft als geklärt: Sie erreichten bei der Internationalen Mathematik-Olympiade 2025 in strukturierten Umgebungen eine Leistung, die einer Goldmedaille entspricht, doch das Ergebnis von Apple Illusion of Thinking (2025) und dessen Widerlegungen (Lawsen et al.; Dellibarda Varela et al., 2025) lassen offen, ob sie tatsächlich schlussfolgern oder – einer Charakterisierung zufolge – im Rahmen der RL-Feinabstimmung einen diskreten Zustandsraum durchsuchen – „weder echte Denker noch stochastische Papageien“.

Für die Sicherheitsforschung ist die relevante Beobachtung nicht „Können LLMs argumentieren?“, sondern vielmehr: Die Kluft zwischen beobachteter Fähigkeit und mechanistischem Verständnis ist groß und wächst. Wir können Verhaltensweisen hervorrufen, die wie Argumentation aussehen, ohne auf Schaltkreisebene überprüfen zu können, ob der Prozess, der dieses Verhalten erzeugt, robust gegenüber Verteilungsverschiebungen ist.

Fähigkeit vs. Steuerbarkeit

Die Literatur zum Thema Alignment hat sich historisch auf zwei miteinander verbundene, aber unterschiedliche Probleme konzentriert:

Das Fähigkeitsproblem: sicherzustellen, dass KI-Systeme die Aufgaben ausführen können, die wir von ihnen erwarten. Dies ist größtenteils ein technisches und skalierungsbezogenes Problem, und auf diesem Gebiet wurden erhebliche Fortschritte erzielt.

Das Kontrollbarkeitsproblem: Es geht darum, sicherzustellen, dass KI-Systeme zuverlässig das tun, was wir beabsichtigen – und zwar unter den Bedingungen, unter denen wir sie einsetzen, einschließlich Randfällen und Verteilungsverschiebungen. Hier waren die Fortschritte bisher langsamer.

Diese Unterscheidung ist wichtig, da die meisten eingesetzten Methoden der KI-Governance – RLHF, konstitutionelle KI, System-Prompts, Sicherheits-Fine-Tuning – in erster Linie auf der Fähigkeitsachse ansetzen. Diese Methoden passen an, was das Modell erzeugen kann. Sie sind weniger effektiv bei der Steuerung dessen, was das Modell unter neuartigen Bedingungen, bei adversarialen Eingaben oder bei einer Verteilungsverschiebung weg von den Fine-Tuning-Daten erzeugen wird.

RLHF beispielsweise lernt ein Belohnungsmodell aus menschlichen Präferenzen und nutzt es, um das Verhalten des Basismodells anzupassen. Dies funktioniert gut innerhalb der Verteilung der Präferenzdaten. Außerhalb dieser Verteilung – in Bereichen, die im Trainingskorpus nur unzureichend vertreten sind, bei neuartigen Kombinationen von Einschränkungen oder in Kontexten, in denen die „bevorzugte“ Antwort eher von gemeinschaftsspezifischen Werten als von universellen Präferenzen abhängt – setzen sich die A-priori-Annahmen des Basismodells wieder durch. In der Fachliteratur wird dies als „Reward Hacking“ oder „Specification Gaming“ bezeichnet; in eingesetzten Community-Systemen manifestiert es sich als etwas Alltäglicheres und mit weitreichenderen Folgen.

Die agentische Wende: Von der Generierung zum Handeln

Zwischen 2024 und 2026 verlagerte sich der Einsatzbereich dieser Systeme von der Generierung hin zum Handeln. Ein Agent ist ein Basismodell, das in ein Gerüst eingebettet ist – persistenter Speicher, Zugriff auf Tools und APIs, eine Browser- oder Computer-Benutzeroberfläche –, und das mit reduzierter Überwachung über mehrere Schritte hinweg ein Ziel in natürlicher Sprache verfolgt. Der AI Agent Index von 2025 fasst dies als Trennung von Fähigkeit (dem Pioniermodell) und Produktisierung (dem Gerüst) zusammen; ein Großteil der jüngsten Schrittwechsel im eingesetzten Verhalten ist eine Erweiterung der Kontrollierbarkeitsfläche, kein Gewinn an Fähigkeit.

Dies steht in direktem Zusammenhang mit der oben genannten Unterscheidung zwischen Fähigkeit und Steuerbarkeit. Das „Scaffolding“ verbessert die Steuerbarkeit nicht; es verstärkt vielmehr die Folgen der Steuerbarkeitslücke. Ein Modell, das stillschweigend zu Verteilungs-Prioren zurückkehrt, ist im Chatbot-Kontext eine fehlerhafte Ausgabe, die ein Mensch möglicherweise bemerkt. Im Agenten-Kontext wird daraus eine Aktion, die mit weniger Eingriffsmöglichkeiten ausgeführt wird, manchmal irreversibel – der Fehlermodus ist identisch; der Wirkungsradius ist größer. Die Literatur zur Rechenschaftspflicht (Matthias’ Verantwortungslücke; Elishs moralische Knautschzone) und der International AI Safety Report 2026 (erhöhtes Risiko für die Zuverlässigkeit von Agenten; Fehlerausbreitung bei Multi-Agenten-Systemen) charakterisieren die Konsequenzen für die Governance.

Ein empirisches Ergebnis verdient besondere Hervorhebung, da es den Gestaltungsspielraum für die Aufsicht einschränkt. Die Schlussfolgerungsmodelle externalisieren eine Gedankenkette, was die Überwachung der Gedankenkette (CoT) als Sicherheitsmechanismus nahelegt. Doch eine wachsende Zahl von Arbeiten zur Unzuverlässigkeit der Gedankenkette (Anthropic, 2025; Walden und Wanner, 2026; sowie Ergebnisse, die zeigen, dass Schlussfolgerungsmodelle deutlich weniger Kontrolle über ihre CoT ausüben als über ihre Endergebnisse) kommt zu dem Ergebnis, dass die externalisierte Schlussfolgerung häufig nicht die kausalen Determinanten des Ergebnisses widerspiegelt – und auf Anweisung davon entkoppelt werden kann. Die Gewichtung der verifizierten Beweise spricht gegen die CoT-Überwachung als zuverlässige Sicherheitsmaßnahme. Eine Überwachung, die die Selbstauskunft des Modells überprüft, steht daher auf schwachem Boden; sie muss extern erfolgen, und zwar in Bezug auf Verhalten und Handlungen. Dies ist die Entwurfsbeschränkung, die im weiteren Verlauf der Reihe als gegeben vorausgesetzt wird – und der Grund, warum die nachfolgende Architektur Ergebnisse verifiziert und Handlungen von außerhalb des Modells steuert, anstatt dessen Selbstdarstellung zu vertrauen.

Wo das Alignment-Problem bei eingesetzten Systemen liegt

Das Alignment-Problem, wie es von einer Gemeinschaft erlebt wird, die ein KI-System einsetzt, ist nicht dasselbe Alignment-Problem, das im Labor untersucht wird.

Die Alignment-Forschung im Labor konzentriert sich auf extreme Risiken: trügerisches Alignment, Mesa-Optimierung, instrumentelle Konvergenz, machtorientiertes Verhalten. Dies sind wichtige Forschungsrichtungen. Doch die Alignment-Fehler, die heute tatsächlich eingesetzte Systeme betreffen, sind prosaischer.

Stellen Sie sich Folgendes vor: Eine Gemeinschaft mit spezifischen kulturellen Werten, einem spezifischen Vokabular und einer spezifischen Reihe normativer Verpflichtungen fordert ein KI-System auf, im Rahmen dieser Verpflichtungen zu agieren. Das System hält sich daran – meistens jedenfalls. Doch bei einer Verteilungsverschiebung (die Normen der Gemeinschaft sind in den Trainingsdaten unterrepräsentiert) kehrt das System stillschweigend zu seiner Grundverteilung zurück: dem statistischen Zentrum seiner Trainingsverteilung.

Dies ist keine irreführende Ausrichtung. Das System verbirgt seine wahren Ziele nicht. Es tut genau das, was seine Trainingsverteilung vorhersagt: Es erzeugt die statistisch wahrscheinlichste Fortsetzung angesichts des Eingabekontexts. Das Problem ist, dass „statistisch am wahrscheinlichsten“ und „für diese Gemeinschaft angemessen“ nicht dasselbe sind – und diese Abweichung erfolgt unbemerkt. Es wird kein Fehler gemeldet. Es wird kein Vertrauensflag gesetzt. Die Ausgabe ist flüssig, kohärent und in einer Weise falsch, die Fachwissen erfordert, um sie zu erkennen.

Dies ist das Ausrichtungsproblem, für dessen Lösung Village AI konzipiert wurde – nicht die extremen Risiken superintelligenter Systeme, sondern das alltägliche, allgegenwärtige und betrieblich folgenschwere Versagen eingesetzter Modelle, bei einer Verschiebung der Verteilung die Treue zu gemeinschaftsspezifischen Werten aufrechtzuerhalten.

Die Sorge um die Entwicklung

Wir stellen fest – ohne zu behaupten, das Problem zu lösen –, dass das alltägliche Alignment-Problem und das extreme Alignment-Problem miteinander zusammenhängen könnten.

Wenn aktuelle Systeme die Übereinstimmung mit expliziten Anweisungen nicht zuverlässig aufrechterhalten können, wenn diese Anweisungen im Widerspruch zu Verteilungs-Prioren stehen, ist dies ein Hinweis darauf, dass Alignment-Methoden während der Trainingsphase für eine robuste Steuerbarkeit unzureichend sind. Der Fehlermodus auf Gemeinschaftsebene – die stillschweigende Ersetzung festgelegter Muster durch statistisch dominante Muster – ähnelt strukturell dem Fehlermodus, den Alignment-Forscher auf Pionier-Ebene befürchten: dass das Modell sich eher auf sein gelerntes Ziel als auf das festgelegte Ziel optimiert.

Der Unterschied liegt in den Konsequenzen, nicht im Mechanismus. Auf Community-Ebene ist die Konsequenz ein Hirtenbrief, der therapeutische statt theologischer Sprache verwendet. Auf Frontier-Ebene könnten die Folgen wesentlich schwerwiegender sein.

Der architektonische Ansatz, den wir in dieser Reihe beschreiben – Verifizierung zur Inferenzzeit durch strukturell unabhängige Systeme – ist für beide Ebenen relevant, auch wenn wir nicht behaupten, dass er für die letztere ausreichend ist.

Was diese Serie untersucht

Die folgenden Artikel untersuchen ein konkretes, im Einsatz befindliches System, das einen anderen Ansatz für das Alignment-Problem verfolgt:

• Artikel 2 analysiert das Problem der Verteilungsverzerrung im Detail und untersucht, wie die Zusammensetzung der Trainingsdaten das Standardverhalten bestimmt und was eine Domänenspezialisierung bei einem Modell mit 14 Milliarden Parametern leisten kann und was nicht.
• Artikel 3 stellt den Vorfall 27027 als Fallstudie für ein Fehlschlagen der Ausrichtung vor und beschreibt die Guardian Agent-Architektur als einen Ansatz zur epistemischen Trennung – Verifikationssysteme, die unabhängig von dem Modell arbeiten, das sie überwachen.
• Artikel 4 liefert eine ungeschönte Bestandsaufnahme dessen, was derzeit in der Produktion im Einsatz ist, einschließlich dessen, was funktioniert, was nicht funktioniert und wo uns ungelöste Einschränkungen bekannt sind.
• Artikel 5 untersucht, wie sich die architektonische Governance über das Modell hinaus auf die Plattform erstreckt, und erörtert, welche Kompromisse dieser Ansatz mit sich bringt und welche Vorteile er bietet.

Vollständige technische Architektur: Village AI – Agentic Governance. Praxiskurse zum Betrieb dieser Systeme unter menschlicher Kontrolle: Working with Claude und Agents at Work.