Alle Ausgaben · AI Research Edition

Your Community, Your AI — CC BY 4.0

Grundmodelle vs. domänenspezifische Inferenz – Eine strukturelle Analyse

Das Problem der verteilungsbasierten A-priori-Annahme

Sprachmodelle der neuesten Generation werden anhand von Korpora trainiert, die die statistische Verteilung von Texten im Internet widerspiegeln. Dies ist eine allgemein anerkannte Beobachtung, doch ihre Auswirkungen auf eingesetzte Systeme, die in spezialisierten Domänen arbeiten, werden in der Literatur zum Thema Alignment bislang nur unzureichend untersucht. (Serienspezifische Terminologie ist im Glossar definiert.)

Die Trainingsverteilung eines typischen großen Sprachmodells überrepräsentiert:

• Englischsprachige Inhalte (und innerhalb des Englischen insbesondere die Rechtschreibung und Redewendungen des amerikanischen Englisch)
• Kommerzielle, Marketing- und Unternehmenskommunikation
• Individualistische Herangehensweisen an soziale und moralische Fragen
• Säkulare therapeutische Sprache für emotionale und ethische Kontexte
• Technischen und fachlichen Diskurs
• Inhalte aus den letzten zwei Jahrzehnten mit begrenzter historischer Tiefe

Entsprechend sind folgende Bereiche unterrepräsentiert:

• Liturgische, andächtige und theologische Sprache
• Traditionen gemeinschaftlicher Entscheidungsfindung
• Nicht-westliche moralische und philosophische Rahmenkonzepte
• Mündliche Überlieferungen und Erzählkulturen
• Die Umgangssprache kleiner, verwurzelter Gemeinschaften
• Fachspezifische Korpora, die im offenen Web nicht gut vertreten sind

Die Folge ist keine zufällige Verteilung von Fehlern. Es handelt sich um eine systematische Verteilungsverzerrung: Unter Unsicherheit kehrt das Modell zum statistischen Zentrum seiner Trainingsverteilung zurück. Für Gemeinschaften, deren Normen, Vokabular und Werte in dieser Verteilung unterrepräsentiert sind, erfolgt diese Rückführung stillschweigend und konsequent.

Warum Prompting und RLHF die Verteilungs-Prioren am Rand nicht lösen

Drei gängige Ansätze zur Anpassung des Verhaltens von Basismodellen sind System-Prompts, RLHF und konstitutionelle KI. Jeder dieser Ansätze weist dokumentierte Einschränkungen auf, wenn er am Rand der Trainingsverteilung eingesetzt wird.

System-Prompts liefern zum Zeitpunkt der Inferenz Kontext, der die Modellausgabe beeinflusst. Sie sind effektiv, wenn das gewünschte Verhalten in der Trainingsverteilung gut vertreten ist – der Prompt aktiviert dann bestehende Muster. Sie sind deutlich weniger effektiv, wenn das gewünschte Verhalten im Widerspruch zu starken Verteilungs-A-priori-Verteilungen steht. Das Modell folgt der Eingabe, soweit dies möglich ist; wenn die Eingabe jedoch ein Verhalten vorschreibt, das in den Trainingsdaten statistisch selten vorkommt, setzt sich die Verteilungsa-priori-Annahme wieder durch. Dies ist kein Versagen des Prompt-Engineering, sondern eine Folge der Funktionsweise bedingter Verteilungen.

RLHF lernt ein Belohnungsmodell aus menschlichen Präferenzdaten und nutzt es zur Feinabstimmung des Basismodells. Das Belohnungsmodell ist selbst eine gelernte Funktion, die denselben Verteilungsbeschränkungen unterliegt wie das Basismodell. Wenn die Präferenzdaten den betreffenden Bereich nicht ausreichend abdecken – wenn beispielsweise die Annotatoren, die die Ergebnisse bewerten, keine Fachkenntnisse in anglikanischer Liturgie oder Maori-Tikanga besitzen –, wird das Belohnungsmodell domänenunangemessene Ergebnisse nicht abwerten. Das feinabgestimmte Modell mag im Bewertungssatz gut ausgerichtet erscheinen, während es gerade in den Domänen, in denen die Ausrichtung am wichtigsten ist, weiterhin falsch ausgerichtet bleibt.

Konstitutionelle KI definiert Prinzipien und nutzt das Modell selbst, um seine Ausgaben anhand dieser Prinzipien zu bewerten. Dies ist ein eleganter Ansatz, der jedoch einen Zirkelschluss mit sich bringt: Die Fähigkeit des Modells, domänenspezifische Konformität zu bewerten, ist durch dieselben Verteilungs-A-priori-Wahrscheinlichkeiten begrenzt, die die Fehlausrichtung verursachen. Ein Modell, das theologische Sprache durch therapeutische Sprache ersetzt, weil seine Trainingsverteilung Ersteres bevorzugt, wird diese Ersetzung bei einer Selbstbewertung nicht zuverlässig erkennen – da ihm die Verteilungsgrundlage fehlt, um die Ersetzung als solche zu erkennen.

Keiner dieser Ansätze ist wertlos. Sie verbessern das Verhalten im Durchschnittsfall erheblich. Die Behauptung ist enger gefasst: Sie lösen nicht das Problem der Randverteilung für Gemeinschaften, deren Normen im Trainingskorpus unterrepräsentiert sind. Für diese Gemeinschaften besteht der Fehlermodus nicht in gelegentlich schlechten Ausgaben, sondern in einer systematischen, stillschweigenden Rückführung auf die Verteilungs-A-priori-Wahrscheinlichkeiten.

Die Strategie der spezialisierten Schichten

Village AI verfolgt einen anderen Ansatz. Anstatt zu versuchen, ein Spitzenmodell durch Eingriffe während des Trainings anzupassen, setzt es ein kleineres Basismodell (14 Milliarden Parameter, ein Qwen2-Fine-Tune) mit domänenspezifischen Feinabstimmungsschichten ein.

Die Architektur besteht aus drei Komponenten:

Das Basismodell. Ein auf 14 Milliarden Parameter feinabgestimmtes Qwen2-Modell dient als Fundament-Schicht und wurde anhand des betrieblichen Plattformwissens trainiert – wie das Village-System funktioniert, welche Funktionen vorhanden sind und wie man durch die Benutzeroberfläche navigiert. Alle Mandanten nutzen diese Schicht gemeinsam. Sie bietet eine kompetente, allzwecktaugliche Sprachgenerierung innerhalb eines begrenzten Anwendungsbereichs.

Spezialisierte Schichten: Feinabstimmung pro Produkttyp. Aufbauend auf dem Basismodell werden für jeden Produkttyp domänenspezifisch feinabgestimmte Varianten trainiert (die Produktfamilie lautet villageai-14b-{community,whanau,episcopal,family,business}-v1 und wird über model-routing.js weitergeleitet). Die episkopale Spezialisierung, villageai-14b-episcopal-v1, wird anhand episkopaler/anglikanischer Inhalte zu Liturgie, Seelsorge und Kirchenleitung trainiert. Das Ziel der Feinabstimmung besteht darin, die Verteilungs-A-priori-Verteilungen des Modells innerhalb des Zielbereichs zu verschieben – nicht, um Wissen hinzuzufügen, das über RAG abgerufen werden kann, sondern um die Standardsprache, den Rahmen und die normativen Annahmen des Modells neu zu gestalten.

Mandantenspezifische Inhalte über RAG. Individuelle Inhalte der Community – ihre Mitteilungsblätter, Berichte, Verwaltungsdokumente – sind nicht fest im Modell verankert. Sie werden zum Zeitpunkt der Inferenz über eine Vektorsuche (Qdrant) abgerufen und als Kontext bereitgestellt. Dadurch wird das sprachliche Verhalten des Modells (geprägt durch das Fine-Tuning) von den faktischen Inhalten getrennt, auf die es verweist (die aus dem eigenen Korpus der Community abgerufen werden).

Die Unterscheidung zwischen Fine-Tuning und RAG ist architektonisch von Bedeutung. Das Fine-Tuning verschiebt die A-priori-Annahmen des Modells – sein Standardvokabular, seine Rahmenannahmen, seinen normativen Sprachstil. RAG liefert die faktische Grundlage. Die beiden Mechanismen beheben unterschiedliche Fehlerarten: Das Fine-Tuning behebt Verteilungsverzerrungen (das Modell verwendet den falschen Sprachstil), während RAG Halluzinationen behebt (das Modell erfindet Fakten).

Der Kompromiss: Leistungsfähigkeit vs. Überprüfbarkeit

Dieser Ansatz beinhaltet einen bewussten Kompromiss, der klar benannt werden sollte.

Ein Modell mit 14 Milliarden Parametern kann in Bezug auf die allgemeine Leistungsfähigkeit nicht mit einem „Frontier“-Modell mit über 700 Milliarden Parametern mithalten. Es erzeugt weniger flüssige Prosa zu Themen außerhalb seines Fachgebiets. Es verfügt über ein kleineres effektives Kontextfenster. Es ist bei komplexen, mehrstufigen Schlussfolgerungen weniger leistungsfähig. Es kann keine Bilder generieren, keinen Code in obskuren Sprachen schreiben oder weitreichende philosophische Diskurse mit der Leichtigkeit eines Spitzenmodells führen.

Was es im Gegenzug bietet:

Überprüfbarkeit. Die Ausgaben des Modells können anhand eines begrenzten Quellkorpus überprüft werden. Wenn die Guardian Agent-Architektur (beschrieben in Artikel 3) die Kosinusähnlichkeit zwischen der Einbettung der Modellantwort und den Einbettungen der Quelldokumente berechnet, ist der Korpus klein genug, sodass die Überprüfung überschaubar ist. Die Überprüfung der Antwort eines Frontier-Modells anhand von „dem Internet“ ist nicht durchführbar.

Prüfbarkeit. Die Feinabstimmungsdaten des Modells sind bekannt und kontrolliert. Die durch die Feinabstimmung eingeführten Verteilungs-A-priori-Verteilungen sind grundsätzlich überprüfbar – man kann den Trainingskorpus untersuchen und nachvollziehen, warum das Modell standardmäßig eine bestimmte Sprache verwendet. Bei einem Modell, das auf Billionen von Tokens aus Webdaten trainiert wurde, ist dies wesentlich schwieriger.

Kontrolle der Inferenz. Das Modell läuft auf kontrollierter Hardware – einer AMD RX 7900 XTX (24 GB) zu Hause, auf die über ein WireGuard-VPN zugegriffen wird – mit CPU-Fallback auf die gleichen 14B-Gewichte (verringerter Durchsatz, kein kleineres Modell) zur Gewährleistung der Verfügbarkeit. Keine Inferenzanfrage verlässt die Infrastruktur des Betreibers. Keine Eingabeaufforderung und keine Antwort wird von einem API-Anbieter eines Drittanbieters protokolliert.

Domänentreue. Innerhalb seiner Zieldomäne liegen die Verteilungs-A-priori-Werte des spezialisierten Modells näher an den tatsächlichen Normen der Community als dies bei den A-priori-Werten eines Frontier-Modells der Fall wäre. Die episkopale Spezialisierung verwendet in Trauerkontexten standardmäßig die Sprache der Auferstehung und keine therapeutische Sprache – denn genau das ist in den Feinabstimmungsdaten enthalten.

Handlungsbegrenzung. Dasselbe begrenzte Korpus, das die Ausgaben überprüfbar macht, definiert auch den Rahmen, innerhalb dessen das System handeln darf. Bei einem agentischen Einsatz ist dies entscheidend: Eine Handlung, die weitreichende Folgen hat, irreversibel ist oder anhand des Korpus nicht überprüfbar ist, kann zur Genehmigung durch einen Menschen zurückgehalten werden, da es einen begrenzten Bezugsrahmen gibt, anhand dessen sie bewertet werden kann. Ein „Frontier-Agent“, der im offenen Web agiert, verfügt über keinen vergleichbaren begrenzten Rahmen, an dem er sich orientieren kann – was genau der Grund dafür ist, dass seine Autonomie schwieriger zu steuern ist (Artikel 1 und 3).

Der Verlust ist real. Der Gewinn ist real. Ob der Kompromiss angemessen ist, hängt vom Einsatzkontext ab. Für eine Community, die einen universell einsetzbaren intellektuellen Begleiter benötigt, ist dieses System ungeeignet. Für eine Community, die einen domänenspezifischen Assistenten benötigt, dessen Ergebnisse anhand eigener Aufzeichnungen überprüft werden können, könnte das Abwägen jedoch vorteilhaft sein.

Die Einbettungspipeline

Die Vektorsuchkomponente verdient eine kurze technische Beschreibung.

Die Inhalte der Community werden über eine Einbettungspipeline (EmbeddingService) verarbeitet, die Vektordarstellungen generiert, die in Qdrant gespeichert werden. Zum Zeitpunkt der Abfrage wird die Eingabe des Nutzers unter Verwendung desselben Modells eingebettet, und eine Kosinus-Ähnlichkeitssuche ruft die relevantesten Quelldokumente aus dem Korpus der Community ab.

Diese abgerufenen Dokumente dienen zwei Zwecken: Sie liefern den sachlichen Kontext für die Antwort des Modells (Standard-RAG) und bilden den Referenzkorpus, anhand dessen das Guardian Agents die Antwort überprüft (beschrieben in Artikel 3). Für die Dokumentensuche und die Verifizierung wird derselbe Einbettungsraum verwendet, was einen Kohärenzvorteil mit sich bringt – die Verifizierung findet im selben Darstellungsraum statt wie die Dokumentensuche –, aber auch eine potenzielle Schwachstelle darstellt: Systematische Verzerrungen im Einbettungsmodell würden sowohl die Dokumentensuche als auch die Verifizierung gleichzeitig beeinträchtigen.

Wir vermerken dies als eine ungelöste Einschränkung. Das Einbettungsmodell ist eine gemeinsame Abhängigkeit, und seine Fehlermodi könnten mit den Fehlermodi des Generierungsmodells auf eine Weise korrelieren, die innerhalb des Systems nur schwer zu erkennen ist.

Vollständige Guardian Agents-Architektur: Village AI on Agentic Governance. Praxiskurse zum Betrieb dieser Systeme unter menschlicher Kontrolle: Working with Claude und Agents at Work.