Alle edities · AI Research Edition

Your Community, Your AI — CC BY 4.0

Waarom governance tijdens de trainingstijd faalt — Architecturale beperkingen als alternatief

Incident 27027

Voordat we de governance-architectuur in abstracto bespreken, presenteren we een concrete casestudy. Het incidentnummer is 27027, en het illustreert het soort afstemmingsfout dat aanleiding gaf tot de architecturale aanpak die in deze reeks wordt beschreven. (Specifieke terminologie uit deze reeks wordt gedefinieerd in de woordenlijst.)

Een gemeenschapsleider — een rector in een episcopale parochie — gaf het AI-systeem de opdracht om een pastorale brief op te stellen voor een rouwende familie. De instructie was expliciet: de brief moest de taal van de hoop op verrijzenis gebruiken, in overeenstemming met de theologische overtuigingen van de gemeenschap en de familie.

Het systeem produceerde een vloeiende, goed gestructureerde brief. Deze was warm, medelevend en professioneel geformuleerd. Er werd gesproken over „het genezingsproces“, „afsluiting vinden“, „hun nagedachtenis eren door je beste leven te leiden“ en „de erfenis die zij achterlaten“.

De brief bevatte echter geen enkele theologische taal. Het systeem had stilletjes de gevraagde opstandingstheologie vervangen door therapeutische zelfhulptaal — omdat therapeutische rouwtaal in de trainingsdataset vele malen vaker voorkomt dan de taal van de begrafenisdienst of de gemeenschap van de heiligen.

De cruciale kenmerken van deze fout:

1. De vervanging gebeurde onopgemerkt. Er werd geen fout gesignaleerd. Er werd geen waarschuwingssignaal gegeven. Het systeem gaf niet aan dat het niet aan de instructie kon voldoen.
2. De uitvoer was vloeiend. De brief was volgens alle algemene normen goed geschreven. De fout zat niet in de kwaliteit van de generatie, maar in de domeentrouw.
3. Detectie vereiste domeinexpertise. Een beoordelaar zonder theologische opleiding zou de brief waarschijnlijk hebben goedgekeurd. De vervanging is onzichtbaar voor iemand die niet weet hoe hoop op de opstanding klinkt.
4. Het systeem was niet ongehoorzaam. Het weigerde de instructie niet. Het verwerkte de instructie en produceerde wat zijn distributieve a-priori-verwachtingen voorspelden als de meest waarschijnlijke „pastorale brief over rouw”. De instructie werd niet terzijde geschoven; ze werd overschaduwd.

Dit is geen hypothetisch geval. Het is een gedocumenteerd incident uit een in gebruik genomen systeem. We gebruiken het als casestudy omdat het een faalmodus illustreert die, naar onze inschatting, endemisch is voor benaderingen waarbij afstemming tijdens de training plaatsvindt, wanneer deze worden ingezet in domeinen die ondervertegenwoordigd zijn in het trainingscorpus.

Waarom deze faalmodus zich verzet tegen oplossingen tijdens de training

Het 27027-incident is niet op te lossen met de standaard toolkit voor afstemming:

Fine-tuning kan distributiepriors verschuiven, en de episcopale specialisatie (villageai-14b-episcopal-v1) was deels een reactie op dit incident. Maar fine-tuning elimineert de a-priori-verdelingen van het basismodel niet; het legt nieuwe patronen over bestaande patronen heen. Onder distributiedruk — nieuwe prompts, ongebruikelijke combinaties van beperkingen, contexten die niet goed worden gedekt door de fine-tuning-gegevens — kunnen de a-priori-verdelingen van het basismodel zich opnieuw doen gelden. Dit wordt beschreven in de literatuur over catastrofaal vergeten, hoewel de faalmodus hier subtieler is: het niet volledig vergeten van het afgestemde gedrag, maar er probabilistisch naar terugkeren onder omstandigheden die a priori moeilijk te voorspellen zijn.

RLHF zou menselijke annotatoren vereisen die onderscheid kunnen maken tussen verrijzenistheologie en therapeutische taal — annotatoren met specifieke domeinexpertise. Het is onpraktisch om dit uit te breiden naar elk gemeenschapsdomein (Anglicaanse liturgie, Maori tikanga, natuurbeschermingsecologie, familiegenealogie). Fundamenteler nog: RLHF optimaliseert voor de gemiddelde voorkeur binnen de groep annotatoren. Gemeenschapsspecifieke afstemming vereist optimalisatie voor de voorkeuren van een specifieke gemeenschap, die kunnen afwijken van — of zelfs in strijd kunnen zijn met — het gemiddelde.

Constitutionele AI zou vereisen dat het model zijn eigen output beoordeelt aan de hand van het principe „gebruik verrijzenistaal, geen therapeutische taal”. Maar deze beoordeling is zelf afhankelijk van de distributie-priors van het model. Een model waarvan de trainingsdistributie de voorkeur geeft aan een therapeutische framing, zal therapeutische taal als gepast beoordelen — omdat dit, binnen de aangeleerde distributie, ook zo is.

Mechanistische interpreteerbaarheid zou in principe de circuits kunnen identificeren die verantwoordelijk zijn voor de vervanging en op dat niveau kunnen ingrijpen. Dit is een veelbelovende onderzoeksrichting, maar het is momenteel op geen enkele schaal praktisch toepasbaar voor geïmplementeerde systemen. De kloof tussen het identificeren van inductiekoppen en het betrouwbaar ingrijpen in domeinspecifiek distributiegedrag in een productiesysteem blijft groot.

We beweren niet dat deze benaderingen geen waarde hebben. We beweren wel dat ze, voor de specifieke faalmodus die door het 27027-incident wordt geïllustreerd — stille distributieve terugval in ondervertegenwoordigde domeinen — ontoereikend zijn als geïmplementeerde oplossingen.

Epistemische scheiding als ontwerpprincipe

De alternatieve benadering die in Village AI is geïmplementeerd, is gebaseerd op een principe dat we epistemische scheiding noemen: het systeem dat de output van het model verifieert, moet structureel onafhankelijk zijn van het systeem dat deze genereert.

Dit is geen nieuw principe. Het vormt de basis van financiële audits (de auditor mag niet degene zijn die wordt gecontroleerd), rechterlijke toetsing (de beoordelaar mag niet degene zijn die wordt beoordeeld) en wetenschappelijke peer review (de beoordelaar staat buiten het onderzoeksteam). In AI-governance betekent dit: het verificatiesysteem mag niet dezelfde faalwijzen vertonen als het generatiesysteem.

Als het generatiemodel terugvalt op therapeutische taal omdat de distributieprioren daarvan de voorkeur geven, moet het verificatiesysteem die terugval kunnen detecteren met behulp van een methode die niet onderhevig is aan dezelfde distributiebias. Dit sluit zelfevaluatie uit (het model dat zijn eigen output controleert) en sluit aangeleerde evaluatiemodellen uit die op dezelfde distributie zijn getraind. Het sluit ook het vertrouwen in de geëxternaliseerde gedachtegang van het model uit: zoals opgemerkt in artikel 1, tonen de bevindingen inzake ‘chain-of-thought-unfaithfulness’ aan dat de door een model gepresenteerde redenering geen betrouwbare weergave is van zijn daadwerkelijke redenering; een toezichtlaag die de zelfverslaglegging van het model leest, neemt dus precies die fout over die hij juist zou moeten opsporen.

Epistemische scheiding strekt zich op natuurlijke wijze uit van het verifiëren van uitkomsten naar het controleren van acties. Bij een agentische inzet — waarbij het systeem niet alleen antwoordt maar ook handelt — vereist hetzelfde onafhankelijkheidsprincipe dat ingrijpende of onomkeerbare acties buiten het model worden geautoriseerd: een structureel gescheiden grenscontrole die de actie in afwachting van menselijke autorisatie houdt in plaats van deze uit te voeren op basis van de eigen beoordeling van het model. Dit is de architecturale vorm om een mens in de lus te houden waar de controleerbaarheidskloof de grootste explosieradius heeft (Artikel 1).

De Village-implementatie maakt gebruik van vier Guardian Agent-lagen, die elk op een andere epistemische basis werken dan het generatiemodel.

De Guardian Agent-architectuur

Guardian 1: Nauwkeurigheidsverificator (AccuracyVerifier)

De nauwkeurigheidsverificator berekent de cosinusgelijkenis tussen de inbedding van het antwoord van het model en de inbeddingen van brondocumenten in het corpus van de gemeenschap. Dit is een wiskundige bewerking — het inproduct in de inbeddingsruimte — die geen taalgeneratie omvat en niet onderhevig is aan de distributiebiases van het generatiemodel.

Als het model beweert: „De kerkraad besloot in september het dak te repareren“, dan embeds de verifier deze bewering en berekent de gelijkenis ervan met alle notulen van de kerkraad in het corpus. Een hoge cosinusgelijkenis met een document dat een besluit over dakreparatie in september bevat, levert bewijs voor de onderbouwing. Een lage gelijkenis met alle documenten duidt erop dat de bewering mogelijk niet onderbouwd is.

Beperkingen die we erkennen: Cosinusgelijkenis in de inbeddingsruimte is een maatstaf voor semantische gelijkenis, geen bewijs van feitelijke juistheid. Twee semantisch vergelijkbare zinnen kunnen verschillen op cruciale feitelijke details (datums, namen, hoeveelheden). Het inbeddingsmodel is een gedeelde afhankelijkheid met de opvraagpijplijn, wat de in artikel 2 genoemde gecorreleerde faalmodus veroorzaakt. Bovendien hangt de verificatiekwaliteit af van de dekking van het corpus — als het relevante document niet in het corpus voorkomt, kan de verificator de bewering niet bevestigen of ontkrachten.

Guardian 2: Hallucinatiedetector (HallucinationDetector)

De Hallucination Detector splitst het antwoord van het model op in afzonderlijke beweringen en verifieert deze elk afzonderlijk. Een antwoord dat drie beweringen bevat — twee op feiten gebaseerde en één verzonnen — zal de verzonnen bewering markeren, zelfs als het antwoord als geheel nauw aansluit bij de brondocumenten.

Dit pakt een specifieke foutbron bij verificatie van het volledige antwoord aan: een vloeiend antwoord dat grotendeels juist is, kan nauw aansluiten bij de brondocumenten terwijl het één of meer verzonnen details bevat. Ontleding op beweringsniveau biedt een fijnmazigere verificatie, ten koste van een langere inferentielatentie.

Guardian 3: Anomaliedetector en drukmonitor (AnomalyDetector, PressureMonitor)

De derde laag bewaakt patronen op systeemniveau in plaats van individuele antwoorden. Deze laag volgt verschuivingen in de verdeling van de modeloutputs in de loop van de tijd, detecteert afwijkende patronen (ongebruikelijke woordkeuze, onverwachte onderwerpverschuivingen, antwoordkenmerken die afwijken van vastgestelde basislijnen) en bewaakt operationele drukindicatoren (contextlengte, complexiteit van de zoekopdracht, inferentielast).

Wanneer het systeem verhoogde druk of afwijkende patronen detecteert, verhoogt het de verificatie-intensiteit — strengere drempels voor cosinusgelijkenis, verplichte ontleding op claimniveau, verlaagde betrouwbaarheidsplafonds. Het principe is dat verificatie omgekeerd evenredig moet zijn aan de operationele betrouwbaarheid: hoe onzekerder de omstandigheden, hoe grondiger het antwoord wordt onderzocht.

Guardian 4: Adaptieve feedbacklus (ResponseReviewer, RegressionMonitor)

De vierde laag leert van feedback uit de community. Wanneer een lid een antwoord als niet-nuttig of onnauwkeurig markeert, classificeert het systeem de hoofdoorzaak (RootCauseClassifier), volgt het de correctie en controleert het op terugval. Een FeedbackInvestigator-service onderzoekt of het gemarkeerde antwoord een systematisch patroon of een op zichzelf staande fout vertegenwoordigt.

Deze laag komt het dichtst in de buurt van een interventie tijdens de trainingstijd — het past het systeemgedrag aan op basis van menselijke feedback. Het verschil met RLHF is dat de aanpassing plaatsvindt op het niveau van verificatie en routering, niet op het niveau van de modelgewichten. Het model zelf wordt niet opnieuw getraind naar aanleiding van individuele feedback; in plaats daarvan past het Guardian-systeem zijn drempels aan, markeert het specifieke foutpatronen en stuurt het problematische zoekopdrachten door voor menselijke beoordeling.

Hoe dit verschilt van bestaande afstemmingsbenaderingen

We plaatsen deze benadering ten opzichte van drie gevestigde afstemmingsparadigma’s:

Ten opzichte van RLHF: RLHF past de outputverdeling van het model aan om deze af te stemmen op menselijke voorkeuren. Guardian Agents past de outputverdeling van het model niet aan; het verifieert de output van het model na generatie aan de hand van externe referentiedocumenten. Het model kan nog steeds taal genereren die niet geschikt is voor het domein; het Guardian-systeem detecteert dit en markeert het. Dit is vergelijkbaar met het verschil tussen het trainen van een persoon om altijd de juiste antwoorden te geven (RLHF) en het laten controleren van zijn werk door een onafhankelijke auditor (Guardian Agents). Bij het laatste wordt niet aangenomen dat de persoon altijd gelijk zal hebben; er wordt aangenomen dat hij soms fouten zal maken en er wordt voorzien in een detectiemechanisme.

Ten opzichte van constitutionele AI: Constitutionele AI gebruikt het model om zijn eigen output te toetsen aan vastgestelde principes. Guardian Agents maakt gebruik van wiskundig verschillende systemen (embedding-gelijkenis, decompositie van beweringen, statistische anomaliedetectie) om de output van het model te evalueren. De evaluatie is niet afhankelijk van het vermogen van het model om de principes te begrijpen; ze is afhankelijk van meetbare eigenschappen van de output ten opzichte van referentiedocumenten. Dit voorkomt het circulariteitsprobleem waarbij een model met bevooroordeelde aannames zijn eigen bevooroordeelde output als aanvaardbaar beoordeelt.

Ten opzichte van mechanistische interpreteerbaarheid: Onderzoek naar interpreteerbaarheid heeft tot doel te begrijpen waarom modellen specifieke output produceren door interne representaties te onderzoeken. Guardian Agents staan agnostisch tegenover de interne mechanismen van het model; ze evalueren de output op basis van gedrag, aan de hand van de meetbare eigenschappen ervan. Dit is een minder ambitieuze aanpak — het verklaart niet waarom het model een fout maakte, alleen dat het dat deed. Maar het is nu, op productieschaal, met de huidige technologie inzetbaar.

Wat deze aanpak niet oplost

We zijn duidelijk over de grenzen van deze aanpak:

Het lost het afstemmingsprobleem in het algemeen niet op. Guardian Agents detecteert een specifieke categorie van fouten: outputs die afwijken van een referentiecorpus. Het detecteert geen nieuwe foutmodi die geen referentiepunt in het corpus hebben. Een werkelijk nieuwe afwijking — waarbij het model output produceert die op een manier fout is die niet in het corpus aan de orde komt — zou niet worden opgemerkt.

Het maakt menselijk toezicht niet overbodig. De architectuur stuurt onzekere gevallen door voor menselijke beoordeling. Het vermindert het aantal gevallen dat menselijke aandacht vereist, maar het maakt de noodzaak van domeinexperts in de bestuurscyclus niet overbodig. Een gemeenschap zonder gekwalificeerde moderators kan niet uitsluitend op Guardian Agents vertrouwen.

Het is niet schaalbaar naar willekeurige complexiteit. De architectuur werkt omdat het doeldomein afgebakend is — de eigen documenten van een gemeenschap, een specifieke theologische traditie, een gedefinieerde woordenschat. Het toepassen van dezelfde aanpak op AI-systemen met een open domein zou een referentiecorpus van onbegrensde omvang vereisen, wat het voordeel van verifieerbaarheid ondermijnt.

Het is niet onafhankelijk geëvalueerd. Het systeem is sinds 2025 in productie. We beschikken over operationele gegevens over de prestaties van Guardian Agent, maar er is geen onafhankelijke audit of peer-reviewed evaluatie. We presenteren dit als een technisch rapport, niet als een onderzoeksartikel, en de beweringen moeten dienovereenkomstig worden gewogen.

Volledige bestuursarchitectuur: Village AI over agentisch bestuur. Cursussen voor praktijkbeoefenaars over het bedienen van deze systemen onder menselijke controle: Werken met Claude en Agents at Work.