Alle edities · AI Research Edition

Your Community, Your AI — CC BY 4.0

Wat AI is — en waar het afstemmingsprobleem werkelijk ligt

Autoregressieve voorspelling en de kritiek daarop

De gangbare beschrijving van grote taalmodellen — het voorspellen van het volgende token op basis van een aangeleerde verdeling — klopt, voor zover die beschrijving reikt. Een transformer-architectuur die is getraind op een groot corpus leert conditionele waarschijnlijkheidsverdelingen P(x_t | x_1, ..., x_{t-1}) en genereert tijdens de inferentie tekst door autoregressief uit deze verdelingen te steekproeven. (Specifieke terminologie van deze serie wordt gedefinieerd in de woordenlijst.)

Wat deze beschrijving buiten beschouwing laat, is de mate waarin schaalgrootte het verhaal heeft gecompliceerd. Het gedrag van een model met 7 miljard parameters en een model met 700 miljard parameters is niet gerelateerd via een eenvoudige schaalvergelijking. Emergerende vermogens — contextgebonden leren, redeneren in gedachteketens, analogische overdracht tussen domeinen — verschijnen bij schaalgrenzen die niet door kleinere modellen werden voorspeld en die mechanistisch nog niet goed worden begrepen.

Of deze emergente vermogens „redeneren“ vormen in enige filosofisch robuuste zin, blijft een open vraag. Het programma voor mechanistische interpreteerbaarheid (het werk van Anthropic aan circuits, het onderzoek van Neel Nanda naar inductiehoofden, de groeiende literatuur over superpositie) heeft interne structuren geïdentificeerd die bewerkingen uitvoeren die lijken op logische gevolgtrekkingen. Of deze structuren daadwerkelijk redeneren of slechts het input-outputgedrag ervan benaderen onder de trainingsverdeling, is op het moment van schrijven nog echt onopgelost. De „redenerende“/„denkende“ modellen uit 2025–2026 hebben de kwestie eerder aangescherpt dan opgelost: ze behaalden prestaties die gelijkwaardig zijn aan een gouden medaille op de Internationale Wiskundeolympiade van 2025 in gestructureerde omgevingen, maar het resultaat van Apple Illusion of Thinking (2025) en de weerleggingen daarvan (Lawsen et al.; Dellibarda Varela et al., 2025) laten in het midden of ze redeneren of, zoals in één karakterisering wordt gesteld, een discrete toestandsruimte doorzoeken onder RL-fijnafstemming — „noch echte redeneerders, noch stochastische papegaaien“.

Voor veiligheidsonderzoek is de relevante observatie niet „kunnen LLM’s redeneren?“, maar veeleer: de kloof tussen waargenomen capaciteit en mechanistisch inzicht is groot en wordt steeds groter. We kunnen gedrag opwekken dat op redeneren lijkt, zonder op circuitniveau te kunnen verifiëren dat het proces dat dit gedrag genereert robuust is bij verschuivingen in de verdeling.

Vermogen versus controleerbaarheid

De literatuur over afstemming heeft zich historisch gezien gericht op twee verwante maar onderscheiden problemen:

Het vermogensprobleem: ervoor zorgen dat AI-systemen de taken kunnen uitvoeren die we van hen verlangen. Dit is grotendeels een technisch en schaalbaarheidsprobleem, en op dit gebied is aanzienlijke vooruitgang geboekt.

Het controleerbaarheidsprobleem: ervoor zorgen dat AI-systemen betrouwbaar doen wat we van ze verwachten, onder de omstandigheden waarin we ze inzetten, inclusief randgevallen en verschuivingen in de verdeling. Op dit gebied is de vooruitgang trager verlopen.

Dit onderscheid is belangrijk omdat de meeste toegepaste AI-governance — RLHF, constitutionele AI, systeemprompts, veiligheidsafstemming — voornamelijk op de capaciteitsas werkt. Deze methoden passen aan wat het model kan produceren. Ze zijn minder effectief in het beheersen van wat het model zal produceren onder nieuwe omstandigheden, bij vijandige invoer of bij verschuivingen in de verdeling die afwijken van de gegevens waarop de afstemming is gebaseerd.

RLHF leert bijvoorbeeld een beloningsmodel uit menselijke voorkeuren en gebruikt dit om het gedrag van het basismodel aan te passen. Dit werkt goed binnen de verdeling van de voorkeursgegevens. Buiten die verdeling — in domeinen die slecht vertegenwoordigd zijn in het trainingscorpus, bij nieuwe combinaties van beperkingen, of in contexten waar de „voorkeursreactie” afhangt van gemeenschapsspecifieke waarden in plaats van universele voorkeuren — komen de a-priori-aannames van het basismodel weer naar voren. In de technische literatuur wordt dit ‘beloningshacking’ of ‘specificatiegaming’ genoemd; in geïmplementeerde gemeenschapssystemen manifesteert het zich als iets alledaagsers en ingrijpender.

De agentieke wending: van generatie naar actie

Tussen 2024 en 2026 verschoof het geïmplementeerde toepassingsgebied van deze systemen van generatie naar actie. Een agent is een basismodel omhuld door een ondersteunende structuur — persistent geheugen, toegang tot tools en API’s, een browser of computerinterface — dat met beperkte supervisie een doel in natuurlijke taal nastreeft via meerdere stappen. De AI Agent Index van 2025 beschrijft dit als een scheiding tussen capaciteit (het grensverleggende model) en productisering (de ondersteunende structuur); een groot deel van de recente stap voorwaarts in het geïmplementeerde gedrag is een uitbreiding van het controleerbaarheidsoppervlak, niet een toename in capaciteit.

Dit heeft rechtstreeks betrekking op het bovenstaande onderscheid tussen capaciteit en controleerbaarheid. Ondersteunende structuren verbeteren de controleerbaarheid niet; ze versterken de gevolgen van de kloof in controleerbaarheid. Een model dat stilzwijgend terugvalt op distributieve priors is, in de chatbot-context, een slechte output die een mens kan opmerken. In de agent-context wordt het een actie die met minder interventiepunten wordt uitgevoerd, soms onomkeerbaar — de faalmodus is identiek; de schadebereik is groter. De literatuur over verantwoordingsplicht (Matthias’ verantwoordelijkheidskloof; Elish’s morele kreukzone) en het International AI Safety Report 2026 (verhoogd risico op onbetrouwbaarheid van agenten; foutverspreiding tussen meerdere agenten) beschrijven de gevolgen voor het bestuur.

Eén empirisch resultaat verdient nadruk, omdat het de ontwerpruimte voor toezicht beperkt. De redeneringsmodellen externaliseren een gedachtegang, wat CoT-monitoring als veiligheidsmechanisme uitnodigt. Maar een groeiend aantal onderzoeken naar chain-of-thought unfaithfulness (Anthropic, 2025; Walden en Wanner, 2026; en resultaten waaruit blijkt dat redeneringsmodellen aanzienlijk minder controle uitoefenen over hun CoT dan over hun uiteindelijke output) dat de geëxternaliseerde redenering vaak niet de causale determinanten van de output weerspiegelt — en op instructie daarvan kan worden losgekoppeld. Het gewicht van geverifieerd bewijs spreekt CoT-monitoring als betrouwbare veiligheidsmaatregel tegen. Toezicht dat de zelfrapportage van het model inspecteert, staat daarom op wankele grond; het moet extern worden uitgeoefend, op gedrag en handelingen. Dit is de ontwerpbeperking die in de rest van de reeks als gegeven wordt beschouwd — en de reden waarom de architectuur die hierop volgt, output verifieert en acties van buiten het model afremt, in plaats van te vertrouwen op de beschrijving die het model van zichzelf geeft.

Waar het afstemmingsprobleem zich voordoet bij geïmplementeerde systemen

Het afstemmingsprobleem zoals dat wordt ervaren door een gemeenschap die een AI-systeem implementeert, is niet hetzelfde als het afstemmingsprobleem dat in het laboratorium wordt bestudeerd.

Afstemmingsonderzoek in het laboratorium richt zich op extreme risico’s: misleidende afstemming, mesa-optimalisatie, instrumentele convergentie, machtszoekend gedrag. Dit zijn belangrijke onderzoeksrichtingen. Maar de afstemmingsfouten die vandaag de dag daadwerkelijk van invloed zijn op geïmplementeerde systemen, zijn prozaïscher.

Stel je voor: een gemeenschap met specifieke culturele waarden, een specifieke woordenschat en een specifieke reeks normatieve verplichtingen vraagt een AI-systeem om binnen die verplichtingen te opereren. Het systeem voldoet hieraan — meestal. Maar bij een verschuiving in de verdeling (de normen van de gemeenschap zijn ondervertegenwoordigd in de trainingsdata), keert het systeem stilzwijgend terug naar zijn uitgangspunt: het statistische midden van zijn trainingsverdeling.

Dit is geen misleidende afstemming. Het systeem verbergt zijn ware doelstellingen niet. Het doet precies wat zijn trainingsverdeling voorspelt: het produceert de statistisch meest waarschijnlijke voortzetting, gegeven de invoercontext. Het probleem is dat ‘statistisch meest waarschijnlijk’ en ‘passend voor deze gemeenschap’ niet hetzelfde zijn, en dat deze afwijking onopgemerkt blijft. Er wordt geen foutmelding gegeven. Er wordt geen vertrouwensvlag geactiveerd. De uitvoer is vloeiend, coherent en op een manier onjuist die domeinexpertise vereist om te detecteren.

Dit is het afstemmingsprobleem dat Village AI is ontworpen om aan te pakken — niet de extreme risico’s van superintelligente systemen, maar het alledaagse, wijdverbreide en operationeel ingrijpende falen van geïmplementeerde modellen om trouw te blijven aan gemeenschapsspecifieke waarden bij een verschuiving in de distributie.

De zorg over het traject

We merken op – zonder te beweren dit op te lossen – dat het alledaagse afstemmingsprobleem en het extreme afstemmingsprobleem mogelijk met elkaar verband houden.

Als huidige systemen niet op betrouwbare wijze trouw kunnen blijven aan expliciete instructies wanneer die instructies in strijd zijn met distributie-aannames, is dit een aanwijzing dat afstemmingsmethoden tijdens de training onvoldoende zijn voor robuuste controleerbaarheid. De faalmodus op gemeenschapsschaal — het stilletjes vervangen van gespecificeerde patronen door statistisch dominante patronen — is structureel vergelijkbaar met de faalmodus waarover afstemmingsonderzoekers zich zorgen maken op grensverkenningsschaal: het model dat optimaliseert voor zijn aangeleerde doelstelling in plaats van de gespecificeerde doelstelling.

Het verschil zit hem in de gevolgen, niet in het mechanisme. Op gemeenschapsniveau is het gevolg een pastorale brief waarin therapeutische taal wordt gebruikt in plaats van theologische taal. Op grensniveau kunnen de gevolgen aanzienlijk ernstiger zijn.

De architecturale benadering die we in deze reeks beschrijven — verificatie tijdens de inferentietijd door structureel onafhankelijke systemen — is relevant voor beide niveaus, hoewel we niet beweren dat deze voldoende is voor het laatste.

Wat in deze reeks wordt onderzocht

De overige artikelen onderzoeken een specifiek geïmplementeerd systeem dat een andere benadering van het afstemmingsprobleem hanteert:

• Artikel 2 analyseert het probleem van de distributiebias in detail en onderzoekt hoe de samenstelling van de trainingsdata het standaardgedrag bepaalt en wat domeinspecialisatie op een model met 14 miljard parameters wel en niet kan bereiken.
• Artikel 3 presenteert het 27027-incident als een casestudy over mislukte afstemming en beschrijft de Guardian Agent-architectuur als een benadering van epistemische scheiding — verificatiesystemen die onafhankelijk functioneren van het model dat ze monitoren.
• Artikel 4 biedt een onverbloemd overzicht van wat er momenteel in productie is, inclusief wat werkt, wat niet werkt en waar we ons bewust zijn van onopgeloste beperkingen.
• Artikel 5 onderzoekt hoe architecturale governance zich uitstrekt van het model naar het platform, en bespreekt wat deze aanpak oplevert en wat er juist wordt opgeofferd.

Volledige technische architectuur: Village AI — Agentic Governance. Cursussen voor praktijkbeoefenaars over het bedienen van deze systemen onder menselijke controle: Werken met Claude en Agents at Work.