Alle edities · AI Research Edition

Your Community, Your AI — CC BY 4.0

Basismodellen versus domeinspecifieke inferentie — Een structurele analyse

Het probleem van de distributieve a-priori-verdeling

Geavanceerde taalmodellen worden getraind op corpora die de statistische verdeling van tekst op het internet weerspiegelen. Dit is een algemeen aanvaarde observatie, maar de implicaties ervan voor geïmplementeerde systemen die in gespecialiseerde domeinen opereren, zijn in de literatuur over afstemming onvoldoende onderzocht. (Specifieke terminologie voor deze reeks wordt gedefinieerd in de woordenlijst.)

De trainingsverdeling van een typisch groot taalmodel geeft een oververtegenwoordiging van:

• Engelstalige inhoud (en binnen het Engels: Amerikaanse spelling en idiomen)
• Commerciële, marketing- en bedrijfscommunicatie
• Individualistische benadering van sociale en morele kwesties
• Seculiere therapeutische taal voor emotionele en ethische contexten
• Technisch en professioneel discours
• Inhoud uit de afgelopen twee decennia, met beperkte historische diepgang

Daarmee staat het juist ondervertegenwoordigd:

• Liturgische, devotionele en theologische taal
• Tradities van gemeenschappelijke besluitvorming
• Niet-westerse morele en filosofische kaders
• Mondelinge tradities en verhalende culturen
• De operationele taal van kleine, gewortelde gemeenschappen
• Domeinspecifieke corpora die op het open web niet goed vertegenwoordigd zijn

Het gevolg is geen willekeurige verdeling van fouten. Het is een systematische verdelingsvertekening: bij onzekerheid keert het model terug naar het statistische midden van zijn trainingsverdeling. Voor gemeenschappen waarvan de normen, woordenschat en waarden ondervertegenwoordigd zijn in die verdeling, verloopt deze terugkeer stil en consistent.

Waarom prompts en RLHF de distributiepriors aan de staart niet oplossen

Drie veelgebruikte benaderingen om het gedrag van basismodellen aan te passen zijn systeemprompts, RLHF en constitutionele AI. Elk daarvan heeft gedocumenteerde beperkingen bij het werken aan de staart van de trainingsdistributie.

Systeemprompts bieden context op het moment van inferentie die de output van het model beïnvloedt. Ze zijn effectief wanneer het gevraagde gedrag goed vertegenwoordigd is in de trainingsverdeling — de prompt activeert bestaande patronen. Ze zijn aanzienlijk minder effectief wanneer het gevraagde gedrag in strijd is met sterke distributiepriors. Het model zal de prompt volgen waar dat mogelijk is, maar wanneer de prompt gedrag specificeert dat statistisch gezien zeldzaam is in de trainingsdata, krijgt de prioriteit weer de overhand. Dit is geen tekortkoming van prompt engineering; het is een gevolg van de manier waarop voorwaardelijke verdelingen werken.

RLHF leert een beloningsmodel uit gegevens over menselijke voorkeuren en gebruikt dit om het basismodel te verfijnen. Het beloningsmodel is zelf een aangeleerde functie, die onderhevig is aan dezelfde distributiebeperkingen als het basismodel. Als de voorkeursgegevens het betreffende domein niet voldoende bestrijken — bijvoorbeeld als de annotatoren die de outputs rangschikken geen domeinexpertise hebben op het gebied van de Anglicaanse liturgie of Maori tikanga — zal het beloningsmodel outputs die niet geschikt zijn voor het domein niet bestraffen. Het verfijnde model lijkt misschien afgestemd op de evaluatieset, terwijl het juist op de domeinen waar afstemming het belangrijkst is, niet goed is afgestemd.

Constitutionele AI definieert principes en gebruikt het model zelf om de outputs te toetsen aan die principes. Dit is een elegante benadering, maar er zit een cirkelredenering in: het vermogen van het model om domeinspecifieke naleving te beoordelen, wordt beperkt door dezelfde distributiepriors die de afwijking veroorzaken. Een model dat theologische taal vervangt door therapeutische taal omdat de trainingsverdeling de voorkeur geeft aan het eerste, zal die vervanging niet betrouwbaar detecteren wanneer het wordt gevraagd om zichzelf te evalueren — omdat het de distributiebasis mist om de vervanging als een vervanging te herkennen.

Geen van deze benaderingen is zonder waarde. Ze verbeteren het gedrag in het gemiddelde geval aanzienlijk. De bewering is beperkter: ze lossen het probleem van de staartverdeling niet op voor gemeenschappen waarvan de normen ondervertegenwoordigd zijn in het trainingscorpus. Voor die gemeenschappen bestaat de faalmodus niet uit incidentele slechte outputs; het is een systematische, stille terugval op distributiepriors.

De strategie met gespecialiseerde lagen

Village AI hanteert een andere aanpak. In plaats van te proberen een grensverleggend model af te stemmen door middel van interventies tijdens de training, maakt het gebruik van een kleiner basismodel (14 miljard parameters, een verfijnde Qwen2) met domeinspecifieke verfijningslagen.

De architectuur bestaat uit drie componenten:

Het basismodel. Een Qwen2-fine-tune met 14 miljard parameters die als basislaag fungeert, getraind op operationele kennis van het platform — hoe het Village-systeem werkt, welke functies er zijn, hoe je door de interface navigeert. Elke tenant deelt deze laag. Het biedt competente, algemene taalgeneratie binnen een beperkt domein.

Gespecialiseerde lagen: afstemming per producttype. Bovenop het basismodel worden voor elk producttype domeinspecifieke, afgestemde varianten getraind (de productiefamilie is villageai-14b-{community,whanau,episcopal,family,business}-v1, gerouteerd door model-routing.js). De episcopale specialisatie, villageai-14b-episcopal-v1, is getraind op episcopale/anglicaanse liturgische, pastorale en bestuurlijke inhoud. Het doel van de verfijning is om de distributiepriors van het model binnen het doeldomein te verschuiven — niet om kennis toe te voegen die via RAG kan worden opgehaald, maar om de standaardtaal, het kader en de normatieve aannames van het model te hervormen.

Tenant-specifieke inhoud via RAG. Individuele gemeenschapsinhoud — hun bulletins, verhalen, bestuursdocumenten — is niet in het model ingebakken. Deze wordt op het moment van inferentie opgehaald via vectorzoekopdrachten (Qdrant) en als context aangeboden. Hierdoor wordt het taalkundige gedrag van het model (gevormd door fine-tuning) gescheiden van de feitelijke inhoud waarnaar het verwijst (opgehaald uit het eigen corpus van de gemeenschap).

Het onderscheid tussen fine-tuning en RAG is architectonisch gezien van groot belang. Fine-tuning verschuift de a priori-aannames van het model — de standaardwoordenschat, de kaderaannames en het normatieve register. RAG biedt een feitelijke onderbouwing. De twee mechanismen pakken verschillende faalmodi aan: fine-tuning pakt distributiebias aan (het model gebruikt het verkeerde register), terwijl RAG hallucinaties aanpakt (het model verzint feiten).

De afweging: capaciteit versus verifieerbaarheid

Deze aanpak houdt een bewuste afweging in die duidelijk moet worden vermeld.

Een model met 14 miljard parameters kan qua algemene capaciteit niet tippen aan een geavanceerd model met meer dan 700 miljard parameters. Het produceert minder vloeiende teksten over onderwerpen buiten het domein. Het heeft een kleiner effectief contextvenster. Het is minder bedreven in complexe redeneringen met meerdere stappen. Het kan geen afbeeldingen genereren, geen code schrijven in obscure talen, noch een breed filosofisch discours voeren met het gemak van een toonaangevend systeem.

Wat het in ruil daarvoor biedt:

Verifieerbaarheid. De output van het model kan worden getoetst aan een begrensd broncorpus. Wanneer de Guardian Agent-architectuur (beschreven in artikel 3) de cosinusgelijkenis berekent tussen de respons-embedding van het model en de embeddings van brondocumenten, is het corpus klein genoeg om verificatie haalbaar te maken. Het verifiëren van de respons van een grensverkennend model aan de hand van „het internet“ is niet haalbaar.

Controleerbaarheid. De fine-tuninggegevens van het model zijn bekend en gecontroleerd. De door fine-tuning geïntroduceerde distributiepriors zijn in principe controleerbaar — men kan het trainingscorpus onderzoeken en begrijpen waarom het model standaard naar een bepaalde taal neigt. Dit is aanzienlijk moeilijker bij een model dat is getraind op triljoenen tokens aan webgegevens.

Controle over de inferentie. Het model draait op gecontroleerde hardware — een AMD RX 7900 XTX (24 GB) thuiscomputer, toegankelijk via WireGuard VPN — met CPU-fallback op de zelfde 14 miljard gewichten (verminderde doorvoer, geen kleiner model) voor beschikbaarheid. Geen enkel inferentieverzoek verlaat de infrastructuur van de beheerder. Er wordt geen enkele prompt of reactie geregistreerd door een externe API-aanbieder.

Domeingetrouwheid. Binnen het doeldomein liggen de distributiepriors van het gespecialiseerde model dichter bij de feitelijke normen van de gemeenschap dan de priors van een frontier-model zouden doen. De Episcopal-specialisatie gebruikt taal rond wederopstanding, en geen therapeutische taal, als standaardregister voor rouwcontexten — omdat dat is wat de fine-tuning-gegevens bevatten.

Beperking van acties. Hetzelfde afgebakende corpus dat de output verifieerbaar maakt, definieert ook het werkterrein waarbinnen het systeem mag handelen. Bij een agentische inzet is dit doorslaggevend: een actie die ingrijpend, onomkeerbaar of niet verifieerbaar is ten opzichte van het corpus, kan worden vastgehouden in afwachting van menselijke goedkeuring, omdat er een afgebakend referentiekader is waaraan deze kan worden getoetst. Een grensagent die op het open web opereert, heeft geen vergelijkbaar afgebakend kader om acties aan te toetsen — en dat is precies waarom zijn autonomie moeilijker te beheersen is (artikelen 1 en 3).

Het offer is reëel. De winst is reëel. Of de afweging gepast is, hangt af van de inzetcontext. Voor een gemeenschap die behoefte heeft aan een intellectuele metgezel voor algemene doeleinden, is dit systeem ontoereikend. Voor een gemeenschap die behoefte heeft aan een domeinspecifieke assistent waarvan de output kan worden geverifieerd aan de hand van haar eigen gegevens, kan de afweging gunstig uitvallen.

De inbeddingspijplijn

De component voor vectorzoekopdrachten verdient een korte technische beschrijving.

De inhoud van de gemeenschap wordt verwerkt via een embedding-pijplijn (EmbeddingService) die vectorrepresentaties genereert die worden opgeslagen in Qdrant. Op het moment van de zoekopdracht wordt de invoer van de gebruiker ingebed met behulp van hetzelfde model, en via een cosinus-similariteitszoekopdracht worden de meest relevante brondocumenten uit het corpus van de gemeenschap opgehaald.

Deze opgehaalde documenten dienen twee doelen: ze bieden feitelijke context voor het antwoord van het model (standaard RAG), en ze vormen het referentiecorpus waaraan de Guardian Agents het antwoord toetsen (beschreven in artikel 3). Dezelfde inbeddingsruimte wordt gebruikt voor zowel het ophalen als de verificatie, wat een coherentievoordeel oplevert — de verificatie vindt plaats in dezelfde representatieruimte als het ophalen — maar ook een potentiële kwetsbaarheid: systematische vertekeningen in het inbeddingsmodel zouden zowel het ophalen als de verificatie tegelijkertijd beïnvloeden.

We merken dit op als een onopgeloste beperking. Het inbeddingsmodel is een gedeelde afhankelijkheid, en de storingsmodi ervan zouden gecorreleerd kunnen zijn met de storingsmodi van het generatiemodel op manieren die vanuit het systeem moeilijk te detecteren zijn.

Volledige Guardian Agents-architectuur: Village AI on Agentic Governance. Cursussen voor praktijkbeoefenaars over het bedienen van deze systemen onder menselijke controle: Werken met Claude en Agents at Work.