Alle edities · AI Research Edition

Your Community, Your AI — CC BY 4.0

Verder dan het model — Integratie van platformarchitectuur en governance

Het model is niet het systeem

In de voorgaande artikelen zijn het generatiemodel, de Guardian Agent-verificatiepijplijn en het probleem van de distributiebias onder de loep genomen. In dit laatste artikel wordt onderzocht hoe architecturale governance verder reikt dan het model en zich uitstrekt tot het platform, en wordt de algehele aanpak geëvalueerd in het licht van wat er wordt opgeofferd en wat er wordt gewonnen. (Specifieke terminologie uit deze reeks wordt gedefinieerd in de woordenlijst.)

De centrale stelling is dat AI-afstemming op gemeenschapsschaal niet alleen door het model kan worden opgelost — niet door training, niet door fine-tuning, niet door RLHF en niet door verificatie tijdens de inferentietijd op zichzelf. Afstemming bij implementatie vereist architecturale beperkingen die het gehele systeem omvatten: gegevensisolatie, toestemmingsarchitectuur, het kaderen van de woordenschat, integratie van menselijk toezicht en gefedereerd beheer. Het model is één onderdeel. De architectuur is de ingreep.

Gegevensisolatie als afstemmingsmechanisme

Gegevensisolatie bij multi-tenant-opstellingen wordt doorgaans besproken als een beveiligingskwestie. In de Village-architectuur fungeert het ook als een afstemmingsmechanisme.

Elke databasequery wordt gefilterd op tenantId. De vectoropslag beheert collecties op tenantniveau. Het generatiemodel ontvangt alleen context uit het corpus van de tenant die de query uitvoert. Dit zijn standaardpatronen voor multi-tenancy, maar ze hebben een consequentie voor de afstemming: het model kan geen gebruikmaken van distributiepatronen uit de gegevens van andere tenants.

Dit is van belang omdat afstemming in gemeenschapscontexten niet universeel is. Wat gepaste taal is voor een episcopale parochie, kan ongepast zijn voor een natuurbeschermingsgroep, en vice versa. Een model dat toegang heeft tot de gegevens van alle tenants — zelfs als het alleen-lezen is, zelfs voor het ophalen van gegevens — zou distributiepriors ontwikkelen die verschillende gemeenschappen door elkaar halen. Tenant-isolatie voorkomt deze kruisbesmetting op de gegevenslaag.

Het architecturale principe is: het contextvenster van het model mag alleen inhoud bevatten van de gemeenschap die het op dat moment bedient. Dit wordt structureel afgedwongen, niet door instructies. Het model hoeft niet te worden verteld dat het binnen de grenzen van de tenant moet blijven; het heeft geen toegang tot iets daarbuiten.

Toestemmingsarchitectuur

Het toestemmingssysteem (ConsentRecord-model, AIMemoryConsent-component) regelt welke inhoud de AI-pijplijn binnenkomt. Er zijn drie verschillende toestemmingsdoeleinden gedefinieerd: ai_triage_memory, ai_ocr_memory en ai_summarisation_memory. Inhoud wordt niet geïndexeerd voor AI-gebruik, tenzij de maker van de inhoud expliciete toestemming heeft gegeven voor het betreffende doel.

Dit is een afstemmingsbeperking die vóór de inferentie in werking treedt. Inhoud waarvoor geen toestemming is gegeven voor AI-gebruik, verschijnt niet in de vectoropslag, wordt niet opgehaald tijdens RAG en is niet beschikbaar als referentiemateriaal voor Guardian Agent-verificatie. Het model kan geen hallucinaties produceren op basis van inhoud die het nog nooit heeft gezien.

De toestemmingsarchitectuur pakt ook een subtieler probleem aan: communityleden die zich ongemakkelijk voelen bij het verwerken van hun bijdragen door AI, kunnen hun inhoud uitsluiten zonder dat dit invloed heeft op het vermogen van het systeem om andere leden te bedienen. Dit is zowel een bestuursmechanisme als een privacymechanisme — het stelt de community in staat om de kennisbasis van de AI vorm te geven via individuele toestemmingsbeslissingen.

Beperking: Toestemming werkt op inhoudsniveau, niet op informatieniveau. Als lid A een verhaal schrijft waarin lid B wordt genoemd, en lid A stemt in met AI-verwerking, komt informatie over lid B in de AI-pijplijn terecht, ongeacht de voorkeuren van lid B. Dit is een inherente beperking van toestemming op inhoudsniveau die we nog niet volledig hebben opgelost.

Woordenschat als ‘framing governance’

In artikel 4 werden de interface en de effecten op modelniveau van het woordenschatsysteem beschreven. Hier onderzoeken we het als een bestuursmechanisme.

Het woordenschatsysteem implementeert wat men ‘framing governance’ zou kunnen noemen: het beperkt het conceptuele kader waarbinnen het model opereert. Wanneer het systeem in de gehele promptcontext ‘parochianen’ vervangt door ‘gebruikers’ en ‘kerkenraadsbestuur’ door ‘beheerdersinstellingen’, verschuift het de voorwaardelijke verdeling van het model weg van patronen van technologieplatforms en naar patronen van gemeenschapsbestuur.

Dit is een zwakkere interventie dan fine-tuning — het werkt op promptniveau, niet op gewichtsniveau — maar het heeft twee voordelen:

1. Het is transparant en controleerbaar. De woordenschattoewijzingen worden gedefinieerd in één configuratiebestand (product-vocabularies.js). Een onderzoeker kan precies nagaan welke termen worden vervangen en het effect daarvan op het gedrag van het model voorspellen.

2. Het is door de gemeenschap configureerbaar. Verschillende producttypes hebben verschillende woordenschat-toewijzingen, en deze kunnen worden uitgebreid zonder het model opnieuw te trainen. Dit is relevant voor gemeenschappen waarvan de terminologie niet bij een bestaand producttype past.

De interactie tussen vocabulaire-framing en de fijnafstemming van de Specialised Layer is het vermelden waard. Het vocabulaire-systeem verschuift de context van de prompt; de fijnafstemming verschuift de distributie-priors van het model. Wanneer beide samenwerken — de prompt gebruikt Episcopal-vocabulaire en het model is Episcopal-afgestemd — is het gecombineerde effect sterker dan elk van beide maatregelen afzonderlijk. Wanneer slechts één van beide werkt (een gemeenschapstype zonder gespecialiseerd model, dat alleen gebruikmaakt van vocabulaire-framing), is het effect zwakker maar nog steeds meetbaar in de kwaliteit van de output.

Integratie van menselijk toezicht

De ‘boundary enforcer’ (in artikel 3 van de ‘parish’-serie beschreven als een bestuurscomponent) stuurt vragen over waarden, ethiek of culturele context door voor menselijke beoordeling. Dit wordt geïmplementeerd via de PreInferenceProtector en via op betrouwbaarheid gebaseerde routering: wanneer de Guardian Agent-verificatie een betrouwbaarheidsscore oplevert die onder een configureerbare drempelwaarde ligt, wordt het antwoord gemarkeerd voor beoordeling door een moderator in plaats van direct te worden verzonden.

Dit creëert een ‘human-in-the-loop’-architectuur waarbij de AI zelfstandig vragen met een hoge betrouwbaarheid en een solide onderbouwing afhandelt en onzekere of gevoelige vragen doorstuurt naar menselijk toezicht. De drempelwaarde is per tenant configureerbaar, waardoor gemeenschappen hun eigen risicotolerantie kunnen instellen.

Beperking: De kwaliteit van het menselijk toezicht hangt af van de kwaliteit van de menselijke moderatoren. Het systeem kan onzekere vragen doorsturen naar een moderator, maar kan niet garanderen dat de moderator over de domeinexpertise beschikt om deze effectief te beoordelen. Dit is een organisatorische beperking, geen technische, maar het beperkt de effectiviteit van de algehele architectuur.

Het accreditatietraject voor moderatoren — een gestructureerde opleiding voor communityleden die de rol van moderator op zich nemen — is ontworpen om deze beperking aan te pakken, maar wordt geleidelijk uitgerold.

Federatie en bestuur tussen gemeenschappen

De federatiearchitectuur stelt afzonderlijke Village-instanties in staat bilaterale verbindingen tot stand te brengen — waarbij geselecteerde inhoud over gemeenschapsgrenzen heen wordt gedeeld met behoud van gegevenssoevereiniteit. Beide gemeenschappen moeten instemmen met de verbinding, en elk van beide kan zich op elk moment terugtrekken.

Vanuit het perspectief van afstemming introduceert federatie een gecontroleerd kanaal waardoor distributiepatronen van de ene gemeenschap de andere kunnen beïnvloeden. Een gefedereerde uitwisseling van inhoud tussen een episcopale parochie en een natuurbeschermingsgroep zou in principe het AI-gedrag van de ontvangende gemeenschap kunnen beïnvloeden door inhoud van buiten het domein in de vectoropslag te introduceren.

De federatiearchitectuur pakt dit aan door middel van selectief delen — alleen inhoud die expliciet is gemarkeerd voor federatie wordt gedeeld — en door middel van verificatie op tenantniveau. De Guardian Agent-verificatie vindt plaats op het corpus van de ontvangende gemeenschap, waarin gefedereerde inhoud pas wordt opgenomen nadat deze is geaccepteerd en geïndexeerd. De moderatoren van de ontvangende gemeenschap bepalen welke gefedereerde content in hun AI-pijplijn terechtkomt.

Dit is een bestuursmechanisme dat geen tegenhanger kent in de literatuur over afstemming, omdat in die literatuur de implementatie in meerdere gemeenschappen doorgaans niet als een prioriteit wordt beschouwd. We wijzen erop dat dit een gebied is waar geïmplementeerde AI-systemen van gemeenschappen te maken krijgen met afstemmingsuitdagingen die in laboratoriumomgevingen niet aan bod komen.

Wat deze aanpak oplevert

We zetten de nadelen van deze aanpak duidelijk op een rijtje:

Ruwe capaciteit. Een model met 14 miljard parameters kan bij algemene taken niet tippen aan toonaangevende systemen. Gebruikers die behoefte hebben aan creatief schrijven, complexe redeneringen over onbekende domeinen of brede intellectuele ondersteuning, zullen dit systeem ontoereikend vinden.

Latentie. De Guardian Agent-pijplijn voegt bij elk antwoord verificatie-overhead toe. De vierlaagse pijplijn, inclusief embedding-berekeningen, cosinus-similariteitszoekopdrachten, decompositie van beweringen en controle op afwijkingen, zorgt voor meetbare latentie. Voor gemeenschappen die reactiesnelheid boven verificatienauwkeurigheid stellen, is dit een nadeel.

Dekking. De domeinnauwkeurigheid van het systeem hangt af van de kwaliteit en de dekking van de fine-tuninggegevens en het inhoudscorpus van de gemeenschap. Een pas opgerichte gemeenschap met minimale inhoud biedt een schaars referentiecorpus, waardoor de Guardian Agent-verificatie minder effectief is en het gedrag van het model minder gefundeerd.

Schaalbaarheid. De architectuur is ontworpen voor implementatie op gemeenschapsschaal (tientallen tot enkele honderden gelijktijdige gebruikers per tenant). Het is niet getest op internetschaal, en de verificatiepijplijn per reactie zou waarschijnlijk aanzienlijke architecturale aanpassingen vereisen om op hoge doorvoercapaciteit te kunnen werken.

Generaliseerbaarheid. De ‘Specialised Layer’-strategie is geïmplementeerd voor verschillende producttypes (gemeenschap, whanau, bisdom, gezin, bedrijf), maar voor geen enkel type gevalideerd — implementatie is geen bewijs van doeltreffendheid. Of de aanpak generaliseerbaar is naar alle negen gedefinieerde producttypes, en of de Guardian Agent-drempels per domein moeten worden gekalibreerd, is niet bewezen.

Wat deze aanpak oplevert

Verifieerbaarheid. Elk AI-antwoord is herleidbaar tot specifieke brondocumenten. De cosinus-similariteitsscores, de verificatieresultaten op claimniveau en de betrouwbaarheidsindicatoren zijn beschikbaar voor inspectie. Dit is een eigenschap die geavanceerde systemen die op onbegrensde trainingscorpora draaien, niet kunnen bieden.

Beperkte handelingsvrijheid. Omdat het platform — en niet het open web — het actieterrein is, is de handelingsvrijheid van het systeem inherent beperkt: het handelt uitsluitend binnen van de gebruiker geïsoleerde gegevens, voert omkeerbare bewerkingen uit en zijn de daaruit voortvloeiende acties onderworpen aan menselijke autorisatie. De ‘agentische wending’ in het bredere veld (artikel 1) maakt deze eigenschap juist prominenter, niet minder: waar agenten voor algemeen gebruik de actieruimte uitbreiden naar het internet, beperkt het platformgebonden ontwerp deze tot een controleerbaar, herstelbaar oppervlak. Dit is een voordeel op het gebied van governance dat alleen zichtbaar is op platformniveau, niet op modelniveau — en dat is de bredere strekking van dit artikel.

Controleerbaarheid. De gegevens voor fijnafstemming, de woordenschattoewijzingen, de Guardian Agent-drempels en de correcties in de feedbacklus zijn allemaal controleerbaar. Een onderzoeker of auditor kan de volledige keten van invoer tot uitvoer onderzoeken en begrijpen waarom het systeem een specifieke reactie heeft geproduceerd. Het Tractatus-raamwerk is als open source gepubliceerd; de bestuursarchitectuur staat open voor externe beoordeling.

Soevereiniteit van de gemeenschap. De gemeenschap heeft zeggenschap over de gegevens, de inferentie-infrastructuur, de opzet van de woordenschat, de grenzen van de toestemming en het moderatiebeleid. Geen enkele externe aanbieder kan het gedrag van het systeem wijzigen zonder toestemming van de gemeenschap. Dit is een bestuurlijk kenmerk, geen technisch kenmerk, maar het wordt architectonisch afgedwongen.

Epistemische scheiding. Het verificatiesysteem werkt volgens andere principes dan het generatiesysteem. Dit bewijst geen correctheid, maar biedt wel een detectiemechanisme voor de specifieke faalmodus — stille distributieve omkering — die aanleiding gaf tot de architectuur. Het 27027-incident zou door de Guardian Agent-pijplijn worden opgespoord, omdat de cosinusgelijkenis tussen taalgebruik bij therapeutisch rouwverwerkingsproces en het theologische corpus van de gemeenschap onder de verificatiedrempel zou vallen.

Falsifieerbaarheid. Het systeem doet specifieke, toetsbare beweringen: dat Guardian Agent-verificatie ongefundeerde antwoorden vermindert, dat domeinspecialisatie de registergetrouwheid verbetert, en dat het kaderen van woordenschat het modelgedrag meetbaar beïnvloedt. Deze beweringen zijn in principe onafhankelijk toetsbaar. We hebben nog geen onafhankelijke tests georganiseerd, maar de architectuur staat dit niet in de weg.

Open vragen voor de onderzoeksgemeenschap

We sluiten af met vragen die we zelf niet kunnen beantwoorden en waarover we graag in gesprek gaan:

1. Is epistemische scheiding voldoende voor afstemming, of slechts noodzakelijk? De Guardian Agent-architectuur biedt detectie van distributieve terugval. Detectie is geen preventie. Is er een theoretische basis om te stellen dat detectie en correctie leiden tot afstemming, of beperkt het slechts de frequentie van mislukkingen?

2. Hoe moeten drempels voor cosinusgelijkenis worden gekalibreerd? De huidige drempels zijn empirisch afgestemd. Bestaat er een principiële methode voor het instellen van verificatiedrempels die een evenwicht biedt tussen het percentage valse positieven (gegronde antwoorden als ongegrond markeren) en het percentage valse negatieven (ongegronde antwoorden doorlaten)?

3. Zijn er praktische maatregelen om de kwetsbaarheid van gecorreleerde embeddings te verminderen? Het gedeelde embeddingmodel dat zowel voor het ophalen als voor de verificatie wordt gebruikt, creëert een enkel storingspunt. Welke architecturen zouden echt onafhankelijke verificatie kunnen bieden en tegelijkertijd computationeel haalbaar blijven?

4. Kan de ‘Specialised Layer’-strategie worden geformaliseerd? De intuïtie — dat domeinspecifieke fijnafstemming op een kleiner model een betere domeingetrouwheid oplevert dan het aansturen van een groter model — wordt empirisch ondersteund in onze implementatie, maar is nog niet rigoureus vergeleken. Onder welke omstandigheden geldt dit, en wanneer faalt het?

5. Welke evaluatiekaders zijn van toepassing op afstemming op gemeenschapsniveau? Standaard benchmarks voor afstemming evalueren algemene veiligheidseigenschappen. Welke benchmarks zouden geschikt zijn voor het evalueren van domeinspecifieke afstemming — getrouwheid aan de normen, woordenschat en waarden van een specifieke gemeenschap?

Deze vragen vallen buiten het bereik van één enkel implementatieteam. We brengen ze ter sprake omdat het afstemmingsprobleem op gemeenschapsniveau — alledaags, operationeel ingrijpend en grotendeels genegeerd door de onderzoeksgemeenschap — meer aandacht verdient dan het momenteel krijgt.

Platform en programma van de oprichtende gemeenschap: My Digital Sovereignty. Volledige AI-architectuur: Village AI on Agentic Governance. Cursussen voor praktijkbeoefenaars over het bedienen van deze systemen onder menselijke controle: Working with Claude en Agents at Work.