Toutes les éditions · AI Research Edition

Your Community, Your AI — CC BY 4.0

Pourquoi la gouvernance en phase d’entraînement échoue — Les contraintes architecturales comme alternative

L’incident n° 27027

Avant d’aborder l’architecture de gouvernance de manière abstraite, nous présentons une étude de cas concrète. L’incident numéro 27027 illustre le type d’échec d’alignement qui a motivé l’approche architecturale décrite dans cette série. (La terminologie spécifique à cette série est définie dans le glossaire.)

Un responsable communautaire — un recteur d’une paroisse épiscopale — a demandé au système d’IA de rédiger une lettre pastorale à l’intention d’une famille en deuil. La consigne était explicite : la lettre devait employer un langage exprimant l’espoir de la résurrection, en accord avec les convictions théologiques de la communauté et de la famille.

Le système a produit une lettre fluide et bien structurée. Elle était chaleureuse, empreinte de compassion et rédigée de manière professionnelle. Elle évoquait « le cheminement vers la guérison », « trouver la paix », « honorer leur mémoire en vivant pleinement sa vie » et « l’héritage qu’ils laissent derrière eux ».

La lettre ne contenait absolument aucun langage théologique. Le système avait discrètement remplacé la théologie de la résurrection demandée par un langage thérapeutique d’auto-assistance — car le langage thérapeutique du deuil est bien plus courant dans la base d’entraînement que le langage du service funéraire ou de la communion des saints.

Les caractéristiques essentielles de cet échec :

1. Le remplacement s’est fait en silence. Aucune erreur n’a été signalée. Aucun drapeau d’alerte n’a été déclenché. Le système n’a pas indiqué qu’il était incapable de se conformer à l’instruction.
2. Le résultat était fluide. La lettre était bien rédigée selon tous les critères généraux. L’échec ne résidait pas dans la qualité de la génération, mais dans la fidélité au domaine.
3. La détection nécessitait une expertise dans le domaine. Un relecteur sans formation théologique aurait probablement approuvé la lettre. La substitution est invisible pour quelqu’un qui ne sait pas à quoi ressemble l’espérance de la résurrection.
4. Le système n’a pas désobéi. Il n’a pas refusé l’instruction. Il a traité l’instruction et produit ce que ses a priori distributionnels prédisaient comme étant la « lettre pastorale sur le deuil » la plus probable. L’instruction n’a pas été annulée ; elle a été écartée.

Il ne s’agit pas d’une hypothèse. C’est un incident documenté issu d’un système déployé. Nous l’utilisons comme étude de cas car il illustre un mode de défaillance qui, selon notre évaluation, est endémique aux approches d’alignement en phase d’entraînement lorsqu’elles sont déployées dans des domaines sous-représentés dans le corpus d’entraînement.

Pourquoi ce mode de défaillance résiste aux solutions en phase d’entraînement

L’incident 27027 ne peut être résolu à l’aide de la boîte à outils d’alignement standard :

Le réglage fin peut modifier les a priori distributionnels, et la spécialisation épiscopale (villageai-14b-episcopal-v1) était en partie une réponse à cet incident. Mais le réglage fin n’élimine pas les a priori du modèle de base ; il superpose de nouveaux schémas aux schémas existants. Sous la pression distributionnelle — invites inédites, combinaisons inhabituelles de contraintes, contextes mal couverts par les données de réglage fin —, les a priori du modèle de base peuvent reprendre le dessus. Ce phénomène est documenté dans la littérature sur l’oubli catastrophique, bien que le mode de défaillance soit ici plus subtil : il ne s’agit pas d’oublier entièrement le comportement issu de l’ajustement fin, mais d’y revenir de manière probabiliste dans des conditions difficiles à prédire a priori.

RLHF nécessiterait des annotateurs humains capables de distinguer la théologie de la résurrection du langage thérapeutique — des annotateurs dotés d’une expertise spécifique dans leur domaine. Étendre cette approche à tous les domaines communautaires (liturgie anglicane, tikanga maori, écologie de la conservation, généalogie familiale) n’est pas réalisable. Plus fondamentalement, le RLHF optimise en fonction de la préférence moyenne au sein du groupe d’annotateurs. L’alignement spécifique à une communauté nécessite une optimisation en fonction des préférences d’une communauté donnée, qui peuvent diverger de — voire entrer en conflit avec — la moyenne globale.

L’IA constitutionnelle exigerait que le modèle évalue ses propres résultats à l’aune du principe « utiliser un langage de résurrection, et non un langage thérapeutique ». Mais cette évaluation est elle-même conditionnée par les a priori distributionnels du modèle. Un modèle dont la distribution d’apprentissage privilégie le cadre thérapeutique jugera le langage thérapeutique comme approprié — car, au sein de la distribution qu’il a apprise, il l’est effectivement.

L’interprétabilité mécaniste pourrait, en principe, identifier les circuits responsables de la substitution et intervenir à ce niveau. Il s’agit d’une piste de recherche prometteuse, mais elle n’est actuellement pas applicable aux systèmes déployés, quelle que soit leur échelle. L’écart entre l’identification des têtes d’induction et l’intervention fiable sur le comportement distributionnel spécifique à un domaine dans un système de production reste important.

Nous ne prétendons pas que ces approches soient sans valeur. Nous affirmons simplement que, pour le mode de défaillance spécifique illustré par l’incident 27027 — la réversion distributionnelle silencieuse dans des domaines sous-représentés —, elles sont insuffisantes en tant que solutions déployées.

La séparation épistémique comme principe de conception

L’approche alternative mise en œuvre dans Village AI repose sur un principe que nous appelons la séparation épistémique : le système qui vérifie la sortie du modèle doit être structurellement indépendant du système qui la génère.

Ce principe n’est pas nouveau. Il est à la base de l’audit financier (l’auditeur ne peut être l’audité), du contrôle juridictionnel (le contrôleur ne peut être le contrôlé) et de l’évaluation scientifique par les pairs (l’évaluateur est externe à l’équipe de recherche). Dans la gouvernance de l’IA, cela se traduit par le fait que le système de vérification ne doit pas partager les modes de défaillance du système de génération.

Si le modèle de génération revient à un langage thérapeutique parce que ses a priori distributionnels le favorisent, le système de vérification doit être capable de détecter ce retour en utilisant une méthode qui n’est pas soumise au même biais distributionnel. Cela exclut l’auto-évaluation (le modèle vérifiant sa propre sortie) et exclut les modèles d’évaluation appris entraînés sur la même distribution. Cela exclut également de se fier à la chaîne de raisonnement externalisée du modèle : comme l’a noté l’article 1, les résultats sur l’infidélité de la chaîne de raisonnement établissent que le raisonnement déclaré d’un modèle n’est pas un reflet fiable de son raisonnement opérationnel ; ainsi, une couche de supervision qui lit l’auto-justification du modèle hérite exactement de la défaillance qu’elle est censée détecter.

La séparation épistémique s’étend naturellement de la vérification des résultats au contrôle des actions. Dans un déploiement agentique — où le système ne se contente pas de répondre mais agit —, ce même principe d’indépendance exige que les actions ayant des conséquences importantes ou irréversibles soient autorisées en dehors du modèle : un contrôle de limite structurellement distinct qui maintient l’action en attente d’une autorisation humaine plutôt que de l’exécuter sur la base de l’évaluation du modèle lui-même. Il s’agit là de la forme architecturale permettant de maintenir l’intervention humaine là où le fossé de contrôlabilité a le plus grand rayon d’action (Article 1).

L’implémentation de Village utilise quatre couches Guardian Agent, chacune fonctionnant sur une base épistémique différente de celle du modèle de génération.

L’architecture Guardian Agent

Gardien 1 : Vérificateur de précision (AccuracyVerifier)

Le vérificateur de précision calcule la similarité cosinus entre l’embedding de la réponse du modèle et les embeddings des documents sources du corpus de la communauté. Il s’agit d’une opération mathématique — le produit scalaire dans l’espace d’embedding — qui n’implique pas de génération de langage et n’est pas soumise aux biais distributionnels du modèle de génération.

Si le modèle affirme « Le conseil paroissial a décidé de réparer le toit en septembre », le vérificateur effectue l’embedding de cette affirmation et calcule sa similarité avec tous les procès-verbaux du conseil paroissial présents dans le corpus. Une similarité cosinus élevée avec un document contenant une décision de réparation du toit en septembre constitue une preuve d’ancrage. Une faible similarité avec l’ensemble des documents signale que l’affirmation est potentiellement non fondée.

Limites que nous reconnaissons : La similarité cosinus dans l’espace d’embeddings est un indicateur de similarité sémantique, et non une preuve d’exactitude factuelle. Deux phrases sémantiquement similaires peuvent différer sur des détails factuels essentiels (dates, noms, quantités). Le modèle d’encodage est une dépendance partagée avec le pipeline de recherche, ce qui crée le mode de défaillance corrélé mentionné dans l’article 2. De plus, la qualité de la vérification dépend de la couverture du corpus : si le document pertinent ne figure pas dans le corpus, le vérificateur ne peut ni confirmer ni infirmer l’affirmation.

Guardian 2 : Détecteur d’hallucinations (HallucinationDetector)

Le détecteur d’hallucinations décompose la réponse du modèle en affirmations individuelles et vérifie chacune d’entre elles indépendamment. Une réponse contenant trois affirmations — deux fondées et une inventée — signalera l’affirmation inventée même si la réponse globale présente un encodage très proche de celui des documents sources.

Cela permet de remédier à un cas de défaillance spécifique de la vérification de la réponse dans son ensemble : une réponse fluide et globalement exacte peut être très proche des documents sources tout en contenant un ou plusieurs détails inventés de toutes pièces. La décomposition au niveau des affirmations offre une vérification plus fine, au prix d’une latence d’inférence accrue.

Guardian 3 : Détecteur d’anomalies et moniteur de pression (AnomalyDetector, PressureMonitor)

La troisième couche surveille les tendances au niveau du système plutôt que les réponses individuelles. Elle suit la dérive de la distribution des sorties du modèle au fil du temps, détecte les tendances anormales (vocabulaire inhabituel, changements de sujet inattendus, caractéristiques de réponse s’écartant des références établies) et surveille les indicateurs de pression opérationnelle (longueur du contexte, complexité de la requête, charge d’inférence).

Lorsque le système détecte une pression élevée ou des schémas anormaux, il renforce l’intensité de la vérification : seuils de similarité cosinus plus stricts, décomposition obligatoire au niveau des affirmations, plafonds de confiance réduits. Le principe est que la vérification doit être inversement proportionnelle à la confiance opérationnelle : plus les conditions sont incertaines, plus la réponse fait l’objet d’un examen minutieux.

Guardian 4 : Boucle de rétroaction adaptative (ResponseReviewer, RegressionMonitor)

La quatrième couche apprend à partir des retours de la communauté. Lorsqu’un membre signale une réponse comme inutile ou inexacte, le système classe la cause première (RootCauseClassifier), assure le suivi de la correction et surveille l’apparition d’une régression. Un service FeedbackInvestigator examine si la réponse signalée correspond à un schéma systématique ou à une erreur isolée.

Cette couche est celle qui se rapproche le plus d’une intervention en phase d’apprentissage : elle ajuste le comportement du système en fonction des retours d’expérience humains. La différence par rapport au RLHF réside dans le fait que l’ajustement s’opère au niveau de la vérification et de l’acheminement, et non au niveau des poids du modèle. Le modèle lui-même n’est pas réentraîné en réponse à des retours individuels ; à la place, le système Guardian ajuste ses seuils, signale des schémas d’échec spécifiques et achemine les types de requêtes problématiques vers une révision humaine.

En quoi cela diffère-t-il des approches d’alignement existantes ?

Nous positionnons cette approche par rapport à trois paradigmes d’alignement établis :

Par rapport au RLHF : le RLHF ajuste la distribution des sorties du modèle pour l’aligner sur les préférences humaines. Guardian Agents n’ajuste pas la distribution des sorties du modèle ; il vérifie les sorties du modèle par rapport à des documents de référence externes après leur génération. Le modèle peut toujours générer un langage inapproprié au domaine ; le système Guardian le détecte et le signale. Cela s’apparente à la différence entre former une personne à toujours donner des réponses correctes (RLHF) et faire vérifier son travail par un auditeur indépendant (Guardian Agents). Cette dernière approche ne part pas du principe que la personne aura toujours raison ; elle part du principe qu’elle commettra parfois des erreurs et fournit un mécanisme de détection.

Par rapport à l’IA constitutionnelle : L’IA constitutionnelle utilise le modèle pour évaluer ses propres sorties au regard de principes énoncés. Guardian Agents utilise des systèmes mathématiquement distincts (similitude d’encodage, décomposition des affirmations, détection statistique d’anomalies) pour évaluer les sorties du modèle. L’évaluation ne dépend pas de la capacité du modèle à comprendre les principes ; elle repose sur des propriétés mesurables de la sortie par rapport à des documents de référence. Cela évite le problème de circularité où un modèle doté de priors biaisés évalue sa propre sortie biaisée comme acceptable.

Par rapport à l’interprétabilité mécaniste : La recherche sur l’interprétabilité vise à comprendre pourquoi les modèles produisent des résultats spécifiques en examinant leurs représentations internes. Guardian Agents ne se préoccupent pas des mécanismes internes du modèle ; ils évaluent les résultats d’un point de vue comportemental, en fonction de leurs propriétés mesurables. Il s’agit d’une approche moins ambitieuse : elle n’explique pas pourquoi le modèle s’est trompé, mais seulement qu’il s’est trompé. Elle est toutefois déjà déployable, à l’échelle de la production, avec la technologie actuelle.

Ce que cette approche ne résout pas

Nous sommes clairs quant aux limites de cette approche :

Elle ne résout pas le problème d’alignement en général. Guardian Agents détecte une classe spécifique d’erreurs : les résultats qui s’écartent d’un corpus de référence. Il ne détecte pas les nouveaux modes d’erreur qui n’ont aucun point de référence dans le corpus. Un désalignement véritablement inédit — le modèle produisant un résultat erroné d’une manière que le corpus ne couvre pas — ne serait pas détecté.

Elle n’élimine pas la nécessité d’une supervision humaine. L’architecture achemine les cas incertains vers une révision humaine. Elle réduit le volume de cas nécessitant une attention humaine, mais elle n’élimine pas le besoin d’experts du domaine dans la boucle de gouvernance. Une communauté dépourvue de modérateurs qualifiés ne peut pas se fier uniquement à Guardian Agents.

Il ne s’adapte pas à une complexité arbitraire. L’architecture fonctionne parce que le domaine cible est délimité : les documents propres à une communauté, une tradition théologique spécifique, un vocabulaire défini. Appliquer la même approche à des systèmes d’IA à domaine ouvert nécessiterait un corpus de référence d’une portée illimitée, ce qui compromettrait l’avantage de la vérifiabilité.

Il n’a pas fait l’objet d’une évaluation indépendante. Le système est en production depuis 2025. Nous disposons de données opérationnelles sur les performances de Guardian Agent, mais d’aucun audit indépendant ni d’aucune évaluation par les pairs. Nous présentons ce document comme un rapport d’ingénierie, et non comme un article de recherche ; les affirmations qu’il contient doivent donc être considérées en conséquence.

Architecture de gouvernance complète : Village AI sur la gouvernance agentique. Formations destinées aux professionnels sur l’exploitation de ces systèmes sous contrôle humain : Travailler avec Claude et Agents at Work.