Modèles de base vs inférence spécialisée par domaine — Une analyse structurelle

Le problème des a priori distributionnels

Les modèles linguistiques de pointe sont entraînés sur des corpus qui reflètent la distribution statistique du texte sur Internet. Il s’agit là d’un constat bien connu, mais ses implications pour les systèmes déployés dans des domaines spécialisés sont insuffisamment étudiées dans la littérature consacrée à l’alignement. (La terminologie spécifique à cette série est définie dans le glossaire.)

La distribution d’entraînement d’un grand modèle linguistique typique surreprésente :

Le contenu en anglais (et, au sein de l’anglais, l’orthographe et les expressions idiomatiques de l’anglais américain)
La communication commerciale, marketing et d’entreprise
Le cadrage individualiste des questions sociales et morales
Le langage thérapeutique laïc dans des contextes émotionnels et éthiques
Le discours technique et professionnel
les contenus datant des deux dernières décennies, avec une profondeur historique limitée

En conséquence, il sous-représente :

le langage liturgique, dévotionnel et théologique
les traditions de prise de décision communautaire
les cadres moraux et philosophiques non occidentaux
les traditions orales et les cultures narratives
le langage opérationnel des petites communautés enracinées
Les corpus spécifiques à certains domaines, peu représentés sur le web ouvert

Il n’en résulte pas une répartition aléatoire des erreurs, mais un biais de distribution systématique : en situation d’incertitude, le modèle revient au centre statistique de sa distribution d’apprentissage. Pour les communautés dont les normes, le vocabulaire et les valeurs sont sous-représentés dans cette distribution, ce retour est silencieux et constant.

Pourquoi les prompts et le RLHF ne résolvent pas les a priori de distribution aux extrémités

Les trois approches courantes pour adapter le comportement des modèles de base sont les prompts système, le RLHF et l’IA constitutionnelle. Chacune présente des limites avérées lorsqu’elle opère aux extrémités de la distribution d’entraînement.

Les prompts système fournissent un contexte au moment de l’inférence qui conditionne la sortie du modèle. Ils sont efficaces lorsque le comportement demandé est bien représenté dans la distribution d’entraînement — le prompt active alors des schémas existants. Ils sont nettement moins efficaces lorsque le comportement demandé entre en conflit avec des a priori distributionnels forts. Le modèle suivra l’instruction dans la mesure du possible, mais lorsque celle-ci spécifie un comportement statistiquement rare dans les données d’entraînement, la distribution a priori reprend le dessus. Il ne s’agit pas d’un échec de l’ingénierie des instructions, mais d’une conséquence du fonctionnement des distributions conditionnelles.

RLHF apprend un modèle de récompense à partir de données de préférences humaines et l’utilise pour affiner le modèle de base. Le modèle de récompense est lui-même une fonction apprise, soumise aux mêmes limites distributionnelles que le modèle de base. Si les données de préférences ne couvrent pas suffisamment le domaine en question — si, par exemple, les annotateurs chargés de classer les résultats ne possèdent pas d’expertise dans le domaine de la liturgie anglicane ou du tikanga maori —, le modèle de récompense ne pénalisera pas les résultats inappropriés pour ce domaine. Le modèle affiné peut sembler aligné sur l’ensemble d’évaluation tout en restant désaligné précisément dans les domaines où l’alignement est le plus important.

L’IA constitutionnelle définit des principes et utilise le modèle lui-même pour évaluer ses résultats à l’aune de ces principes. Il s’agit d’une approche élégante, mais elle comporte une circularité : la capacité du modèle à évaluer la conformité spécifique à un domaine est limitée par les mêmes a priori de distribution qui sont à l’origine du désalignement. Un modèle qui remplace le langage théologique par le langage thérapeutique parce que sa distribution d’entraînement favorise le premier ne détectera pas de manière fiable cette substitution lorsqu’on lui demandera de s’auto-évaluer — car il ne dispose pas de la base distributionnelle nécessaire pour reconnaître la substitution en tant que telle.

Aucune de ces approches n’est dénuée de valeur. Elles améliorent considérablement le comportement dans le cas moyen. L’argument est plus restreint : elles ne résolvent pas le problème de la distribution des queues pour les communautés dont les normes sont sous-représentées dans le corpus d’entraînement. Pour ces communautés, le mode de défaillance ne réside pas dans des résultats occasionnellement médiocres ; il s’agit d’un retour systématique et silencieux aux a priori distributionnels.

La stratégie des couches spécialisées

Village AI adopte une approche différente. Plutôt que de tenter d’aligner un modèle de pointe par des interventions lors de l’entraînement, il utilise un modèle de base plus petit (14 milliards de paramètres, un Qwen2 ajusté) associé à des couches d’ajustement spécifiques au domaine.

L’architecture comporte trois composants :

Le modèle de base. Un modèle Qwen2 fin-ajusté de 14 milliards de paramètres servant de couche fondamentale, entraîné sur les connaissances opérationnelles de la plateforme — comment fonctionne le système Village, quelles fonctionnalités existent, comment naviguer dans l’interface. Tous les locataires partagent cette couche. Elle fournit une génération de langage polyvalente et performante au sein d’un domaine restreint.

Les couches spécialisées : ajustement par type de produit. Au-dessus du modèle de base, des variantes optimisées spécifiques à chaque domaine sont entraînées pour chaque type de produit (la famille de production est villageai-14b-{community,whanau,episcopal,family,business}-v1, acheminée par model-routing.js). La spécialisation épiscopale, villageai-14b-episcopal-v1, est entraînée sur des contenus liturgiques, pastoraux et de gouvernance épiscopaux/anglicans. L’objectif de l’affinage est de modifier les a priori distributionnels du modèle au sein du domaine cible — non pas pour ajouter des connaissances pouvant être récupérées via RAG, mais pour remodeler le langage par défaut, le cadre de référence et les hypothèses normatives du modèle.

Contenu spécifique à chaque communauté via RAG. Le contenu propre à chaque communauté — ses bulletins, ses récits, ses documents de gouvernance — n’est pas intégré au modèle. Il est récupéré au moment de l’inférence via une recherche vectorielle (Qdrant) et fourni en tant que contexte. Cela permet de séparer le comportement linguistique du modèle (façonné par l’ajustement fin) du contenu factuel auquel il fait référence (extrait du corpus propre à la communauté).

La distinction entre l’ajustement fin et le RAG revêt une importance architecturale. Le réglage fin modifie les a priori du modèle — son vocabulaire par défaut, ses hypothèses de cadrage, son registre normatif. Le RAG fournit un ancrage factuel. Ces deux mécanismes traitent des modes de défaillance différents : le réglage fin corrige les biais de distribution (le modèle utilise un registre inapproprié), tandis que le RAG traite les hallucinations (le modèle invente des faits).

Le compromis : capacité contre vérifiabilité

Cette approche implique un compromis délibéré qui doit être clairement énoncé.

Un modèle de 14 milliards de paramètres ne peut rivaliser avec un modèle de pointe de plus de 700 milliards de paramètres en termes de capacité générale. Il produit une prose moins fluide sur des sujets hors de son domaine de compétence. Sa fenêtre de contexte effective est plus restreinte. Il est moins performant dans le raisonnement complexe en plusieurs étapes. Il ne peut pas générer d’images, écrire du code dans des langages obscurs, ni s’engager dans un discours philosophique de grande envergure avec la même aisance qu’un système de pointe.

Ce qu’il offre en contrepartie :

La vérifiabilité. Les résultats du modèle peuvent être vérifiés par rapport à un corpus source délimité. Lorsque l’architecture Guardian Agent (décrite dans l’article 3) calcule la similarité cosinus entre l’embedding de la réponse du modèle et les embeddings des documents sources, le corpus est suffisamment petit pour que la vérification soit réalisable. Vérifier la réponse d’un modèle de pointe par rapport à « Internet » n’est pas faisable.

Auditabilité. Les données de fin-ajustement du modèle sont connues et contrôlées. Les a priori distributionnels introduits par le fin-ajustement sont, en principe, vérifiables : on peut examiner le corpus d’entraînement et comprendre pourquoi le modèle utilise par défaut un langage particulier. Cela s’avère nettement plus difficile avec un modèle entraîné sur des billions de tokens issus de données du Web.

Contrôle de l’inférence. Le modèle s’exécute sur du matériel contrôlé — une carte graphique AMD RX 7900 XTX (24 Go) à domicile, accessible via un VPN WireGuard — avec un repli sur le processeur utilisant les mêmes 14 milliards de poids (débit réduit, pas un modèle plus petit) pour garantir la disponibilité. Aucune requête d’inférence ne quitte l’infrastructure de l’opérateur. Aucune invite ni réponse n’est enregistrée par un fournisseur d’API tiers.

Fidélité au domaine. Au sein de son domaine cible, les a priori distributionnels du modèle spécialisé sont plus proches des normes réelles de la communauté que ne le seraient ceux d’un modèle de pointe. La spécialisation « Episcopal » utilise un langage de résurrection, et non un langage thérapeutique, comme registre par défaut dans les contextes de deuil — car c’est ce que contiennent ses données de réglage fin.

Confinement de l’action. Le même corpus délimité qui rend les sorties vérifiables définit également la surface à l’intérieur de laquelle le système peut agir. Dans un déploiement agentique, cela est décisif : une action qui est lourde de conséquences, irréversible ou invérifiable par rapport au corpus peut être suspendue en attendant l’autorisation humaine, car il existe une référence délimitée par rapport à laquelle l’évaluer. Un agent de pointe opérant sur le Web ouvert ne dispose d’aucune surface délimitée comparable à laquelle se référer — ce qui explique précisément pourquoi son autonomie est plus difficile à réguler (articles 1 et 3).

Le sacrifice est réel. Le gain est réel. La pertinence de ce compromis dépend du contexte de déploiement. Pour une communauté qui a besoin d’un compagnon intellectuel polyvalent, ce système est inadéquat. Pour une communauté qui a besoin d’un assistant spécialisé dont les résultats peuvent être vérifiés par rapport à ses propres archives, le compromis peut s’avérer favorable.

Le pipeline d’intégration

Le composant de recherche vectorielle mérite une brève description technique.

Le contenu de la communauté est traité via un pipeline d’encodage (EmbeddingService) qui génère des représentations vectorielles stockées dans Qdrant. Au moment de la requête, la saisie de l’utilisateur est encodée à l’aide du même modèle, et une recherche par similarité cosinus permet de récupérer les documents sources les plus pertinents dans le corpus de la communauté.

Ces documents extraits remplissent deux fonctions : ils fournissent un contexte factuel à la réponse du modèle (RAG standard), et ils constituent le corpus de référence par rapport auquel le Guardian Agents vérifie la réponse (décrit dans l’article 3). Le même espace d’encodage est utilisé à la fois pour la recherche et pour la vérification, ce qui présente un avantage en termes de cohérence — la vérification s’effectue dans le même espace de représentation que la recherche — mais aussi une vulnérabilité potentielle : des biais systématiques dans le modèle d’encodage affecteraient simultanément la recherche et la vérification.

Nous considérons cela comme une limite non résolue. Le modèle d’embedding est une dépendance partagée, et ses modes de défaillance pourraient être corrélés à ceux du modèle de génération d’une manière difficile à détecter depuis l’intérieur du système.

Architecture complète de Guardian Agents : Village AI sur la gouvernance agentique. Formations destinées aux praticiens sur l’exploitation de ces systèmes sous contrôle humain : Travailler avec Claude et Agents at Work.

Cela vous a été utile ? Partagez cet article ou affichez un code QR à scanner.