Qu’est-ce que l’IA ? — Et où se situe réellement le problème d’alignement

La prédiction autorégressive et ses limites

La description classique des grands modèles linguistiques — la prédiction du token suivant à partir d’une distribution apprise — est exacte dans la mesure où elle s’applique. Une architecture de type « transformer » entraînée sur un vaste corpus apprend des distributions de probabilité conditionnelles P(x_t | x_1, ..., x_{t-1}) et, au moment de l’inférence, génère du texte en échantillonnant ces distributions de manière autorégressive. (La terminologie spécifique à cette série est définie dans le glossaire.)

Ce que cette description omet, c’est la mesure dans laquelle l’échelle a compliqué la situation. Le comportement d’un modèle à 7 milliards de paramètres et d’un modèle à 700 milliards de paramètres n’est pas lié par une simple fonction d’échelle. Des capacités émergentes — apprentissage en contexte, raisonnement par chaîne de pensée, transfert analogique entre domaines — apparaissent à des seuils d’échelle qui n’avaient pas été prédits par des modèles plus petits et dont le mécanisme n’est pas encore bien compris.

La question de savoir si ces capacités émergentes constituent un « raisonnement » au sens philosophique strict reste ouverte. Le programme d’interprétabilité mécaniste (les travaux d’Anthropic sur les circuits, les recherches de Neel Nanda sur les « induction heads », la littérature croissante sur la superposition) a identifié des structures internes qui effectuent des opérations s’apparentant à l’inférence logique. La question de savoir si ces structures mettent en œuvre un raisonnement ou se contentent d’approximer son comportement d’entrée-sortie sous la distribution d’entraînement reste, à l’heure où nous écrivons ces lignes, véritablement sans réponse. Les modèles de « raisonnement »/« pensée » de 2025–2026 ont aiguisé la question plutôt que de la trancher : ils ont atteint des performances équivalentes à une médaille d’or aux Olympiades internationales de mathématiques de 2025 dans des contextes structurés, mais les résultats de l’étude Illusion of Thinking d’Apple (2025) et ses réfutations (Lawsen et al. ; Dellibarda Varela et al., 2025) laissent ouverte la question de savoir s’ils raisonnent ou, selon une caractérisation, explorent un espace d’états discret dans le cadre d’un réglage fin par apprentissage par renforcement — « ni véritables raisonneurs, ni perroquets stochastiques ».

En matière de recherche sur la sécurité, l’observation pertinente n’est pas « les LLM sont-ils capables de raisonner ? », mais plutôt : l’écart entre la capacité observée et la compréhension mécaniste est important et ne cesse de se creuser. Nous pouvons faire émerger un comportement qui ressemble à du raisonnement sans être en mesure de vérifier, au niveau des circuits, que le processus générant ce comportement est robuste face à un changement de distribution.

Capacité vs contrôlabilité

La littérature sur l’alignement s’est historiquement concentrée sur deux problèmes liés mais distincts :

Le problème de la capacité : s’assurer que les systèmes d’IA peuvent accomplir les tâches que nous souhaitons leur confier. Il s’agit en grande partie d’un problème d’ingénierie et de mise à l’échelle, et le domaine a réalisé des progrès substantiels.

Le problème de la contrôlabilité : s’assurer que les systèmes d’IA font ce que nous voulons qu’ils fassent, de manière fiable, dans les conditions où nous les déployons, y compris dans les cas limites et en cas de changement de distribution. C’est sur ce point que les progrès ont été plus lents.

Cette distinction est importante car la plupart des mécanismes de gouvernance de l’IA actuellement déployés — RLHF, IA constitutionnelle, prompts système, réglage fin de sécurité — opèrent principalement sur l’axe de la capacité. Ces méthodes ajustent ce que le modèle est capable de produire. Elles sont moins efficaces pour contrôler ce que le modèle produira dans des conditions inédites, face à des entrées adversaires ou en cas de décalage de distribution par rapport aux données de réglage fin.

Le RLHF, par exemple, apprend un modèle de récompense à partir des préférences humaines et l’utilise pour ajuster le comportement du modèle de base. Cela fonctionne bien à l’intérieur de la distribution des données de préférences. En dehors de cette distribution — dans des domaines mal représentés dans le corpus d’entraînement, face à de nouvelles combinaisons de contraintes, ou dans des contextes où la réponse « préférée » dépend de valeurs spécifiques à une communauté plutôt que de préférences universelles —, les a priori du modèle de base reprennent le dessus. La littérature technique qualifie ce phénomène de « piratage de récompense » ou de « manipulation des spécifications » ; dans les systèmes communautaires déployés, il se manifeste sous une forme plus banale et aux conséquences plus importantes.

Le tournant agentique : de la génération à l’action

Entre 2024 et 2026, le champ d’application de ces systèmes s’est déplacé de la génération vers l’action. Un agent est un modèle de base intégré à une infrastructure — mémoire persistante, accès aux outils et aux API, navigateur ou interface utilisateur — poursuivant un objectif en langage naturel en plusieurs étapes avec une supervision réduite. L’indice des agents d’IA de 2025 présente cela comme une séparation entre la capacité (le modèle de pointe) et la mise en œuvre (l’infrastructure) ; une grande partie du changement radical récent dans le comportement des systèmes déployés réside dans l’extension de la surface de contrôlabilité, et non dans un gain de capacité.

Cela a une incidence directe sur la distinction entre capacité et contrôlabilité évoquée plus haut. L’infrastructure n’améliore pas la contrôlabilité ; elle amplifie les conséquences du déficit de contrôlabilité. Un modèle qui revient silencieusement à des a priori distributionnels constitue, dans le contexte d’un chatbot, une sortie erronée qu’un humain peut détecter. Dans le contexte d’un agent, cela devient une action entreprise avec moins de points d’intervention, parfois de manière irréversible — le mode de défaillance est identique ; le rayon d’impact est plus large. La littérature sur la responsabilité (« responsibility gap » de Matthias ; « moral crumple zone » d’Elish) et l’International AI Safety Report 2026 (risque accru lié à la fiabilité des agents ; propagation des erreurs entre agents multiples) caractérisent les conséquences en matière de gouvernance.

Un résultat empirique mérite d’être souligné, car il restreint l’espace de conception de la surveillance. Les modèles de raisonnement externalisent une chaîne de pensée, ce qui invite à la surveillance de la chaîne de pensée (CoT) en tant que mécanisme de sécurité. Mais un nombre croissant de travaux sur la non-fidélité de la chaîne de pensée (Anthropic, 2025 ; Walden et Wanner, 2026 ; ainsi que des résultats montrant que les modèles de raisonnement exercent un contrôle nettement moindre sur leur CoT que sur leurs résultats finaux) révèle que le raisonnement externalisé ne reflète souvent pas les déterminants causaux du résultat — et peut en être dissocié sur instruction. Le poids des preuves vérifiées va à l’encontre de la surveillance de la CoT en tant que garantie fiable. Une surveillance qui inspecte l’auto-évaluation du modèle repose donc sur des bases fragiles ; elle doit être exercée de manière externe, sur le comportement et les actions. C’est là la contrainte de conception que le reste de la série considère comme acquise — et la raison pour laquelle l’architecture qui suit vérifie les résultats et contrôle les actions depuis l’extérieur du modèle plutôt que de se fier à la description que celui-ci donne de lui-même.

Où se situe le problème d’alignement pour les systèmes déployés

Le problème d’alignement tel qu’il est vécu par une communauté déployant un système d’IA n’est pas le problème d’alignement tel qu’il est étudié en laboratoire.

La recherche sur l’alignement en laboratoire se concentre sur des risques extrêmes : l’alignement trompeur, l’optimisation de mesa, la convergence instrumentale, les comportements de recherche de pouvoir. Ce sont là des axes de recherche importants. Mais les défaillances d’alignement qui affectent réellement les systèmes déployés aujourd’hui sont plus prosaïques.

Prenons l’exemple suivant : une communauté dotée de valeurs culturelles spécifiques, d’un vocabulaire spécifique et d’un ensemble spécifique d’engagements normatifs demande à un système d’IA de fonctionner dans le respect de ces engagements. Le système s’y conforme — la plupart du temps. Mais en cas de décalage de distribution (les normes de la communauté sont sous-représentées dans les données d’entraînement), le système revient silencieusement à son état antérieur : le centre statistique de sa distribution d’entraînement.

Il ne s’agit pas d’un alignement trompeur. Le système ne dissimule pas ses véritables objectifs. Il fait précisément ce que sa distribution d’entraînement prédit : produire la suite statistiquement la plus probable compte tenu du contexte d’entrée. Le problème est que « statistiquement le plus probable » et « approprié pour cette communauté » ne sont pas synonymes, et que cette divergence passe inaperçue. Aucune erreur n’est signalée. Aucun indicateur de confiance n’est activé. La sortie est fluide, cohérente et erronée d’une manière qui nécessite une expertise du domaine pour être détectée.

C’est ce problème d’alignement que Village AI est conçu pour résoudre — non pas les risques extrêmes liés aux systèmes superintelligents, mais l’échec banal, omniprésent et lourd de conséquences opérationnelles des modèles déployés à maintenir la fidélité aux valeurs spécifiques à une communauté en cas de changement de distribution.

La préoccupation liée à la trajectoire

Nous notons, sans prétendre résoudre le problème, que le problème d’alignement banal et le problème d’alignement extrême pourraient être liés.

Si les systèmes actuels ne parviennent pas à maintenir de manière fiable la fidélité à des instructions explicites lorsque celles-ci entrent en conflit avec des a priori distributionnels, cela prouve que les méthodes d’alignement en phase d’entraînement sont insuffisantes pour garantir une contrôlabilité robuste. Le mode de défaillance à l’échelle communautaire — la substitution silencieuse de motifs spécifiés par des motifs statistiquement dominants — est structurellement similaire au mode de défaillance qui préoccupe les chercheurs en alignement à l’échelle de la frontière : le modèle s’optimisant pour son objectif appris plutôt que pour l’objectif spécifié.

La différence réside dans les conséquences, et non dans le mécanisme. À l’échelle communautaire, la conséquence est une lettre pastorale qui utilise un langage thérapeutique au lieu d’un langage théologique. À l’échelle de la frontière, les conséquences pourraient être nettement plus graves.

L’approche architecturale que nous décrivons dans cette série — la vérification au moment de l’inférence par des systèmes structurellement indépendants — est pertinente pour les deux échelles, bien que nous ne prétendions pas qu’elle soit suffisante pour la seconde.

Ce que cette série examine

Les articles suivants examinent un système déployé spécifique qui adopte une approche différente du problème d’alignement :

L’article 2 analyse en détail le problème du biais de distribution, en examinant comment la composition des données d’entraînement détermine le comportement par défaut et ce que la spécialisation par domaine sur un modèle à 14 milliards de paramètres peut et ne peut pas réaliser.
L’article 3 présente l’incident 27027 comme une étude de cas d’échec d’alignement et décrit l’architecture Guardian Agent comme une approche de la séparation épistémique — des systèmes de vérification fonctionnant indépendamment du modèle qu’ils surveillent.
L’article 4 dresse un état des lieux sans concession de ce qui est actuellement en production, en précisant ce qui fonctionne, ce qui ne fonctionne pas et les limites non résolues dont nous avons connaissance.
L’article 5 examine comment la gouvernance architecturale s’étend au-delà du modèle pour englober la plateforme, et discute des compromis et des avantages de cette approche.

Architecture technique complète : Village AI — Gouvernance agentique. Formations destinées aux professionnels sur l’exploitation de ces systèmes sous contrôle humain : Travailler avec Claude et Agents au travail.

Cela vous a été utile ? Partagez cet article ou affichez un code QR à scanner.