Toutes les éditions · Business Edition

Your Community, Your AI — CC BY 4.0

Pourquoi les règles et la formation ne suffisent pas — Le défi de la gouvernance

La lettre au client

Avant d’aborder la philosophie de la gouvernance, commençons par l’histoire d’une lettre. (Tous les termes peu courants utilisés dans cette série sont définis en langage simple dans le glossaire.)

Une directrice demande à un système d’IA de l’aider à rédiger une lettre destinée à une cliente de longue date dont le compte est en retard de paiement. Elle est très précise : elle souhaite un ton qui tienne compte de la relation — quinze ans de collaboration fiable — tout en étant claire sur le solde impayé. Le client traverse une période difficile, et la lettre doit être ferme mais respectueuse. Elle tape soigneusement sa demande et attend.

L’IA produit une lettre bien structurée. Elle est professionnelle, claire et correctement mise en forme. Elle évoque des « obligations en souffrance », une « mesure corrective requise dans les 14 jours », un « transfert vers notre service de recouvrement » et « notre devoir de protéger les intérêts de toutes les parties prenantes ». Elle se lit bien. Elle semble professionnelle. Et elle est complètement à côté de la plaque.

Le client n’a pas besoin d’une menace de recouvrement. Il a besoin de savoir que la relation est valorisée et qu’un plan de paiement est disponible. La directrice a demandé de la fermeté dans le contexte de cette relation, et l’IA lui a fourni un modèle standard de recouvrement de créances — car ses données d’entraînement contiennent mille lettres de recouvrement pour chaque lettre qui concilie fermeté et souci sincère d’un partenariat de longue date.

L’IA n’a pas refusé l’instruction de la directrice. Elle n’a pas dit : « Je ne comprends pas votre relation avec ce client. » Elle a simplement remplacé ce qu’elle avait demandé par ce qui était statistiquement plus courant dans ses données d’entraînement. Ce remplacement s’est fait en silence. Si la directrice avait été occupée, distraite ou moins attentive que d’habitude, elle ne l’aurait peut-être pas remarqué. La lettre aurait été envoyée, et une relation de quinze ans aurait reçu une demande dépourvue de tact — rédigée de manière professionnelle, correctement mise en forme, mais tout à fait inappropriée.

Votre téléphone corrige automatiquement les mots. Vous voyez le soulignement rouge, et vous corrigez l’erreur. L’IA corrige automatiquement les valeurs. Et il n’y a pas de soulignement.

Quand les schémas prennent le pas sur les valeurs

La lettre au client n’est pas un cas isolé. Le même mécanisme opère dans chaque interaction avec l’IA.

Lorsqu’un membre de l’équipe demande conseil à un système d’IA au sujet d’un désaccord au travail, le système se rabat par défaut sur le langage des RH américaines — procédures formelles de réclamation, documentation à des fins de contentieux, « création d’une trace écrite » — car c’est ce qui domine ses données d’entraînement. Il ne recourt pas au langage de la médiation, de la résolution coopérative des problèmes, ni à la conversation pragmatique qui caractérise les petites structures où les personnes travaillent ensemble depuis des années.

Lorsqu’un responsable demande à l’IA de l’aider à communiquer une décision difficile à son équipe, celle-ci se rabat par défaut sur les schémas de communication d’entreprise — gestion des parties prenantes, messages clés, divulgation contrôlée — car les communications internes des entreprises du Fortune 500 sont largement plus nombreuses que les communications réfléchies des dirigeants de petites entreprises dans ses données d’entraînement.

L’IA n’est pas hostile à la culture de votre organisation. Elle ne la connaît tout simplement pas. Elle sait ce qui est statistiquement courant, et ce qui est statistiquement courant n’est pas forcément ce qui convient à votre entreprise.

C’est là le problème de gouvernance. Ce n’est ni de la malveillance, ni de l’incompétence. Il s’agit d’un biais structurel, qui opère en silence.

Lorsque l’IA agit, les enjeux s’intensifient

Tout ce qui précède était vrai lorsque l’IA se contentait de répondre. Comme l’a décrit l’article 1, l’IA agit de plus en plus — et lorsqu’une substitution silencieuse de valeurs est associée à une action plutôt qu’à une phrase, le problème de gouvernance s’aggrave de trois manières spécifiques. Les experts en gouvernance qui étudient les agents IA soulignent ces trois points.

Certaines actions sont irréversibles. Un brouillon mal rédigé peut être corrigé avant d’être envoyé — il existe un délai entre la production de l’IA et la conséquence. Un agent qui envoie, classe, enregistre, supprime ou effectue un paiement supprime ce délai. La directrice de notre histoire a repéré cette lettre maladroite parce qu’elle l’avait lue en premier. Un agent qui l’aurait envoyée par e-mail à ce client de quinze ans en son nom ne lui aurait pas donné cette chance.

La responsabilité devient floue. Lorsqu’un agent agit en votre nom et que le résultat est erroné, qui est responsable ? Vous avez défini un objectif en une phrase ; le système a choisi les étapes ; l’entreprise a conçu le système. Les chercheurs qualifient le fossé qui s’ouvre ici de « fossé de responsabilité » — et mettent en garde contre la « zone de déformation morale », où la responsabilité retombe sur la personne la plus proche, même si celle-ci n’avait que peu de contrôle réel. Pour une entreprise qui reste responsable vis-à-vis de ses clients, de son personnel et des autorités de régulation, endosser la responsabilité sans avoir de contrôle n’est pas un risque hypothétique.

Vous ne pouvez pas donner votre consentement total à ce que vous ne pouvez pas prévoir. Un consentement authentique implique de comprendre ce à quoi vous consentez. Or, le cheminement d’un agent à travers une tâche en plusieurs étapes est ouvert, et — comme l’a souligné l’article 1 — même l’explication que donne l’IA de son raisonnement ne reflète pas de manière fiable ce qui a motivé ses actions. On peut consentir à un objectif ; on ne peut pas consentir de manière significative, à l’avance, à chaque étape qu’un système autonome pourrait franchir pour l’atteindre. (Certaines conceptions tentent de réduire cet écart en vous présentant un plan avant d’agir ; cela aide, mais ne comble pas l’écart.)

Rien de tout cela ne s’oppose à l’utilisation d’une IA qui agit. Cela montre simplement que la discipline qui était recommandée à l’ère des chatbots devient essentielle à l’ère des agents : le comportement de l’IA doit être contrôlé par une entité extérieure à l’IA, un humain doit rester en mesure d’intervenir, et les décisions lourdes de conséquences et irréversibles doivent rester entre les mains des humains. C’est exactement le sujet du reste de cet article.

Pourquoi multiplier les règles ne résout pas le problème

Face aux risques liés à l’IA, l’instinct de la plupart des organisations est de rédiger des politiques. Des politiques d’utilisation acceptable. Des lignes directrices en matière d’éthique de l’IA. Des conditions générales d’utilisation. Des cadres pour une IA responsable.

Ces documents ne sont pas inutiles, mais ils présentent une limite fondamentale : ils reposent sur le fait que le système d’IA les respecte.

Un système d’IA ne lit pas votre document de politique et ne décide pas de s’y conformer. Il génère des réponses en se basant sur des modèles statistiques présents dans ses données d’entraînement. Si ces modèles entrent en conflit avec votre politique, ce sont les modèles qui l’emportent — non pas parce que l’IA est rebelle, mais parce qu’elle ne comprend pas les politiques. Elle comprend les modèles.

Vous pouvez affiner un modèle — ajuster son apprentissage pour privilégier certains comportements. Cela aide, mais ne résout pas le problème sous-jacent. L’affinage ajoute de nouveaux modèles à ceux qui existent déjà. Sous pression, dans des circonstances inhabituelles ou face à des questions inédites, les anciens modèles reprennent le dessus. Le terme technique est « oubli catastrophique », mais l’explication en langage clair est plus simple : l’apprentissage s’estompe.

Rédiger une politique stipulant « Notre IA respectera les valeurs de notre organisation », c’est comme rédiger une politique stipulant « Notre rivière ne débordera pas ». La rivière ne lit pas les politiques. Si vous voulez prévenir les inondations, vous devez construire des digues — des interventions structurelles qui fonctionnent indépendamment des intentions de la rivière.

La gouvernance de l’IA nécessite la même approche. Il ne s’agit pas de règles que l’IA est censée suivre, mais de structures qui fonctionnent indépendamment de l’IA, en contrôlant son comportement depuis l’extérieur.

Ce que nous enseignent les traditions de gouvernance

L’idée selon laquelle certaines décisions ne peuvent se réduire à des règles n’est pas nouvelle. Elle est ancienne.

Le philosophe Ludwig Wittgenstein a consacré sa carrière à explorer la frontière entre ce qui peut être énoncé avec précision et ce qui se situe au-delà de toute formulation précise. Sa conclusion — selon laquelle « ce dont on ne peut parler, il faut le taire » — s’applique directement à la gouvernance de l’IA. Certaines questions peuvent être systématisées : « Quel est le solde du compte 4072 ? » a une réponse précise qu’une IA peut trouver. D’autres questions ne le peuvent pas : « Comment devons-nous aborder la discussion sur les tarifs avec ce client en particulier ? » implique un jugement, un contexte, des relations et des valeurs qui résistent à un traitement systématique.

La frontière entre ce qui peut être délégué à une machine et ce qui doit rester du ressort des humains constitue le fondement d’une gouvernance solide de l’IA. L’erreur n’est pas d’utiliser l’IA pour le premier type de question. L’erreur est de permettre à l’IA de répondre au second type sans supervision humaine.

Isaiah Berlin, le philosophe politique, a soutenu que certaines valeurs humaines sont véritablement incompatibles : efficacité et rigueur, croissance et stabilité, initiative individuelle et coordination collective. Il n’existe aucune formule permettant de résoudre ces tensions. Elles nécessitent un jugement humain constant, une négociation et ce type de sagesse pratique que les organisations développent au fil des années de collaboration.

Les systèmes d’IA, de par leur conception, cherchent à optimiser. Ils recherchent une réponse unique. Mais lorsque les valeurs sont véritablement en conflit, il n’y a pas de réponse unique — il n’y a que la réponse que cette organisation, à ce moment précis, avec ces personnes, juge être le juste équilibre. Ce jugement est intrinsèquement humain, et tout cadre de gouvernance de l’IA qui prétend le contraire ne gouverne pas — il abdique.

La tradition coopérative a sa propre version de cette idée. Le contrôle démocratique par les membres — un membre, une voix — n’est pas une mesure d’efficacité. C’est la reconnaissance du fait que les décisions légitimes nécessitent la participation des personnes concernées. Une coopérative qui pratique ce type de gouvernance depuis des décennies comprend déjà, au plus profond d’elle-même, pourquoi on ne peut pas confier à l’IA les décisions relatives aux valeurs.

Comment Village gouverne l’IA sur le plan structurel

Village ne se contente pas de dire à l’IA comment se comporter. Elle intègre la gouvernance dans son architecture — des structures qui fonctionnent indépendamment de l’IA et ne peuvent pas être contournées par celle-ci.

Le « gardien des limites » empêche l’IA de prendre des décisions liées aux valeurs — et de mener de son propre chef des actions ayant des conséquences importantes. Lorsqu’une question implique des compromis en matière de vie privée, des jugements éthiques ou le contexte relationnel, ou lorsqu’une tâche reviendrait à agir au nom de votre organisation, le système s’arrête et la transmet à un humain — votre responsable, votre directeur, votre conseil d’administration. L’IA ne peut pas outrepasser cette limite, car celle-ci fonctionne hors de son contrôle. C’est la réponse structurelle au problème du « manque d’occasions d’intervenir » : la possibilité d’intervenir est intégrée au système, elle n’est pas laissée au hasard.

Le système de persistance des instructions stocke les instructions explicites de votre organisation dans un système distinct que l’IA ne peut pas modifier. Lorsque l’IA génère une réponse, celle-ci est comparée à ces instructions stockées. Si la réponse contredit une instruction, c’est l’instruction qui prévaut — par défaut, indépendamment de ce que suggèrent les modèles d’apprentissage de l’IA.

Le validateur de recoupement vérifie les réponses et les actions proposées par l’IA par rapport aux dossiers réels de votre organisation. Il ne demande pas à l’IA si sa réponse est correcte — cela reviendrait à demander au système de se vérifier lui-même, et comme l’explique l’article 1, on ne peut pas se fier à l’explication donnée par une IA de son propre raisonnement pour savoir ce qui a réellement motivé sa réponse. Le validateur ignore donc totalement l’auto-évaluation de l’IA. Il utilise des mesures mathématiques, fonctionnant d’une manière fondamentalement différente de celle de l’IA, pour déterminer si la réponse s’appuie sur le contenu réel de votre organisation. Il vérifie le travail, pas l’explication.

Le moniteur de pression contextuelle surveille les conditions de fonctionnement dégradées — les situations où l’IA est sous pression, traite des demandes complexes ou est confrontée à des questions inédites. Lorsqu’il détecte ces conditions, il renforce l’intensité de la vérification. Plus la question est difficile, plus la réponse fait l’objet d’un examen minutieux.

Il ne s’agit pas de politiques. Ce sont des structures. Elles fonctionnent que l’IA soit d’accord ou non avec elles, de la même manière qu’une digue fonctionne que le fleuve soit d’accord ou non avec elle.

La différence entre aspiration et architecture

De nombreuses organisations publient des déclarations éthiques relatives à l’IA. Village ne s’appuie pas sur des déclarations éthiques. Il s’appuie sur des contraintes architecturales qui imposent la gouvernance de manière structurelle.

Cette distinction est importante, car l’aspiration correspond à ce que l’on espère voir se produire. L’architecture, c’est ce qui se passe réellement. Votre entreprise ne se contente pas d’espérer que le responsable financier gère correctement les fonds : elle exige une double autorisation pour les paiements dépassant un certain seuil. C’est cela, la gouvernance architecturale. Le même principe s’applique à l’IA.

Le cadre Tractatus — Transparent et ouvert

L’architecture de gouvernance qui sous-tend Village AI s’appelle le cadre Tractatus. Il convient d’en savoir trois choses.

Il est ouvert. L’intégralité du cadre est publiée sous une licence open source. N’importe qui peut lire le code, examiner les règles et vérifier que la gouvernance fait bien ce qu’elle prétend faire. C’est l’opposé de la gouvernance de l’IA pratiquée par les géants de la tech, où les règles sont propriétaires et le raisonnement dissimulé. Lorsque Google ou OpenAI vous affirment que leur IA est « alignée sur les valeurs humaines », vous n’avez aucun moyen de le vérifier. Avec Tractatus, vous pouvez lire chaque ligne de code.

Il est transparent. Chaque décision de gouvernance est consignée. Lorsque le « boundary enforcer » empêche l’IA de prendre une décision relative aux valeurs, cet événement est enregistré. Lorsque le « cross-reference validator » détecte une incohérence, celle-ci est enregistrée. Vos responsables peuvent voir exactement ce que le système de gouvernance a fait et pourquoi. Il n’y a pas de couche cachée où les décisions sont prises sans obligation de rendre des comptes.

Il est adaptable. Le cadre n’est pas un ensemble rigide de règles imposées de l’extérieur. Les organisations peuvent façonner la gouvernance pour qu’elle reflète leurs propres priorités. Un cabinet d’avocats et une coopérative alimentaire ont des sensibilités différentes, des exigences de conformité différentes, des limites différentes. Le cadre Tractatus tient compte de cela — non pas en permettant aux organisations d’affaiblir la gouvernance, mais en leur permettant de définir ce que la gouvernance protège. Les statuts de votre organisation, vos valeurs opérationnelles, vos exigences de conformité — appliquées de manière structurelle, et pas seulement consignées sur papier.

Le cadre complet, y compris les recherches qui le sous-tendent, est disponible sur agenticgovernance.digital. Vous n’avez pas besoin de le lire pour utiliser Village : la gouvernance fonctionne, que vous l’examiniez ou non. Mais si vous souhaitez comprendre exactement comment votre IA est gouvernée, la porte vous est ouverte.

Dans le prochain article, nous examinerons ce que Village AI fait concrètement aujourd’hui : en quoi il peut aider votre entreprise, comment les biais sont traités grâce au système de vocabulaire, et ce qui reste encore à perfectionner.

Vous souhaitez utiliser correctement et en toute sécurité des outils d’IA comme ceux-ci ? Nos formations gratuites — Travailler avec Claude et Agents at Work — vous enseignent les compétences pratiques nécessaires. Pour découvrir l’architecture de gouvernance complète qui sous-tend Village AI, consultez Village AI — Agentic Governance.