Toutes les éditions · Leadership Edition

Your Community, Your AI — CC BY 4.0

Pourquoi les règles et la formation ne suffisent pas — Le défi de la gouvernance

La communication en matière d’urbanisme

Avant d’aborder la philosophie de la gouvernance, commençons par un exemple concret. (Tous les termes peu courants utilisés dans cette série sont définis en langage simple dans le glossaire.)

Une responsable municipale demande à un système d’IA de l’aider à rédiger une lettre à l’intention des habitants concernant un projet d’aménagement prévu à proximité d’une zone protégée. Elle est précise : elle souhaite un langage mesuré qui prenne en compte les préoccupations des habitants, explique le cadre d’urbanisme et précise clairement l’obligation de la municipalité de concilier les intérêts divergents en toute transparence. Elle tape soigneusement sa demande et attend.

L’IA produit une lettre bien structurée. Elle est fluide, professionnelle et soigneusement formulée. Elle parle de « gérer les attentes des parties prenantes », « s’aligner sur les priorités stratégiques », « tirer parti des opportunités d’engagement communautaire » et « positionner le discours sur le projet d’aménagement ». Elle se lit avec aisance. Elle semble professionnelle. Et elle est complètement à côté de la plaque.

Les habitants n’ont pas besoin que l’on gère leurs attentes. Ils ont besoin de comprendre ce que leur conseil municipal a décidé et pourquoi. Ils n’ont pas besoin d’un « récit ». Ils ont besoin d’un compte rendu transparent des considérations d’urbanisme, des observations reçues et du raisonnement qui sous-tend la décision. La fonctionnaire a demandé une reddition de comptes civique, et l’IA lui a fourni une gestion des parties prenantes d’entreprise — car ses données d’entraînement contiennent bien plus de communications commerciales que de correspondance municipale.

L’IA n’a pas refusé l’instruction de la fonctionnaire. Elle n’a pas dit : « Je ne comprends pas la notion de reddition de comptes publique. » Elle a simplement remplacé ce qu’elle avait demandé par ce qui était statistiquement plus courant dans ses données d’entraînement. Cette substitution s’est faite en silence. Si la fonctionnaire avait été pressée par le temps, moins expérimentée ou si elle s’était fiée à l’IA plus qu’elle n’aurait dû, elle ne s’en serait peut-être pas aperçue. La lettre aurait été envoyée, et les habitants auraient reçu un message les traitant comme des parties prenantes à gérer plutôt que comme des administrés à servir.

Votre téléphone corrige automatiquement les mots. Vous voyez le soulignement rouge, et vous corrigez l’erreur. L’IA corrige automatiquement les valeurs. Et il n’y a pas de soulignement.

Quand les schémas l’emportent sur les valeurs

Cette communication relative à l’urbanisme n’est pas un cas isolé. Le même mécanisme opère dans chaque interaction avec l’IA.

Lorsqu’un administré demande à un système d’IA des informations sur une question d’urbanisme complexe, le système utilise par défaut le langage des droits individuels des consommateurs — escalade des réclamations, recours réglementaires, approche conflictuelle — car c’est ce qui domine ses données d’entraînement. Il ne recourt pas au langage de l’intérêt communautaire, de la délibération collective et de la vision à long terme qui découle de la compréhension que cette décision façonnera un quartier pendant des décennies.

Lorsqu’un secrétaire de conseil d’administration demande à l’IA de l’aider à rédiger un procès-verbal, celle-ci utilise par défaut le langage des conseils d’administration d’entreprise — « le conseil a pris note », « il a été décidé », « des mesures ont été attribuées » — car les procès-verbaux d’entreprise sont nettement plus nombreux que ceux relatifs à la gouvernance communautaire dans ses données d’entraînement. Les nuances de la délibération communautaire — où les dissidences sont consignées, où une décision a été prise à contrecœur, où le raisonnement importe autant que la résolution — sont aplaties au profit de l’efficacité d’entreprise.

L’IA n’est pas hostile aux valeurs civiques. Elle ne les connaît tout simplement pas en profondeur. Elle sait ce qui est statistiquement courant, et ce qui est statistiquement courant n’est pas ce qui convient le mieux aux organisations ayant un devoir de diligence envers leurs communautés.

C’est là le problème de gouvernance. Ce n’est ni de la malveillance, ni de l’incompétence. Il s’agit d’un biais structurel, agissant en silence.

Lorsque l’IA agit, les enjeux s’intensifient

Tout ce qui précède s’appliquait lorsque l’IA se contentait de répondre. Comme l’indique l’article 1, l’IA agit de plus en plus — et lorsqu’un remplacement silencieux du devoir civique par un modèle commercial est associé à une action plutôt qu’à un projet, le problème de gouvernance s’aggrave de trois manières spécifiques qui se répercutent directement sur les préoccupations fiduciaires et réglementaires.

Certaines actions sont irréversibles. Un projet mal évalué peut être corrigé avant sa publication — il existe un délai entre la production de l’IA et la conséquence. Un agent qui envoie, classe, publie ou effectue une transaction supprime ce délai. Dans notre exemple, la responsable a repéré la lettre de l’entreprise parce qu’elle l’avait lue en premier. Un agent qui l’aurait diffusée aux habitants en son nom lui aurait ôté — ainsi qu’au conseil municipal — cette possibilité.

La responsabilité devient floue. Lorsqu’un agent agit au nom de l’organisation et que le résultat est erroné, qui est responsable ? Une responsable a fixé l’objectif ; le système a choisi les étapes ; le fournisseur a conçu le système ; le conseil d’administration en a autorisé l’utilisation. Les chercheurs parlent d’un « vide de responsabilité » et d’une « zone de déformation morale », dans lesquels la responsabilité retombe sur la personne la plus proche malgré un contrôle limité. Pour un organisme ayant un devoir de diligence, se voir attribuer la responsabilité d’actions que personne n’a autorisées constitue un échec de gouvernance, et non un malheur.

La surveillance ne peut pas reposer sur l’auto-justification du système. Une surveillance humaine significative — principe au cœur de la loi européenne sur l’IA — exige qu’une personne puisse comprendre et, si nécessaire, interrompre ce que fait le système. Or, le parcours d’un agent au cours d’une tâche comportant plusieurs étapes est ouvert, et, comme le souligne l’article 1, le compte rendu que l’IA fait de son propre raisonnement ne reflète pas de manière fiable ce qui a motivé ses actions. La surveillance doit donc être structurelle — exercée sur les actions et les résultats du système, et non déléguée à son auto-évaluation.

Rien de tout cela ne va à l’encontre d’une IA qui agit. Cela signifie simplement que la discipline qui était recommandée à l’ère des chatbots est désormais obligatoire à l’ère des agents : le comportement du système doit être contrôlé depuis l’extérieur, un humain responsable doit rester en mesure d’intervenir, et les décisions lourdes de conséquences et irréversibles doivent rester du ressort de ceux qui détiennent le pouvoir de les prendre. C’est ce que décrit la suite de cet article.

Pourquoi multiplier les règles ne résout pas le problème

Face aux risques liés à l’IA, l’instinct de la plupart des organisations est de rédiger des politiques. Des politiques d’utilisation acceptable. Des lignes directrices en matière d’éthique de l’IA. Des cadres pour une IA responsable. Des mandats pour les comités de supervision de l’IA.

Ces documents ne sont pas sans valeur, mais ils présentent une limite fondamentale : ils reposent sur le fait que le système d’IA les respecte.

Un système d’IA ne lit pas votre politique d’utilisation acceptable pour décider de s’y conformer. Il génère des réponses en se basant sur des modèles statistiques présents dans ses données d’entraînement. Si ces modèles entrent en conflit avec votre politique, ce sont les modèles qui l’emportent — non pas parce que l’IA fait preuve de défiance, mais parce qu’elle ne traite pas les politiques. Elle traite les modèles.

Vous pouvez affiner un modèle — ajuster son apprentissage pour privilégier certains comportements. Cela aide, mais cela ne résout pas le problème sous-jacent. L’ajustement ajoute de nouveaux modèles à ceux qui existent déjà. Sous pression, dans des circonstances inhabituelles ou face à des questions inédites, les anciens modèles reprennent le dessus. Le terme technique est « oubli catastrophique », mais l’explication en langage clair est plus simple : l’apprentissage s’estompe.

Rédiger une politique stipulant que « notre IA respectera les valeurs de notre communauté » revient à rédiger une politique affirmant que « notre rivière ne débordera pas ». La rivière ne lit pas les politiques. Si vous voulez prévenir les inondations, vous devez construire des digues — des interventions structurelles qui fonctionnent indépendamment du comportement de la rivière.

La gouvernance de l’IA nécessite la même approche. Il ne s’agit pas de règles que l’IA est censée suivre, mais de structures qui fonctionnent indépendamment de l’IA, en contrôlant son comportement de l’extérieur.

La loi européenne sur l’IA reconnaît ce principe. Elle n’exige pas simplement que les systèmes d’IA soient « éthiques » — elle exige une documentation technique, des évaluations de conformité, des mécanismes de supervision humaine et un suivi après mise sur le marché. Les auteurs de la loi ont compris qu’une aspiration sans architecture est insuffisante. La question qui se pose aux instances de gouvernance est de savoir si leur propre adoption de l’IA reflète cette même compréhension.

Ce que nous apprend la théorie de la gouvernance

L’idée selon laquelle certaines décisions ne peuvent se réduire à des règles n’est pas nouvelle. Elle est fondamentale dans la théorie de la gouvernance.

Le philosophe Ludwig Wittgenstein a consacré sa carrière à explorer la frontière entre ce qui peut être énoncé avec précision et ce qui se situe au-delà de toute formulation précise. Sa conclusion — selon laquelle « dont on ne peut parler, il faut se taire » — s’applique directement à la gouvernance de l’IA. Certaines questions peuvent être systématisées : « Quand aura lieu la prochaine réunion du conseil ? » a une réponse précise qu’une IA peut trouver. D’autres questions ne le peuvent pas : « Comment devrions-nous communiquer cette décision aux habitants concernés ? » implique un jugement, un contexte, des relations et des valeurs qui résistent à un traitement systématique.

La frontière entre ce qui peut être délégué à une machine et ce qui doit rester du ressort des humains constitue le fondement d’une gouvernance solide de l’IA. L’erreur n’est pas d’utiliser l’IA pour le premier type de question. L’erreur est de permettre à l’IA de traiter le second type sans supervision humaine.

Isaiah Berlin, le philosophe politique, a soutenu que certaines valeurs humaines sont véritablement incompatibles — liberté et égalité, tradition et progrès, droits individuels et bien-être collectif. Il n’existe aucune formule permettant de résoudre ces tensions. Elles nécessitent un jugement humain constant, une négociation et ce type de sagesse pratique que les instances de gouvernance acquièrent au fil des années passées au service de leurs communautés.

Les systèmes d’IA, de par leur conception, cherchent à optimiser. Ils recherchent la meilleure réponse. Mais lorsque les valeurs sont véritablement en conflit, il n’y a pas de meilleure réponse — il n’y a que la réponse que cette communauté, à ce moment-là, dans ces circonstances, juge la plus appropriée. Ce jugement est intrinsèquement humain, et tout cadre de gouvernance de l’IA qui part du principe contraire ne gouverne pas — il abdique.

Les travaux d’Elinor Ostrom sur la gouvernance des biens communs sont particulièrement instructifs. Ostrom a démontré que les communautés peuvent réussir à gérer des ressources partagées sans privatisation ni contrôle centralisé — mais uniquement lorsque les structures de gouvernance sont à la hauteur de la complexité de la ressource gérée. L’IA est une ressource partagée au sein de toute organisation qui l’adopte. La question est de savoir si les structures de gouvernance sont à la hauteur de la complexité de l’outil.

Comment Village gère l’IA sur le plan structurel

Village ne se contente pas de dire à l’IA comment se comporter. L’entreprise intègre la gouvernance dans l’architecture — des structures qui fonctionnent indépendamment de l’IA et ne peuvent pas être contournées par celle-ci.

Le « gardien des limites » empêche l’IA de prendre des décisions liées aux valeurs — et d’entreprendre de manière autonome des actions ayant des conséquences importantes. Lorsqu’une question implique des compromis en matière de vie privée, des jugements éthiques ou un contexte culturel, ou lorsqu’une tâche reviendrait à agir au nom de l’organisation, le système s’arrête et la transmet à un humain — votre modérateur, votre président, votre conseil d’administration. L’IA ne peut pas outrepasser cette limite, car celle-ci fonctionne hors du contrôle de l’IA. Il s’agit là de la forme structurelle de l’exigence de supervision humaine prévue par la loi européenne sur l’IA : le point d’intervention est intégré au système, et non laissé au hasard.

Le système de persistance des instructions stocke les instructions explicites de votre organisation dans un système distinct que l’IA ne peut pas modifier. Lorsque l’IA génère une réponse, celle-ci est comparée à ces instructions stockées. Si la réponse contredit une instruction, c’est l’instruction qui prévaut — par défaut, indépendamment de ce que suggèrent les modèles d’apprentissage de l’IA.

Le validateur de recoupement compare les résultats et les actions proposés par l’IA aux dossiers réels de votre organisation. Il ne demande pas à l’IA si sa réponse est correcte — cela reviendrait à demander au système de se vérifier lui-même, et comme l’indique l’article 1, on ne peut pas se fier à l’explication donnée par une IA de son propre raisonnement pour déterminer ce qui a réellement motivé sa réponse. Le validateur ne tient donc pas compte de l’auto-évaluation du système. Il utilise des mesures mathématiques, fonctionnant d’une manière fondamentalement différente de celle de l’IA, pour déterminer si la réponse s’appuie sur le contenu réel de votre communauté. Il vérifie le résultat, et non l’explication.

Le moniteur de pression contextuelle surveille les conditions de fonctionnement dégradées — les situations où l’IA est soumise à une forte charge, traite des requêtes complexes ou est confrontée à des questions inédites. Lorsqu’il détecte ces conditions, il intensifie la vérification. Plus la question est difficile, plus la réponse fait l’objet d’un examen minutieux.

Ce ne sont pas des politiques. Ce sont des structures. Elles fonctionnent que les modèles de l’IA s’y conforment ou non, de la même manière qu’une digue fonctionne que le fleuve coopère ou non.

La différence entre aspiration et architecture

De nombreuses organisations publient des déclarations d’éthique relatives à l’IA. Village ne s’appuie pas sur des déclarations d’éthique. Elle s’appuie sur des contraintes architecturales qui imposent la gouvernance de manière structurelle.

Cette distinction est importante, car l’aspiration correspond à ce que l’on espère voir se produire. L’architecture, quant à elle, correspond à ce qui se produit réellement. Votre confiance ne repose pas sur l’espoir que le trésorier gère correctement les fonds — elle nécessite une double signature et un audit indépendant. C’est cela, la gouvernance architecturale. Le même principe s’applique à l’IA.

Pour les instances de gouvernance, cette distinction se traduit directement par des exigences réglementaires. La loi européenne sur l’IA ne se contente pas des bonnes intentions d’un fournisseur : elle exige des mesures de protection techniques démontrables, la journalisation des activités et des mécanismes de supervision humaine. Une organisation capable de démontrer la gouvernance architecturale de son IA se trouve dans une situation de conformité fondamentalement différente de celle qui ne peut que se référer à un document de politique générale.

Le cadre Tractatus — Transparent et ouvert

L’architecture de gouvernance qui sous-tend Village AI s’appelle le cadre Tractatus. Il convient d’en savoir trois choses.

Il est ouvert. L’intégralité du cadre est publiée sous une licence open source. Tout le monde peut lire le code, examiner les règles et vérifier que la gouvernance fonctionne bien comme prévu. C’est l’opposé de la gouvernance de l’IA pratiquée par les géants de la tech, où les règles sont propriétaires et le raisonnement non divulgué. Lorsqu’un grand fournisseur d’IA vous affirme que son système est « aligné sur les valeurs humaines », vous n’avez aucun moyen de vérifier cette affirmation. Avec Tractatus, vous pouvez lire chaque ligne.

Il est transparent. Chaque décision de gouvernance est consignée. Lorsque le « boundary enforcer » empêche l’IA de prendre une décision relative aux valeurs, cet événement est enregistré. Lorsque le « cross-reference validator » identifie une divergence, celle-ci est enregistrée. Vos modérateurs et administrateurs peuvent voir précisément ce que le système de gouvernance a fait et pourquoi. Il n’y a pas de couche cachée où les décisions sont prises sans obligation de rendre des comptes. Pour les organisations soumises à des obligations en matière de liberté d’information ou à des exigences de responsabilité publique, cette auditabilité est d’une importance capitale.

Il est adaptable. Le cadre n’est pas un ensemble rigide de règles imposées de l’extérieur. Les organisations peuvent façonner la gouvernance afin qu’elle reflète leurs propres priorités. Un conseil municipal et une fondation communautaire ont des obligations différentes, des sensibilités différentes, des limites différentes. Le cadre Tractatus tient compte de cela — non pas en permettant aux organisations d’affaiblir la gouvernance, mais en leur permettant de définir ce que la gouvernance protège. Les statuts de votre organisation, votre cadre de valeurs, vos limites opérationnelles — appliqués de manière structurelle, et non pas simplement consignés par écrit.

Le cadre complet, y compris les travaux de recherche sur lesquels il s’appuie, est disponible sur agenticgovernance.digital. Vous n’avez pas besoin de le lire pour utiliser Village : la gouvernance fonctionne, que vous l’examiniez ou non. Mais si vous souhaitez comprendre précisément comment votre IA est gouvernée, ou si vous devez démontrer votre conformité à un organisme de réglementation, la porte vous est ouverte.

Dans le prochain article, nous examinerons ce que Village AI fait concrètement aujourd’hui : en quoi il peut aider votre organisation, comment les biais sont traités grâce au système de vocabulaire, et ce qui est encore en cours de développement.

Vous souhaitez utiliser correctement et en toute sécurité des outils d’IA comme ceux-ci ? Nos formations gratuites — Travailler avec Claude et Agents at Work — vous enseignent les compétences pratiques nécessaires. Pour découvrir l’architecture de gouvernance complète qui sous-tend Village AI, consultez Village AI — Agentic Governance.