Toutes les éditions · Family Edition

Your Community, Your AI — CC BY 4.0

Pourquoi les règles et la formation ne suffisent pas — Le défi de la gouvernance

L’hommage funéraire

Avant d’aborder la philosophie de la gouvernance, commençons par l’histoire d’un hommage. (Tous les termes peu courants utilisés dans cette série sont définis en langage simple dans le glossaire.)

Une aînée de la famille demande à un système d’IA de l’aider à rédiger un hommage pour la cérémonie commémorative de son père. Elle est très précise : elle souhaite que ce texte rende compte de qui il était vraiment — cet homme discret qui réparait les vélos de tout le monde, qui chantait faux dans la voiture, qui entretenait un jardin qui nourrissait la moitié du quartier. Elle tape soigneusement sa demande et attend.

L’IA produit un hommage magnifiquement rédigé. Il est chaleureux, professionnel et empreint de compassion. Il parle de « célébrer une vie bien remplie », de « tourner la page », d’« honorer son héritage » et des « souvenirs qui vous soutiendront ». Il se lit bien. Il semble bienveillant. Et il est complètement à côté de la plaque.

La famille n’a pas besoin de paroles de réconfort génériques. Elle a besoin de son père — le vrai homme, pas un modèle tout fait. Elle n’a pas besoin de « célébrer une vie bien remplie » avec des mots qui pourraient s’appliquer à n’importe qui. Elle a besoin d’entendre parler de la pompe à vélo, des chants faux et des tomates qu’il cultivait chaque été sans faute. La vieille dame a demandé quelque chose de personnel, et l’IA lui a donné quelque chose de générique — car ses données d’entraînement contiennent mille modèles d’éloges funèbres pour chaque texte qui rend compte d’une personne réelle.

L’IA n’a pas refusé sa demande. Elle n’a pas dit : « Je ne connais pas votre père. » Elle a simplement remplacé ce qu’elle avait demandé par ce qui était statistiquement plus courant dans ses données d’entraînement. Ce remplacement s’est fait en silence. Si elle avait été fatiguée, pressée ou moins attentive que d’habitude, elle ne l’aurait peut-être pas remarqué. L’hommage aurait été lu lors de la cérémonie commémorative, et la famille aurait entendu à propos de leur père des mots qui auraient pu s’appliquer à n’importe qui — formulés de manière professionnelle, prononcés avec sincérité, mais dépourvus de tout ce qui comptait vraiment.

Votre téléphone corrige automatiquement les mots. Vous voyez le soulignement rouge, et vous corrigez l’erreur. L’IA corrige automatiquement les valeurs. Et il n’y a pas de soulignement.

Quand les schémas prennent le pas sur ce qui compte

Cet hommage lors de la cérémonie n’est pas un cas isolé. Le même mécanisme opère dans chaque conversation avec l’IA.

Lorsqu’un membre de la famille demande conseil à un système d’IA sur la prise en charge d’un parent âgé, le système utilise par défaut le langage des services de soins professionnels — évaluation des besoins, plans de soins, options de répit — car c’est ce qui prédomine dans ses données d’entraînement. Il ne recourt pas au langage des devoirs familiaux, de la rotation des tâches, de la complicité tacite entre frères et sœurs qui savent qu’ils se retrouveront autour de la table à Noël pendant encore des décennies.

Lorsqu’une personne demande à l’IA de l’aider à rédiger un message concernant une question familiale délicate — un désaccord sur un héritage, une conversation difficile au sujet de la santé d’un proche —, le système se rabat par défaut sur les schémas de communication d’entreprise, car la correspondance professionnelle est largement plus nombreuse que la correspondance familiale dans ses données d’entraînement.

L’IA n’est pas hostile aux valeurs de votre famille. Elle ne connaît tout simplement pas les valeurs de votre famille. Elle sait ce qui est statistiquement courant, et ce qui est statistiquement courant n’est pas ce qui compte pour votre famille.

C’est là le problème de gouvernance. Ce n’est ni de la malveillance, ni de l’incompétence. Il s’agit d’un biais structurel, qui opère en silence.

Lorsque l’IA agit, les enjeux s’intensifient

Tout ce qui précède était vrai lorsque l’IA se contentait de répondre. Comme le décrit l’article 1, l’IA agit de plus en plus — et lorsqu’une substitution silencieuse de valeurs est associée à une action plutôt qu’à une phrase, le problème de gouvernance s’aggrave de trois manières spécifiques. Les experts qui étudient les agents d’IA soulignent ces trois points.

Certaines actions sont irréversibles. Un brouillon mal rédigé peut être corrigé avant d’être envoyé — il y a un laps de temps entre la production de l’IA et la conséquence. Un agent qui envoie, publie, enregistre, supprime ou classe élimine ce laps de temps. L’aînée de la famille dans notre histoire a repéré l’hommage générique parce qu’elle l’a lu en premier. Un agent qui l’aurait diffusé à toute la famille en son nom ne lui aurait pas donné cette chance.

La responsabilité devient floue. Lorsqu’un agent agit en votre nom et que le résultat est erroné, qui est responsable ? Vous avez défini un objectif en une phrase ; le système a choisi les étapes ; l’entreprise a conçu le système. Les chercheurs appellent le fossé qui s’ouvre ici un « fossé de responsabilité » — et mettent en garde contre la « zone de déformation morale », où la faute retombe sur la personne la plus proche même si celle-ci n’avait que peu de contrôle réel. Une famille qui laisse un agent extérieur agir en son nom hérite de la responsabilité sans en avoir le contrôle.

Vous ne pouvez pas donner votre consentement total à ce que vous ne pouvez pas prévoir. Un consentement authentique implique de comprendre ce à quoi vous consentez. Or, le cheminement d’un agent au cours d’une tâche en plusieurs étapes est ouvert, et — comme le soulignait l’article 1 — même le compte rendu que l’IA donne de son raisonnement ne reflète pas de manière fiable ce qui a motivé ses actions. On peut consentir à un objectif ; on ne peut pas consentir de manière significative, à l’avance, à chaque étape qu’un système autonome pourrait franchir pour l’atteindre. (Certaines conceptions tentent de réduire cet écart en vous présentant un plan avant d’agir ; cela aide, mais ne comble pas entièrement l’écart.)

Rien de tout cela ne s’oppose à l’utilisation d’une IA qui agit. Cela montre simplement que la discipline qui était recommandée à l’ère des chatbots devient essentielle à l’ère des agents : le comportement de l’IA doit être contrôlé par une entité extérieure à l’IA, une personne doit toujours pouvoir intervenir, et les décisions lourdes de conséquences et irréversibles doivent rester entre les mains des humains. C’est exactement le sujet du reste de cet article.

Pourquoi multiplier les règles ne résout pas le problème

Face aux risques liés à l’IA, l’instinct de la plupart des organisations est de rédiger des politiques. Des politiques d’utilisation acceptable. Des lignes directrices en matière d’éthique de l’IA. Des conditions générales d’utilisation. Des cadres pour une IA responsable.

Ces documents ne sont pas inutiles, mais ils présentent une limite fondamentale : ils reposent sur le fait que le système d’IA les respecte.

Un système d’IA ne lit pas vos règles pour décider de s’y conformer. Il génère des réponses en se basant sur des modèles statistiques présents dans ses données d’entraînement. Si ces modèles entrent en conflit avec vos règles, ce sont les modèles qui l’emportent — non pas parce que l’IA est rebelle, mais parce qu’elle ne comprend pas les règles. Elle comprend les modèles.

Vous pouvez affiner un modèle — ajuster son apprentissage pour privilégier certains comportements. Cela aide, mais ne résout pas le problème sous-jacent. L’affinage ajoute de nouveaux modèles à ceux qui existent déjà. Sous pression, dans des circonstances inhabituelles ou face à des questions inédites, les anciens modèles reprennent le dessus. Le terme technique est « oubli catastrophique », mais l’explication en langage clair est plus simple : l’apprentissage s’estompe.

Écrire une règle stipulant « Notre IA respectera les valeurs de notre famille » revient à écrire une règle stipulant « Notre rivière ne débordera pas ». La rivière ne lit pas les règles. Si vous voulez prévenir les inondations, vous devez construire des digues — des interventions structurelles qui fonctionnent quoi que fasse la rivière.

La gouvernance de l’IA nécessite la même approche. Non pas des règles que l’IA est censée suivre, mais des structures qui fonctionnent indépendamment de l’IA, en contrôlant son comportement depuis l’extérieur.

Ce que nous enseigne la sagesse ancestrale

L’idée selon laquelle certaines décisions ne peuvent se réduire à des règles n’est pas nouvelle. Elle est ancienne.

Le philosophe Ludwig Wittgenstein a consacré sa carrière à explorer la frontière entre ce qui peut être énoncé avec précision et ce qui se situe au-delà de toute formulation précise. Sa conclusion — selon laquelle « ce dont on ne peut parler, il faut le taire » — s’applique directement à la gouvernance de l’IA. Certaines questions peuvent trouver une réponse auprès d’une machine : « À quelle heure commence la réunion de famille ? » a une réponse précise qu’une IA peut trouver. D’autres questions ne le peuvent pas : « Comment aborder le sujet des soins de maman avec ma sœur ? » implique un jugement, un contexte, des relations et des valeurs qui résistent à un traitement systématique.

La frontière entre ce qui peut être délégué à une machine et ce qui doit rester du ressort des personnes constitue le fondement d’une gouvernance solide de l’IA. L’erreur n’est pas d’utiliser l’IA pour le premier type de question. L’erreur est de permettre à l’IA de répondre au second type sans qu’une personne n’intervienne.

Isaiah Berlin, le philosophe politique, a soutenu que certaines valeurs humaines sont véritablement incompatibles — liberté et équité, tradition et changement, souhaits individuels et harmonie familiale. Il n’existe aucune formule permettant de résoudre ces tensions. Elles nécessitent un jugement humain constant, un dialogue et ce type de sagesse pratique que les familles développent au fil des générations.

Les systèmes d’IA, de par leur conception, cherchent à optimiser. Ils recherchent une réponse unique. Mais lorsque les valeurs sont véritablement en conflit, il n’y a pas de réponse unique — il n’y a que la réponse que cette famille, à ce moment précis, avec ces personnes, juge comme étant la moins mauvaise. Ce jugement est intrinsèquement humain, et toute approche de gouvernance de l’IA qui prétend le contraire ne gouverne pas — elle abdique.

Les familles l’ont toujours su. La décision de savoir si grand-mère doit se rapprocher ou rester chez elle n’est pas un problème à optimiser. C’est une tension qu’il faut assumer, discuter et avec laquelle il faut vivre. Les familles qui ont pris ce genre de décisions depuis des générations comprennent déjà, au plus profond d’elles-mêmes, pourquoi on ne peut pas confier à l’IA les décisions liées aux valeurs.

Comment Village gouverne l’IA de manière structurelle

Village ne se contente pas de dire à l’IA comment se comporter. Il intègre la gouvernance dans l’architecture — des structures qui fonctionnent indépendamment de l’IA et que celle-ci ne peut pas contourner.

Le « gardien des limites » empêche l’IA de prendre des décisions liées aux valeurs — et d’entreprendre de son propre chef des actions ayant des conséquences importantes. Lorsqu’une question touche à la vie privée, à des jugements éthiques ou au contexte familial, ou lorsqu’une tâche impliquerait d’agir au nom de votre famille, le système s’arrête et la transmet à une personne — votre coordinateur familial, l’aîné de la famille, la famille dans son ensemble. L’IA ne peut pas outrepasser cette limite, car celle-ci fonctionne hors du contrôle de l’IA. C’est la réponse structurelle au problème du « manque d’occasions d’intervenir » : la possibilité d’intervenir est intégrée au système, elle n’est pas laissée au hasard.

Le système de persistance des instructions stocke les instructions explicites de votre famille dans un système distinct que l’IA ne peut pas modifier. Lorsque l’IA génère une réponse, celle-ci est comparée à ces instructions stockées. Si la réponse contredit une instruction, c’est l’instruction qui prévaut — par défaut, indépendamment de ce que suggèrent les modèles d’apprentissage de l’IA.

Le validateur de recoupement vérifie les réponses et les actions proposées par l’IA par rapport aux dossiers réels de votre famille. Il ne demande pas à l’IA si sa réponse est correcte — cela reviendrait à demander au système de se vérifier lui-même, et comme l’explique l’article 1, on ne peut pas se fier à l’explication donnée par une IA de son propre raisonnement pour refléter ce qui a réellement motivé la réponse. Le validateur ignore donc entièrement l’auto-évaluation de l’IA. Il utilise des mesures mathématiques, fonctionnant d’une manière fondamentalement différente de celle de l’IA, pour déterminer si la réponse s’appuie sur le contenu réel de votre famille. Il vérifie le résultat, pas l’explication.

Le moniteur de pression contextuelle surveille les conditions de fonctionnement difficiles — les situations où l’IA est sous pression, traite des demandes complexes ou est confrontée à des questions inédites. Lorsqu’il détecte ces conditions, il renforce l’intensité de la vérification. Plus la question est difficile, plus la réponse fait l’objet d’un examen minutieux.

Il ne s’agit pas de politiques. Ce sont des structures. Elles fonctionnent que l’IA soit d’accord ou non avec elles, de la même manière qu’une digue fonctionne que le fleuve soit d’accord ou non avec elle.

La différence entre aspiration et architecture

De nombreuses organisations publient des déclarations d’éthique relatives à l’IA. Village ne s’appuie pas sur des déclarations d’éthique. Il s’appuie sur des contraintes architecturales qui imposent la gouvernance de manière structurelle.

Cette distinction est importante, car l’aspiration correspond à ce que l’on espère voir se produire. L’architecture, c’est ce qui se passe réellement. Votre famille ne se contente pas d’espérer que celui qui tient les cordons de la bourse sera juste : vous en discutez, vous vous mettez d’accord, vous clarifiez les choses. C’est cela, la gouvernance pratique. Le même principe s’applique à l’IA.

Le cadre Tractatus — Transparent et ouvert

L’architecture de gouvernance qui sous-tend Village AI s’appelle le cadre Tractatus. Il y a trois choses à savoir à son sujet.

Il est ouvert. L’intégralité du cadre est publiée sous une licence open source. N’importe qui peut lire le code, examiner les règles et vérifier que la gouvernance fait bien ce qu’elle prétend faire. C’est l’opposé de la gouvernance de l’IA pratiquée par les géants de la tech, où les règles sont propriétaires et le raisonnement dissimulé. Lorsque Google ou OpenAI vous affirment que leur IA est « alignée sur les valeurs humaines », vous n’avez aucun moyen de le vérifier. Avec Tractatus, vous pouvez lire chaque ligne de code.

Il est transparent. Chaque décision de gouvernance est consignée. Lorsque le « boundary enforcer » empêche l’IA de prendre une décision relative aux valeurs, cet événement est enregistré. Lorsque le « cross-reference validator » détecte une incohérence, celle-ci est enregistrée. Vos coordinateurs familiaux peuvent voir exactement ce que le système de gouvernance a fait et pourquoi. Il n’y a pas de couche cachée où les décisions sont prises sans obligation de rendre des comptes.

Il est adaptable. Le cadre n’est pas un ensemble rigide de règles imposées de l’extérieur. Les familles peuvent façonner la gouvernance pour qu’elle reflète leurs propres priorités. Une famille qui préserve l’héritage samoan et une famille qui documente les expériences de guerre de ses grands-parents ont des valeurs différentes, des sensibilités différentes, des limites différentes. Le cadre Tractatus tient compte de cela — non pas en permettant aux familles d’affaiblir la gouvernance, mais en leur permettant de définir ce que la gouvernance protège. Les valeurs de votre famille, les limites de votre famille, la manière de faire de votre famille — appliquées de manière structurelle, et pas seulement documentées.

Le cadre complet, y compris les recherches qui le sous-tendent, est disponible sur agenticgovernance.digital. Vous n’avez pas besoin de le lire pour utiliser Village : la gouvernance fonctionne, que vous l’examiniez ou non. Mais si vous souhaitez comprendre exactement comment votre IA est gouvernée, la porte vous est ouverte.

Dans le prochain article, nous examinerons ce que Village AI fait concrètement aujourd’hui : en quoi il peut aider votre famille, comment les biais sont gérés grâce au système de vocabulaire, et ce qui reste encore à perfectionner.

Vous souhaitez utiliser correctement et en toute sécurité des outils d’IA comme ceux-ci ? Nos cours gratuits — Travailler avec Claude et Les agents à l’œuvre — vous enseignent les compétences pratiques nécessaires. Pour découvrir l’architecture de gouvernance complète qui sous-tend Village AI, consultez Village AI — Gouvernance agentique.