Toutes les éditions · Leadership Edition

Your Community, Your AI — CC BY 4.0

L’IA des géants de la tech face à l’IA gérée par la communauté — Pourquoi cette différence est importante

Où l’IA des géants de la tech apprend ses « bonnes manières »

Imaginons ce qui se passe lorsqu’un système est entraîné exclusivement à partir d’Internet ouvert : supports marketing, échanges sur les réseaux sociaux et articles d’encyclopédie. Ce système serait éloquent, globalement bien informé dans un certain sens, et capable de produire des textes fluides sur presque tous les sujets. Mais il aurait une vision particulière du monde — façonnée par les intérêts commerciaux, sensible aux controverses, avec un ton assuré quelle que soit la profondeur du sujet. Il saurait paraître autoritaire sans pour autant être fondé.

C’est ainsi, concrètement, que les systèmes d’IA des géants de la tech sont entraînés.

Les systèmes d’IA les plus connus de ces géants — les grands chatbots commerciaux et, désormais, les agents qui en découlent — sont entraînés à partir d’énormes quantités de textes extraits d’Internet. Des milliards de pages. Il en résulte un système capable de discuter de presque tout — mais dont les paramètres par défaut, les hypothèses et les instincts sont façonnés par ce que l’Internet surreprésente.

Internet surreprésente :

• Les contenus en anglais (et, au sein de l’anglais, l’anglais américain)
• Le langage commercial et marketing
• Le cadre de référence individualiste (« qu’est-ce que cela vous apporte ? »)
• Le langage thérapeutique laïque pour les questions émotionnelles et éthiques
• Le discours technique et professionnel d’entreprise
• Les contenus des vingt dernières années, avec une profondeur historique limitée

Internet sous-représente :

• Le langage de la gouvernance civique et municipale
• Les traditions de prise de décision communautaire
• Les cadres de responsabilité publique
• La pratique de la démocratie délibérative
• La réalité opérationnelle des petites organisations communautaires ancrées localement
• Les archives, procès-verbaux et décisions réels de votre organisation

Lorsqu’un citoyen soumet une question concernant une décision du conseil municipal et qu’une IA issue des géants de la tech aide à rédiger la réponse, elle recourt au langage de la communication d’entreprise — non pas parce qu’elle a jugé cela approprié, mais parce que c’est ce qui domine ses données d’entraînement. Elle ne s’appuie pas sur les conventions de la responsabilité publique, le langage du devoir civique ou le ton mesuré qui convient à une instance devant rendre des comptes à sa communauté, car ces schémas sont statistiquement rares dans les données à partir desquelles elle a appris.

Il ne s’agit pas d’un défaut pouvant être corrigé par de meilleures consignes. C’est un problème structurel. Le caractère du système est déterminé par son apprentissage, et son apprentissage s’est fait à partir d’Internet.

Que signifie réellement « formé localement » ?

Village AI fonctionne différemment, et cette différence ne réside pas dans le fait qu’il soit plus petit ou moins performant. Elle tient à la source à partir de laquelle l’IA apprend ses modèles. (Tout terme inconnu dans cette série est défini en langage clair dans le glossaire.)

Un Village AI destiné à votre organisation est formé sur trois niveaux de contenu :

Le niveau « plateforme ». Il s’agit de la base : comment fonctionne la plateforme Village, quelles fonctionnalités sont disponibles, comment naviguer dans le système. Tous les Village partagent cette couche. Cela signifie qu’un nouveau membre de votre organisation peut s’y retrouver, comprendre comment accéder à des documents ou rejoindre une visioconférence, sans qu’il soit nécessaire de lui enseigner ces bases à partir de zéro.

La couche organisationnelle. C’est ce qui fait que votre Village vous appartient. L’IA apprend à partir du contenu que votre organisation a réellement créé : comptes-rendus de conseil d’administration, annonces, comptes-rendus d’événements, documents de politique générale, rapports publiés. Lorsqu’un administré demande « Quelle a été la décision du conseil municipal concernant le centre communautaire au trimestre dernier ? », l’IA peut répondre en s’appuyant sur les propres archives de votre organisation, et non sur une supposition basée sur ce dont les conseils municipaux discutent généralement.

Consentement à chaque étape. Aucun contenu n’est intégré à l’entraînement de l’IA sans autorisation explicite. Un membre qui contribue à la création de contenu peut choisir si cette contribution est incluse dans la base de connaissances de l’IA. Le contenu marqué comme restreint reste restreint — de manière structurelle, et non pas simplement par la politique. L’IA ne peut pas accéder à ce qui ne lui a jamais été donné. Au regard du RGPD, cette distinction entre restriction structurelle et restriction basée sur une politique est importante : les contrôles structurels sont manifestement applicables ; les contrôles basés sur une politique dépendent de la conformité.

Il en résulte un système qui connaît votre organisation — et non l’approximation que se fait Internet de ce à quoi pourrait ressembler une organisation comme la vôtre. Lorsqu’il aide à rédiger une communication destinée aux parties prenantes, il s’appuie sur les schémas de vos communications précédentes, et non sur des modèles de lettres d’information d’entreprise. Lorsqu’il répond à une question concernant vos décisions, il s’appuie sur vos dossiers, et non sur une moyenne statistique.

Qui détient les clés

Jusqu’à présent, la distinction portait sur les modèles de qui l’IA intègre. Mais comme l’indique l’article 1, l’IA ne se contente de plus en plus pas de simplement répondre : elle agit. Dès lors qu’un système peut agir au nom de l’organisation, une deuxième distinction devient aussi cruciale que la première : qui détient les clés.

Lorsqu’un agent d’une « Big Tech » effectue une tâche — remplir un formulaire, émettre une communication, classer un dossier, effectuer une transaction en ligne —, c’est qu’on lui a confié les clés : l’accès aux données de l’organisation, parfois à ses comptes et à ses systèmes, ainsi que le pouvoir d’agir en son nom. Ces actions se déroulent sur l’infrastructure du fournisseur, selon ses règles, et ce sont les paramètres par défaut de ce dernier qui déterminent les étapes à suivre. En cas d’erreur, l’organisation ne s’en rendra peut-être compte qu’après coup, car un agent autonome offre moins de points d’intervention. Et il est véritablement difficile d’attribuer la responsabilité : le responsable a fixé un objectif ; le système du prestataire a sélectionné les actions. Pour un organisme redevable envers ses mandants et les autorités de régulation, il s’agit là d’un risque de gouvernance majeur, et non d’une simple commodité.

Village AI repose sur le principe inverse. Lorsqu’il intervient, il le fait à l’intérieur des limites de l’organisation, sur une infrastructure relevant de votre juridiction, selon les règles fixées par votre conseil d’administration ou votre conseil municipal — et, point crucial, son champ d’action est délibérément limité afin qu’un responsable humain puisse toujours intervenir. Il rédigera, proposera, organisera et triera ; il n’émettra pas, ne s’engagera pas et n’effectuera pas de transactions de manière autonome au nom de l’organisation sans qu’une personne ne soit impliquée. Les clés restent entre les mains de l’organisation. L’article 3 explique comment cela est mis en œuvre ; l’article 4 définit ce qui agit en votre nom aujourd’hui.

Ce qu’il faut retenir pour l’instant : à l’ère des chatbots, la question de gouvernance était « quels schémas notre IA intègre-t-elle ? » À l’ère des agents, le conseil d’administration doit également se demander « qui détient les commandes lorsqu’elle agit — et cette supervision est-elle structurelle ou simplement promise ? »

Guardian Agents : La couche de vérification

Même une IA entraînée localement peut commettre des erreurs. Elle peut attribuer à tort un détail, confondre deux décisions ou générer une réponse qui semble plausible mais qui ne repose pas sur vos dossiers réels. C’est la nature même de la technologie : elle prédit un texte plausible, et « plausible » n’est pas synonyme d’« exact ».

C’est là qu’interviennent les Guardian Agents.

Les Guardian Agents sont des couches de vérification indépendantes qui contrôlent chaque réponse de l’IA avant qu’elle n’atteigne le membre. Il ne s’agit pas d’une IA supplémentaire, mais de contrôles basés sur des mesures, structurellement distincts de l’IA qu’ils supervisent ; ainsi, l’observateur ne partage pas les angles morts de l’observé.

Voici comment ils fonctionnent, en termes simples :

Le premier gardien prend la réponse de l’IA et mesure dans quelle mesure elle correspond au contenu réel des archives de votre organisation. Il ne s’agit pas de savoir si cela semble correct, mais si elle est mathématiquement similaire aux documents réels. Si l’IA déclare : « Le conseil d’administration a décidé d’allouer des fonds pour l’aire de jeux en septembre », le gardien vérifie si le procès-verbal de votre conseil d’administration contient effectivement une telle décision.

Le deuxième gardien décompose la réponse en affirmations individuelles et vérifie chacune d’entre elles séparément. Une réponse de l’IA peut contenir trois affirmations : deux exactes et une inventée. Le deuxième gardien identifie l’affirmation inventée même lorsque la réponse globale semble convaincante.

Le troisième gardien surveille l’apparition de schémas inhabituels au fil du temps : changements dans le comportement de l’IA, erreurs répétées, résultats qui s’approchent de limites définies. Il surveille la santé du système, et pas seulement les réponses individuelles.

Le quatrième gardien apprend à partir des retours de votre communauté. Lorsqu’un membre signale une réponse de l’IA comme « peu utile » — une simple interaction suffit —, le système examine ce qui n’a pas fonctionné, identifie la cause profonde et s’ajuste en conséquence. Les modérateurs peuvent examiner et affiner ces corrections, mais l’apprentissage commence avec les membres ordinaires. Au fil du temps, l’IA s’aligne de plus en plus sur les connaissances réelles de votre organisation, et non l’inverse.

Chaque réponse de l’IA dans Village est accompagnée d’un indicateur de confiance qui indique au membre dans quelle mesure la réponse est fondée. Un niveau de confiance élevé signifie que le gardien a trouvé des correspondances solides dans vos archives. Un niveau de confiance faible signifie que la réponse est davantage spéculative. Les membres peuvent remonter à la source de toute affirmation de l’IA — le document, le procès-verbal ou l’enregistrement spécifique qui l’étaye.

Ce n’est pas une fonctionnalité offerte par l’IA des géants du web, car celle-ci ne s’appuie pas sur vos archives. Elle s’appuie sur Internet, et il n’existe aucun moyen pratique de vérifier des milliards de pages de données d’entraînement par rapport à une seule réponse.

La dimension de la conformité

Pour les instances de gouvernance, la différence entre l’IA des géants de la tech et l’IA gérée par la communauté a des implications réglementaires directes.

Responsabilité du traitement des données. En vertu du RGPD, le responsable du traitement est chargé de la manière dont les données à caractère personnel sont traitées. Lorsque votre organisation utilise un système d’IA des géants de la tech et que les données de vos usagers sont transférées vers les serveurs de ce fournisseur, des questions se posent concernant la responsabilité du responsable du traitement, la responsabilité conjointe et la mise en place d’accords de traitement des données adéquats. Village AI traite les données au sein d’une infrastructure contrôlée par votre organisation, sans qu’aucune donnée ne soit transférée vers des fournisseurs tiers d’IA.

Le droit à une explication. L’article 22 du RGPD et les considérants de la loi européenne sur l’IA prévoient que les personnes concernées par une prise de décision automatisée puissent recevoir des informations pertinentes sur la logique sous-jacente. Les systèmes d’IA des géants de la tech sont propriétaires : le raisonnement qui sous-tend leurs résultats n’est pas accessible à l’inspection. Le cadre de gouvernance de Village AI, le Tractatus, est open source et vérifiable. Chaque décision de gouvernance est consignée et peut être examinée.

Résidence des données. Pour les organisations soumises à des exigences nationales en matière de souveraineté des données, le lieu de traitement des données est important. Les systèmes d’IA des géants de la tech traitent généralement les données dans des juridictions déterminées par le fournisseur. L’infrastructure « Village » peut être configurée pour résider au sein d’une juridiction particulière — dans le déploiement actuel, l’Union européenne.

Classification des risques. La loi européenne sur l’IA classe les systèmes d’IA par niveau de risque. L’IA utilisée dans l’administration publique ou pour des décisions affectant l’accès des individus à des services essentiels peut se voir attribuer des classifications à haut risque. L’utilisation d’un système dont la gouvernance est transparente, vérifiable et sous le contrôle de l’organisation représente une position réglementaire sensiblement différente de celle consistant à utiliser un système tiers opaque.

Il ne s’agit pas là de préoccupations théoriques. Ce sont des questions pratiques qu’un administrateur, un conseiller municipal ou un membre de conseil d’administration responsable devrait se poser avant toute décision d’adoption d’une IA.

Le compromis

Village AI est délibérément plus restreint que les grands systèmes commerciaux. Il n’est pas conçu pour écrire de la poésie, générer des images photoréalistes ou couvrir tous les sujets imaginables — et à l’ère des agents, l’étendue brute n’est pas l’objectif. Le compromis qui importe à un organe de gouvernance n’est pas l’éloquence pour l’éloquence ; c’est la garde et le contrôle. Un système ciblé qui connaît votre organisation, conserve vos données au sein de vos propres limites et reste responsable devant votre instance de gouvernance — et qui, lorsqu’il agit, n’intervient que là où une personne responsable peut encore intervenir — a plus de valeur pour un organisme soumis à un devoir de diligence qu’un système plus puissant dont il ne peut rendre compte.

Ce qu’il offre en revanche, c’est une responsabilité vis-à-vis de votre communauté — son contenu, ses valeurs, son cadre de gouvernance —, combinée à la garantie que ses réponses s’appuient sur vos données réelles, et non sur les tendances statistiques d’Internet.

Pour une organisation qui a besoin d’aide pour rédiger des communications, répondre aux questions de ses membres sur les activités communautaires, résumer les documents du conseil d’administration ou coordonner les informations relatives aux événements — ce n’est pas une limitation. C’est l’outil adapté à cet usage. Et lorsque cet outil agit plutôt que de se contenter de répondre, il le fait en conservant les clés et la responsabilité au sein de l’organisation.

La question n’est pas « quelle IA est la plus puissante ? », mais « de quelle IA votre organisation peut-elle assumer la responsabilité — et garder le contrôle lorsqu’elle agit ? »

Vous souhaitez utiliser correctement et en toute sécurité des outils d’IA comme ceux-ci ? Nos formations gratuites — Travailler avec Claude et Agents at Work — vous enseignent les compétences pratiques nécessaires. Pour découvrir l’architecture complète Guardian Agents qui sous-tend Village AI, consultez Village AI — Gouvernance agentique.