Toutes les éditions · Indigenous Edition

Your Community, Your AI — CC BY 4.0

Pourquoi les règles et la formation ne suffisent pas — Le défi de la gouvernance

Le mihi qui n’a pas eu lieu

Avant d’aborder la philosophie de la gouvernance, commençons par l’histoire d’un mihi. (Tous les termes peu familiers utilisés dans cette série sont définis en langage simple dans le glossaire.)

Une kuia se prépare pour un tangi. Elle est fatiguée : la semaine a été longue et il y a beaucoup à coordonner. Elle demande à un système d’IA de l’aider à rédiger un mihi whakatau, un discours de bienvenue adapté à l’occasion. Elle est précise : elle souhaite que le discours fasse référence au whakapapa, qu’il rende hommage à ceux qui sont décédés et qu’il évoque le lien entre les vivants et les défunts, qui est au cœur même du tangihanga.

L’IA produit un discours magnifiquement rédigé. Il est chaleureux, professionnel et empreint de compassion. Il évoque « la célébration d’une vie bien remplie », « le réconfort que l’on trouve dans les souvenirs », « le cheminement vers la guérison qui nous attend » et « l’hommage rendu à leur héritage ». Il se lit bien. Il semble plein de bienveillance. Et il est complètement à côté de la plaque.

La whānau n’a pas besoin de célébrer une vie bien vécue. Elle a besoin d’entendre le whakapapa prononcé — les lignées qui relient le défunt aux vivants et à ceux qui l’ont précédé. Elle n’a pas besoin d’un parcours de guérison. Ils ont besoin du karanga, du tangi, de la séquence appropriée de rites qui ont accompagné leur peuple face à la mort depuis des générations. La kuia a demandé le tikanga, et l’IA lui a proposé un accompagnement occidental du deuil — car ses données d’entraînement contiennent mille guides sur le deuil provenant de sites web de conseil pour chaque guide qui sait ce qu’est un tangi.

L’IA n’a pas refusé la demande de la kuia. Elle n’a pas dit : « Je ne connais pas votre tradition. » Elle a simplement remplacé ce qu’elle demandait par ce qui était statistiquement plus courant dans ses données d’entraînement. Cette substitution s’est faite en silence. Si la kuia avait été plus fatiguée que d’habitude, moins expérimentée ou soumise à la pression du temps, elle ne s’en serait peut-être pas aperçue. Le mihi aurait été prononcé, et la whānau aurait reçu du réconfort issu d’une tradition erronée — formulé de manière professionnelle, sincère dans son intention, mais culturellement vide de sens.

Votre téléphone corrige automatiquement les mots. Vous voyez le soulignement rouge, et vous corrigez l’erreur. L’IA corrige automatiquement les valeurs. Et il n’y a pas de soulignement.

Quand les modèles prennent le pas sur le tikanga

Le mihi n’est pas un cas isolé. Le même mécanisme opère dans chaque conversation avec l’IA.

Lorsqu’un membre du whānau demande conseil à un système d’IA au sujet d’un conflit familial, le système se rabat par défaut sur le langage de la thérapie individuelle — entraînement à l’assertivité, définition des limites, prise en charge de soi — car c’est ce qui domine ses données d’entraînement. Il ne fait pas appel aux concepts de whanaungatanga, d’utu (réciprocité et équilibre), ni à la compréhension selon laquelle, dans un système de parenté, la résolution d’un conflit ne concerne pas les résultats individuels mais vise à rétablir l’équilibre du collectif.

Lorsqu’un dirigeant communautaire demande à l’IA de l’aider à préparer un hui important, celle-ci se rabat par défaut sur la gestion des réunions d’entreprise — ordres du jour, mesures à prendre, implication des parties prenantes — car la correspondance relative aux réunions d’affaires est largement plus abondante que celle concernant la gouvernance autochtone dans ses données d’entraînement. Elle ne comprend pas qu’un hui n’est pas une réunion. Un hui a ses propres tikanga, ses propres protocoles déterminant qui prend la parole et à quel moment, son propre rythme qui répond à des objectifs qu’un ordre du jour d’entreprise ne peut pas comprendre.

Lorsqu’une communauté demande à l’IA de l’aider à rédiger une demande d’autorisation d’exploitation des ressources, celle-ci utilise par défaut le langage standard de la planification. Elle ne comprend pas le concept de « kaitiakitanga » — à savoir que la relation de la communauté à la terre n’est pas une question de propriété ou d’intérêt économique, mais de garde transmise de génération en génération.

L’IA n’est pas hostile aux savoirs autochtones. Elle ne les connaît tout simplement pas. Elle sait ce qui est statistiquement courant, et ce qui est statistiquement courant est en grande majorité occidental. Pour les communautés autochtones, il ne s’agit pas d’une lacune technique. C’est la prolongation numérique d’un schéma qui a débuté avec la colonisation : le remplacement des systèmes de savoirs autochtones par des cadres occidentaux, mené de manière si imperceptible que beaucoup de gens ne s’en rendent même pas compte.

C’est là le problème de gouvernance. Ce n’est ni de la malveillance, ni de l’incompétence. C’est un biais structurel, qui opère en silence.

Lorsque l’IA agit, les enjeux s’intensifient

Tout ce qui précède était vrai lorsque l’IA se contentait de répondre. Comme l’a décrit l’article 1, l’IA agit de plus en plus — et lorsqu’un remplacement silencieux du tikanga par un modèle occidental s’accompagne d’une action plutôt que d’une simple phrase, le problème de gouvernance s’aggrave de trois manières spécifiques.

Certaines actions sont irréversibles. Un brouillon culturellement vide peut être corrigé avant d’être utilisé — il existe un laps de temps entre la production de l’IA et la conséquence. Un agent qui envoie, partage, publie ou soumet supprime ce laps de temps. La kuia de notre histoire a repéré le mihi vide parce qu’elle l’a lu en premier. Un agent qui l’aurait diffusé au sein du whānau en son nom ne lui aurait pas accordé ce moment. Et le mātauranga, une fois partagé hors du contrôle de la communauté, ne peut être rappelé — le préjudice n’est pas un brouillon à corriger, mais une faille avec laquelle il faut composer.

La responsabilité devient floue. Lorsqu’un agent agit en votre nom et que le résultat est erroné, qui est responsable ? Quelqu’un a défini un objectif en une phrase ; le système a choisi les étapes ; une entreprise a construit le système. Les chercheurs appellent le fossé qui s’ouvre ici un « fossé de responsabilité ». Pour une communauté assumant une responsabilité collective vis-à-vis de ses taonga, une action menée en son nom sans l’autorisation de quiconque n’est pas un simple dysfonctionnement — c’est une faute dont l’auteur n’est pas clairement identifié.

On ne peut pas donner son consentement total à ce qu’on ne peut pas prévoir. Un consentement authentique implique de comprendre ce à quoi on s’engage. Or, le cheminement d’un agent à travers une tâche en plusieurs étapes est ouvert, et — comme le soulignait l’article 1 — même le compte rendu que l’IA donne de son raisonnement ne reflète pas de manière fiable ce qui a motivé ses actions. On peut consentir à un objectif ; on ne peut pas consentir de manière significative, à l’avance, à chaque étape qu’un système autonome pourrait franchir pour l’atteindre. Pour des connaissances régies par des protocoles précisant qui peut partager quoi, avec qui et quand, cette lacune n’est pas une simple question technique.

Rien de tout cela ne s’oppose à l’utilisation d’une IA qui agit. Cela montre que la discipline qui était recommandée à l’ère des chatbots devient essentielle à l’ère des agents : le comportement de l’IA doit être contrôlé par une entité extérieure à celle-ci, une personne de la communauté doit pouvoir intervenir, et les décisions lourdes de conséquences et irréversibles doivent rester entre les mains de ceux qui détiennent le pouvoir de les prendre. C’est exactement le sujet du reste de cet article.

Pourquoi multiplier les règles ne résout pas le problème

Face aux risques liés à l’IA, l’instinct de la plupart des organisations est de rédiger des politiques. Des politiques d’utilisation acceptable. Des lignes directrices en matière d’éthique de l’IA. Des conditions d’utilisation. Des cadres pour une IA responsable.

Ces documents ne sont pas inutiles, mais ils présentent une limite fondamentale : ils reposent sur le fait que le système d’IA les respecte.

Un système d’IA ne lit pas votre document de politique et ne décide pas de s’y conformer. Il génère des réponses en se basant sur des modèles statistiques présents dans ses données d’entraînement. Si ces modèles entrent en conflit avec votre politique, ce sont les modèles qui l’emportent — non pas parce que l’IA est rebelle, mais parce qu’elle ne comprend pas les politiques. Elle comprend les modèles.

Vous pouvez affiner un modèle — ajuster son apprentissage pour privilégier certains comportements. Cela aide, mais cela ne résout pas le problème sous-jacent. L’ajustement ajoute de nouveaux modèles à ceux qui existent déjà. Sous pression, dans des circonstances inhabituelles ou face à des questions inédites, les anciens modèles reprennent le dessus. Le terme technique est « oubli catastrophique », mais l’explication en langage clair est plus simple : l’apprentissage s’estompe.

Rédiger une politique stipulant « Notre IA respectera les tikanga de notre communauté » revient à rédiger une politique affirmant « Notre rivière ne débordera pas ». La rivière ne lit pas les politiques. Si vous voulez prévenir les inondations, vous devez construire des digues — des interventions structurelles qui fonctionnent indépendamment des intentions de la rivière.

La gouvernance de l’IA nécessite la même approche. Il ne s’agit pas de règles que l’IA est censée suivre, mais de structures qui fonctionnent indépendamment de l’IA, en contrôlant son comportement depuis l’extérieur.

Ce que le tikanga nous enseigne sur la gouvernance

L’idée selon laquelle certaines décisions ne peuvent se réduire à des règles n’est pas nouvelle. Elle est ancienne, et les traditions de gouvernance autochtones l’ont comprise depuis des siècles.

Le tikanga māori n’est pas un recueil de règles. C’est un système vivant de protocoles, de valeurs et de pratiques qui guide les comportements dans un contexte relationnel. L’action appropriée dans une situation donnée ne dépend pas d’une règle écrite, mais des relations en jeu, du contexte, des précédents et du mana des personnes présentes. Une kaumātua qui rend un jugement lors d’un hui n’applique pas une formule : elle met en œuvre la sagesse accumulée tout au long d’une vie au sein d’une communauté spécifique.

C’est précisément le genre de jugement que l’IA ne peut pas rendre. Un système entraîné sur des modèles statistiques ne peut pas comprendre le mana, ne peut pas évaluer les relations, ne peut pas percevoir le tono (l’appel, l’attraction) d’une situation. Il peut traiter des informations, mais il ne peut pas exercer le rangatiratanga — cette autorité d’autodétermination qui découle de l’ancrage au sein d’une communauté et de la responsabilité envers celle-ci.

Le philosophe Ludwig Wittgenstein a consacré sa carrière à explorer la frontière entre ce qui peut être énoncé avec précision et ce qui se situe au-delà de toute formulation précise. Sa conclusion — selon laquelle « de ce dont on ne peut parler, il faut se taire » — correspond directement à la distinction entre les questions auxquelles l’IA peut apporter une aide et celles pour lesquelles elle ne le peut pas. « Quand aura lieu le prochain hui ? » a une réponse précise qu’une IA peut trouver. « Comment devrions-nous aborder ce kōrero avec le hapū voisin ? » fait appel à un jugement, à des relations et à des tikanga qui résistent à toute approche systématique.

Isaiah Berlin, le philosophe politique, a soutenu que certaines valeurs humaines sont véritablement incompatibles — liberté et égalité, tradition et progrès, conscience individuelle et harmonie communautaire. Il n’existe aucune formule permettant de résoudre ces tensions. Elles nécessitent un jugement humain constant, une négociation et ce type de sagesse pratique que les communautés développent au fil des générations.

Les traditions de gouvernance autochtones ont intégré cette conception bien avant que la philosophie occidentale ne l’articule. Le concept de kaitiakitanga reconnaît déjà que la tutelle implique un jugement continu, et non des règles figées. La pratique du whakawhiti kōrero (échange de paroles) lors des hui incarne déjà l’idée que la sagesse collective naît d’un dialogue structuré, et non d’une optimisation.

Tout cadre de gouvernance de l’IA qui prétend pouvoir systématiser ces jugements ne gouverne pas — il colonise. Encore une fois.

Comment Village gouverne l’IA de manière structurelle

Village ne se contente pas de dire à l’IA comment se comporter. Il intègre la gouvernance dans l’architecture — des structures qui fonctionnent indépendamment de l’IA et ne peuvent être contournées par celle-ci.

Le « gardien des limites » empêche l’IA de prendre des décisions liées aux valeurs — et d’entreprendre de son propre chef des actions ayant des conséquences. Lorsqu’une question touche à des protocoles culturels, à des jugements éthiques ou à un contexte relationnel, ou lorsqu’une tâche impliquerait d’agir au nom de votre communauté — partager un kōrero, soumettre des documents, envoyer quelque chose en votre nom —, le système s’arrête et transfère la demande à un humain : votre modérateur, votre kaumātua, votre rūnanga. L’IA ne peut pas outrepasser cette limite, car celle-ci fonctionne hors de son contrôle. C’est la réponse structurelle au problème du « manque d’occasions d’intervenir » : la possibilité pour un kaitiaki d’intervenir est intégrée au système, et non laissée au hasard.

Le système de persistance des instructions stocke les instructions explicites de votre communauté dans un système distinct que l’IA ne peut pas modifier. Lorsque l’IA génère une réponse, celle-ci est comparée à ces instructions stockées. Si la réponse contredit une instruction, c’est l’instruction qui prévaut — par défaut, indépendamment de ce que suggèrent les modèles d’apprentissage de l’IA.

Le validateur de recoupement vérifie les réponses et les actions proposées par l’IA par rapport aux enregistrements réels de votre communauté. Il ne demande pas à l’IA si sa réponse est correcte — cela reviendrait à demander au système de se vérifier lui-même, et comme l’explique l’article 1, on ne peut pas se fier à l’explication qu’une IA donne de son propre raisonnement pour savoir ce qui a réellement motivé sa réponse. Le validateur ignore donc totalement l’auto-évaluation de l’IA. Il utilise des mesures mathématiques, fonctionnant d’une manière fondamentalement différente de celle de l’IA, pour déterminer si la réponse s’appuie sur le contenu réel de votre communauté. Il vérifie le résultat, pas l’explication.

Le moniteur de pression contextuelle surveille les conditions de fonctionnement dégradées — les situations où l’IA est sous pression, traite des demandes complexes ou est confrontée à des questions inédites. Lorsqu’il détecte ces conditions, il renforce l’intensité de la vérification. Plus la question est difficile, plus la réponse fait l’objet d’un examen minutieux.

Ce ne sont pas des politiques. Ce sont des structures. Elles fonctionnent que l’IA soit d’accord ou non avec elles, de la même manière qu’une digue fonctionne que le fleuve soit d’accord ou non avec elle.

La différence entre aspiration et architecture

De nombreuses organisations publient des déclarations d’éthique relatives à l’IA. Village ne s’appuie pas sur des déclarations d’éthique. Il s’appuie sur des contraintes architecturales qui imposent la gouvernance de manière structurelle.

Cette distinction est importante, car l’aspiration correspond à ce que l’on espère voir se produire. L’architecture, c’est ce qui se produit réellement. Votre communauté ne se contente pas d’espérer que les fonds seront gérés correctement — elle exige un contrôle financier adéquat, avec une obligation de rendre des comptes à la collectivité. C’est cela, la gouvernance architecturale. Le même principe s’applique à l’IA.

Le cadre Tractatus — Ancré dans le Te Tiriti

L’architecture de gouvernance qui sous-tend Village AI s’appelle le cadre Tractatus. Il convient d’en savoir trois choses.

Il est ouvert. L’ensemble du cadre est publié sous une licence open source. N’importe qui peut lire le code, examiner les règles et vérifier que la gouvernance fait bien ce qu’elle prétend faire. C’est l’opposé de la gouvernance de l’IA pratiquée par les géants de la tech, où les règles sont propriétaires et le raisonnement dissimulé. Lorsque Google ou OpenAI vous affirment que leur IA est « alignée sur les valeurs humaines », vous n’avez aucun moyen de le vérifier. Avec Tractatus, vous pouvez lire chaque ligne de code.

Il est transparent. Chaque décision de gouvernance est consignée. Lorsque le « boundary enforcer » empêche l’IA de prendre une décision relative aux valeurs, cet événement est enregistré. Lorsque le « cross-reference validator » détecte une incohérence, celle-ci est enregistrée. Vos modérateurs peuvent voir exactement ce que le système de gouvernance a fait et pourquoi. Il n’existe aucune couche cachée où des décisions seraient prises sans obligation de rendre des comptes.

Il s’appuie sur le Te Tiriti o Waitangi. Le modèle de partenariat du cadre Tractatus n’est pas un cadre générique d’« engagement des parties prenantes » emprunté à la gouvernance d’entreprise. Il s’appuie explicitement sur les principes du Te Tiriti — en particulier l’affirmation, dans l’article 2, du tino rangatiratanga (pleine autorité) sur les taonga. Dans le contexte de la gouvernance de l’IA, cela signifie que les communautés conservent la pleine autorité sur leurs connaissances, leurs données et les règles qui régissent la manière dont l’IA interagit avec ces deux éléments. Le cadre n’accorde pas cette autorité — il reconnaît qu’elle existe déjà et met en place une architecture pour la faire respecter.

Cet ancrage dans le Te Tiriti est publié dans le cadre open source à l’adresse agenticgovernance.digital. Il ne s’agit pas d’un argument marketing, mais d’un engagement architectural que chacun peut examiner, critiquer et sur lequel il peut demander des comptes à la plateforme.

Nous reconnaissons que l’ancrage d’un cadre technologique dans le Te Tiriti implique des obligations qui vont au-delà du code. C’est aux communautés maories qu’il appartient de juger si Village respecte ces obligations, et non à la plateforme de l’affirmer.

Dans le prochain article, nous examinerons ce que Village AI fait concrètement aujourd’hui : en quoi il peut aider votre communauté, comment les biais sont traités grâce au système de vocabulaire, et ce qui reste encore à perfectionner.

Vous souhaitez utiliser correctement et en toute sécurité des outils d’IA comme ceux-ci ? Nos formations gratuites — Travailler avec Claude et Agents at Work — vous enseignent les compétences pratiques nécessaires. Pour découvrir l’architecture de gouvernance complète de Village AI, consultez Village AI — Gouvernance agentique.