Le filtre humain — et ses limites

Agents at Work — CC BY 4.0

Lorsqu’un agent intervient sur un sujet important — une décision concernant une personne, un paiement, une promesse —, le conseil habituel est de « garder un humain dans la boucle ». C’est un bon conseil. C’est aussi la mesure de sécurité la plus mal comprise dans tout ce domaine, car la version simpliste de ce principe ne fonctionne pratiquement pas. Cette leçon porte sur la mise en place d’une barrière qui soit réellement efficace.

Le filtre, lorsqu’il est bien conçu

Un « human gate » est un moment dans le travail de l’agent où celui-ci doit s’arrêter et où une personne prend une décision avant que quoi que ce soit ne se produise dans le monde réel. L’agent prépare — lit, rédige, classe, signale — puis attend. Une personne examine, décide, et c’est la décision de cette personne qui est transmise.

Voilà comment cela fonctionne. Le piège réside dans un seul mot : « décide ». Il y a un monde de différence entre une personne qui prend la décision et une personne qui valide la décision de la machine. Elles semblent identiques sur un organigramme. Elles ne constituent pas la même garantie, et les preuves de cet écart sont flagrantes.

Pourquoi « une personne valide » est moins sûr qu’il n’y paraît

Confrontée à la recommandation d’une IA, une personne finit, à chaque fois, par l’adopter — même lorsqu’elle est erronée.

• Dans une étude réalisée en 2025 auprès de 528 personnes dans plus de 1 500 scénarios de recrutement, les évaluateurs ont suivi le choix de l’IA jusqu’à 90 % des fois, contre un taux de référence d’environ 50 % lorsqu’ils choisissaient eux-mêmes. Cette tendance persistait même lorsqu’ils jugeaient la qualité de l’IA médiocre. Ils ne lui faisaient pas confiance, mais s’en remettaient quand même à elle.
• Dans une autre étude contrôlée, un système d’IA a discrètement déclassé un groupe national de candidats de 10 %. Environ 60 % des évaluateurs ne s’en sont jamais aperçus. Le biais n’était pas caché dans un code qu’ils ne pouvaient pas voir — il se trouvait dans les résultats qui leur étaient présentés, et il est passé inaperçu.
• Une enquête portant sur 41 politiques réelles de supervision humaine a révélé la même chose d’un point de vue structurel : ces politiques partent du principe que les personnes sont capables de repérer les erreurs de la machine, alors que, dans la plupart des cas, elles ne peuvent pas assurer la supervision sur laquelle la politique compte.

Ce phénomène porte un nom — le biais d’automatisation — et il ne disparaît pas simplement parce que vous êtes intelligent ou bien intentionné. Une recommandation rapide, fluide et assurée est conçue pour être acceptée. Une personne fatiguée, à la fin d’une pile de quarante dossiers, l’acceptera. L’« intervenant humain » devient un simple tampon qui transforme la décision de la machine en une décision humaine — sans pour autant apporter la protection que tout le monde suppose qu’elle apporte.

Ce qui distingue un véritable contrôle d’un simple tampon

La loi, en l’occurrence, repose précisément sur cette distinction. En vertu le RGPD européen (qui s’applique à vous si vous traitez un jour les données d’une personne résidant dans l’UE), une décision entièrement automatisée concernant une personne est interdite en principe — et ce qui permet à une décision d’échapper à cette interdiction, c’est une implication humaine authentique et non symbolique: une personne disposant de l’autorité et des informations nécessaires pour parvenir à une réponse différente, et non quelqu’un qui se contente de cliquer sur « approuver ». Le commissaire à la protection de la vie privée de Nouvelle-Zélande fait valoir le même argument pratique, mais sous un autre angle : une intervention humaine purement symbolique peut ne pas remédier du tout à l’aveuglement lié à l’automatisation. (Il s’agit d’une information générale, et non d’un conseil juridique — les détails ne sont pas encore fixés et méritent un véritable conseil.)

Ainsi, un garde-fou qui vous protège réellement présente trois caractéristiques, et c’est le point d’ancrage n° 3 — vous en assumez la responsabilité — qui se concrétise :

• La personne peut véritablement dire « non » — et le fait parfois. Si votre évaluateur n’a jamais une seule fois contredit l’agent, vous n’avez pas de barrière ; vous avez une formalité.
• Elle se prononce sur la base des éléments de preuve, et non du verdict. L’ agent transmet ce qu’il a trouvé et pourquoi — pas une note ou une recommandation à approuver. (Ce sera l’objet de la prochaine leçon.) Une personne qui évalue les éléments de preuve résiste à la tentation ; une personne à qui l’on remet un verdict ne fait que l’entériner.
• La décision s’appuie sur des tests, pas sur un simple coup d’œil. On ne peut pas détecter à l’œil nu un écart de 10 % — 60 % des gens ne le remarquent pas. On repère ce genre de chose en mesurant les résultats de l’agent à travers différents groupes, ce qui correspond au niveau 3. Le filtre et le test fonctionnent de concert ; aucun des deux ne porte le poids tout seul.

La conclusion honnête

Pour une décision à fort enjeu concernant une personne, « nous l’anonymisons et un humain donne son accord » — l’argument de défense auquel presque tout le monde a recours — est proche de la précise chose que les preuves montrent comme un échec. Ce n’est pas une raison de désespérer ; c’est une raison pour faire de la barrière une véritable décision, l’étayer par des tests, et accepter la leçon que le Recruteur va nous faire comprendre : parfois, la bonne barrière consiste à ne pas laisser l’agent prendre la décision du tout.

Suivant

Un véritable filtre exige que l’agent transmette des preuves, et non un verdict. C’est un choix de conception que vous faites lors de sa mise en place — des critères, pas des impressions.