Ne pas tenir compte de l’identité là où cela compte — et pourquoi cela ne suffit pas

Agents at Work — CC BY 4.0

Voici un instinct de conception véritablement judicieux : si un agent évalue des personnes, ne lui permettez pas de voir qui elles sont. Supprimez le nom, la photo, l’âge, l’adresse — ne lui fournissez que ce que la personne est réellement capablede faire. Évaluez le travail, pas l’identité.

C’est le bon instinct, il repose sur la loi, et cette leçon va consacrer la majeure partie de son contenu à vous expliquer pourquoi cela ne suffit pas à lui seul. Les deux aspects sont importants. Si vous ignorez la première, vous n’avez aucune défense ; si vous croyez que la première est la réponse complète, vous favoriserez les préjugés tout en vous sentant en sécurité — le pire des deux mondes.

Pourquoi l’approche « aveugle à l’identité » est justifiée (et légale)

La loi néo-zélandaise sur la protection de la vie privée énonce un principe — le premier, l’IPP1 — selon lequel vous ne devez collecter que les informations personnelles dont vous avez réellement besoin pour le travail, et ne devez pas exiger de détails d’identification que la finalité ne justifie pas. Si la tâche consiste à « mettre en adéquation des compétences avec un poste », le nom, la photo et la date de naissance ne sont pas des données utiles — ce sont des risques. Les intégrer n’est pas seulement risqué ; cela va à l’encontre du principe.

La solution conceptuelle est donc claire : masquer l’identité et les indicateurs d’attributs protégés avant que l’agent ne voie quoi que ce soit, et ne lui fournir que le contenu pertinent pour le poste. Pour le recruteur, cela signifie les compétences et l’expérience, et non le nom, l’âge, le sexe, l’origine ethnique ou la photo. C’est nécessaire, et c’est une bonne habitude. Maintenant, le plus difficile.

Pourquoi cela ne suffit pas — les préjugés se propagent par procuration

Supprimer les signaux évidents ne supprime pas l’information. Elle refait surface par le biais d’intermédiaires que la suppression n’a jamais touchés :

• Le nom d’une école ou d’une université révèle la classe sociale, l’origine ethnique et l’âge.
• Une adresse ou un code postal véhicule des indications socio-économiques et ethniques — la vieille pratique du « redlining », qui refait surface par une autre porte.
• Les interruptions de carrière laissent entrevoir des responsabilités familiales, des problèmes de santé ou l’âge.
• Même le style d’écriture et le choix des mots sont en corrélation avec le milieu social.

Les modèles modernes sont très performants pour les détecter. Masquez le nom et un système performant peut reconstituer une grande partie de ce que vous avez caché à partir des tendances observées dans le reste du texte — puis en tenir compte, de manière invisible. Vous avez supprimé les preuves du biais, pas le biais lui-même.

Et cela peut être pire qu’une simple inefficacité. Une vaste expérience de terrain, évaluée par des pairs et menée par un service public national de l’emploi, a révélé que l’anonymisation des CV rendait en réalité les entreprises moins enclines à convoquer à un entretien et à embaucher les groupes mêmes qu’elle était censée aider. Privé du contexte qui permettait aux évaluateurs de tenir compte des désavantages, le processus s’est retourné contre les bénéficiaires visés. L’expurgation n’est pas un régulateur qui indique toujours la voie la plus sûre. Appliquée aveuglément, elle peut se retourner contre nous.

La limite, énoncée clairement

L’aveuglement à l’identité est nécessaire mais pas suffisant. C’est un minimum — il faut le faire —, pas un rempart sur lequel on peut s’appuyer. Quiconque vous vend l’argument « nous anonymisons les CV, donc notre sélection par IA est équitable » se tient sur ce seuil comme s’il s’agissait d’un toit. Ce n’est pas le cas. Les données montrent que le biais est toujours présent, qu’il s’appuie sur des indicateurs indirects, et qu’il pointe peut-être dans la mauvaise direction.

C’est pourquoi la formation revient sans cesse à la même conclusion, moins réconfortante. Vous ne pouvez pas concevoir un agent de classement des personnes sûr en vous contentant de la seule expurgation. Ce qui vous protège réellement, c’est la combinaison mise en place par le niveau suivant :

• Un champ d’application restreint, sans classement — l’agent met en évidence les preuves par rapport à des critères ; il ne classe ni ne rejette.
• Tests d’impact négatif — vous mesurez les résultats de l’agent sur l’ensemble des groupes au lieu de vous fier à l’efficacité de la caviardage (niveau 3). C’est la seule façon de détecter les fuites de variables proxy, car vous ne pouvez pas les voir à l’œil nu.
• Une véritable décision humaine, étayée par ces tests.

Et parfois, lorsque les enjeux sont suffisamment importants et que toutes les corrections fuient, la conception la plus honnête est celle que le Recruteur enseigne : ne pas automatiser la décision.

La stratégie de conception

Si votre agent est en contact avec des personnes :

• Masquez l’identité et les attributs protégés avant qu’il ne voie les données — parce que c’est le principe IPP1, et parce que c’est le minimum requis.
• Partez du principe que les proxies survivent à la masquage — car c’est le cas.
• Préparez le test dès maintenant — décidez, dès la conception, que vous mesurerez les résultats entre les différents groupes avant de faire confiance au système. Ne vous contentez pas de dire « nous avons masqué les données » et d’en rester là.

Suivant

Vous avez déterminé ce qui est acceptable et conçu l’agent pour qu’il soit précis, vérifiable et impartial là où il le faut. Le niveau 3 concrétise tout cela : les barrières de sécurité que vous pouvez réellement coder, les tests qui détectent ce que la conception ne peut pas — et en créer un, avec Claude Code, y compris celui que vous construisez pour observer son échec.