Des critères, pas des impressions

Agents at Work — CC BY 4.0

Demandez à un agent « est-ce un bon candidat ? » ou « ce fournisseur est-il fiable ? » et il vous donnera une réponse catégorique. C’est là le problème. Un verdict prononcé avec aisance, mais sans fondement, est la chose la plus facile au monde à produire pour ces outils, et la plus difficile à contester — ce qui est précisément la raison pour laquelle vous ne devriez jamais laisser un agent vous en donner un.

La règle de conception pour tout agent chargé d’évaluer : il renvoie les preuves et le raisonnement, en fonction des critères que vous avez définis au préalable. Il ne renvoie pas de verdict.

Les impressions ne se transmettent pas

Un verdict — une note, un « oui », un classement — est une boîte noire. Vous ne pouvez pas le vérifier, vous ne pouvez pas l’expliquer à la personne concernée, et vous ne pouvez pas savoir s’il provient d’un élément pertinent ou d’un élément qui ne devrait pas l’être (le nom du candidat, le code postal du fournisseur, un mot isolé dans un CV). Quand il est erroné, on s’en rend compte trop tard, et c’est vous qui devez en répondre.

Les preuves fondées sur des critères, c’est tout le contraire. Si la mission de l’agent consiste à « signaler les factures en retard de plus de 60 jours », le critère est écrit noir sur blanc, le résultat est vérifiable en une seconde, et une erreur est évidente. Plus le travail est important, plus cela compte — mais cela vaut partout, dans toute la galerie :

• Comptable : pas « est-ce que ça a l’air correct ? », mais la règle de rapprochement, ainsi que chaque exception détectée, avec les chiffres.
• Analyste de la concurrence : pas « voici ce que font les concurrents », mais chaque affirmation avec sa source, afin que vous puissiez déterminer s’il faut s’y fier.
• Analyste de marché : pas une synthèse affirmée, mais les conclusions , en précisant quels faits sont cités et lesquels relèvent de ses propres déductions.
• Recruteur : pas une présélection ni une note, mais « voici en quoi cette candidature répond ou ne répond pas aux critères écrits et pertinents pour le poste » — et c’est un être humain qui décide.

Définissez d’abord les critères — et consignez-les par écrit

Le mot « d’abord » a ici tout son sens. Les critères que vous fixez avant le lancement de l’agent sont ceux que vous avez choisis pour de bonnes raisons. Les critères que vous inventez après coup, en examinant le résultat, ne sont qu’une histoire que vous racontez pour justifier la réponse que vous avez déjà — et si la réponse était biaisée, la justification l’est aussi.

Le fait de les mettre par écrit a aussi son importance. Les critères qui restent dans votre tête ne sont pas vérifiables, ne peuvent pas être transmis clairement à l’agent, et dérivent imperceptiblement d’un cas à l’autre. Sur le papier, ils constituent un contrat : voici ce sur quoi nous nous basons pour juger, cela et pas autre chose. Si un critère est quelque chose que vous ne pourriez pas dire à voix haute à la personne concernée — « nous pénalisons les interruptions dans le parcours professionnel », par exemple — le fait de le mettre par écrit vous oblige à en prendre conscience.

Pourquoi cela rend le contrôle humain réel

C’est ce choix de conception qui sauve la dernière leçon. Une personne à qui l’on remet un verdict se contente de l’approuver sans réfléchir — c’est le biais d’automatisation, et c’est en grande partie la raison pour laquelle la validation humaine échoue. Une personne à qui l’on remet des éléments de preuve par rapport à des critères a quelque chose à évaluer réellement, et quelque chose avec quoi elle peut être en désaccord. « L’agent lui a attribué la note de 6 » invite à acquiescer. « L’agent a constaté qu’elle répondait à quatre des cinq critères écrits et ne pouvait se prononcer sur le cinquième » invite à prendre une décision. Même agent, même personne — mais le second cas constitue un filtre et le premier n’est qu’un simple tampon.

C’est le principe « Anchor 3 » appliqué à la prise de décision : un agent dont on peut assumer la décision est celui dont on peut voir le travail. Les éléments d’évaluation par rapport à des critères écrits, c’est ce que « voir » signifie concrètement.

La stratégie de conception

Pour tout agent chargé de juger ou de recommander, avant de le concevoir :

• Rédigez les critères — explicites, pertinents pour la mission, les éléments qui ont réellement une incidence sur la décision, et uniquement ceux-là.
• Concevez le résultat sous forme de preuves + justification — « voici ce que j’ai trouvé, voici comment cela correspond à chaque critère, voici les points sur lesquels j’ai des doutes » — et non pas une note ou une décision.
• Laissez la décision à un être humain chaque fois que les enjeux ou le contrôle des droits l’exigent (niveau 1).

Vous réutiliserez ces critères au niveau 3, lorsque vous testerez l’agent — car les critères que vous pouvez formuler par écrit sont ceux par rapport auxquels vous pouvez évaluer l’agent.

Suivant

Un critère mérite une leçon à part entière, car c’est là que les bonnes intentions tournent mal : empêcher l’agent de savoir qui est la personne en question. C’est nécessaire — mais, à lui seul, ce n’est pas suffisant.