Déployer et superviser — une coche verte ne signifie pas que tout va bien

Agents at Work — CC BY 4.0

Tout l’intérêt d’un agent réside dans le fait qu’il fonctionne sans que vous ayez à le surveiller — pendant la nuit, ou lorsque vous êtes avec un client. C’est aussi là que réside tout le danger, et ces deux aspects ne font qu’un. Cette leçon porte sur la discipline nécessaire pour faire fonctionner un agent en mode autonome sans laisser le « mode autonome » se transformer insidieusement en « absence de responsabilité ».

Le piège de la coche verte

Un agent termine son exécution et signale que la tâche a réussi. La tâche indique « terminée ». Tout est vert. Voici ce qu’il faut bien retenir : une coche verte signifie que l’agent a suivi les étapes qui lui ont été demandées. Cela ne signifie pas qu’il a fait ce qu’il fallait.

Un vérificateur de rapprochement peut fonctionner sans accroc et signaler les mauvaises factures. Un agent de tri peut trier une boîte de réception pleine et classer par erreur, sans que personne ne s’en aperçoive, le seul message urgent. Un agent de sélection peut noter chaque candidature sans erreur et favoriser de manière flagrante un groupe au détriment d’un autre — pas d’erreur, pas de plantage, coche verte, préjudice réel. L’agent ne peut que vous dire ce qu’il a fait. Il ne peut pas vous dire si ce qu’il a fait était correct, juste ou judicieux — c’est à vous d’en juger, et ce jugement ne disparaît pas parce que l’exécution a réussi.

Voici donc la première règle de la supervision : ne jamais assimiler « terminé » à « correct ». L’achèvement est une affirmation concernant le processus. La justesse est une affirmation concernant le monde, et seule une personne qui vérifie par rapport au monde peut la formuler.

La supervision s’intègre, elle ne s’ajoute pas a posteriori

Vous ne pouvez pas surveiller un agent qui s’exécute à 2 heures du matin. La supervision doit donc être intégrée à son fonctionnement — trois habitudes simples :

• La piste d’audit. L’agent doit laisser une trace de ce qu’il a réellement fait — ce qu’il a lu, ce qu’il a décidé, ce qu’il a modifié ou envoyé, et pourquoi. Non pas pour donner l’impression d’une rigueur excessive, mais pour que, lorsqu’il y a un problème, vous puissiez déterminer quoi et quand, sans avoir à deviner. Un agent dont vous ne pouvez pas reconstituer le travail a posteriori est un agent dont vous ne pouvez pas assumer la responsabilité — et en assumer la responsabilité, c’est le travail (Ancrage 3).
• Contrôles ponctuels réguliers. Les tests mentionnés au point 3.2 ne constituent pas une étape de lancement que l’on franchit une seule fois ; c’est une habitude à entretenir. Échantillonnez régulièrement les résultats réels de l’agent, et pas seulement le jour où vous l’avez créé — car les modèles sous-jacents évoluent, et ce qui était « correct » le mois dernier peut avoir changé.
• Un arrêt à votre portée. Vous devez pouvoir retirer l’agent — le mettre en pause, révoquer son accès — rapidement, sans faire appel à un développeur, lorsque quelque chose semble anormal. Si vous ne pouvez pas l’arrêter rapidement, vous ne le supervisez pas ; vous espérez simplement que tout ira bien.

Commencez par un champ d’action restreint, puis élargissez-le en fonction des résultats

C’est le principe n° 2 d’Anchor : l’amélioration continue, en tant que règle de déploiement. Ne confiez pas à un nouvel agent l’intégralité de la tâche dès le premier jour pour ensuite vous en désintéresser. Faites-le fonctionner sur une petite partie, observez-le, analysez sa trace, vérifiez ses résultats. Élargissez son rôle à mesure qu’il gagne votre confiance — plus de volume, plus d’autonomie, moins de contrôles — en vous appuyant sur des preuves qu’il se comporte correctement, et non sur le fait qu’il n’a manifestement pas encore planté. Les entreprises qui se brûlent les doigts sont celles qui ont confondu « ça a fonctionné sans problème pendant une semaine » avec « on peut cesser de surveiller en toute sécurité ».

La décision de surveillance

Avant qu’un agent ne s’exécute sans surveillance sur une tâche réelle :

• Déterminez à quoi ressemblerait un « problème » — le résultat indésirable spécifique que vous surveillez — et comment vous le repéreriez à partir de la piste d’audit, et non à partir d’une coche verte.
• Mettez en place la piste d’audit dès le départ, et non après le premier incident.
• Définissez la fréquence des contrôles ponctuels et la procédure d’arrêt — et assurez-vous qu’une autre personne que vous puisse les appliquer.

Suivant

Vous l’avez déployé et vous le surveillez. Passons maintenant à la partie que les gens ont le plus envie de sauter et qu’ils peuvent le moins se permettre de négliger : la législation à laquelle vous êtes soumis dans le cadre de votre activité.