Implementar y supervisar — una marca verde no significa que todo haya salido bien

Agents at Work — CC BY 4.0

La esencia de un agente es que se ejecute mientras tú no estás mirando —por la noche o mientras estás con un cliente—. Ahí radica también todo el peligro, y ambas cosas son la misma realidad. Esta lección trata sobre la disciplina de ejecutar un agente de forma desatendida sin permitir que «desatendido» se convierta silenciosamente en «sin control».

La trampa de la marca verde

Un agente termina su ejecución e informa de que ha tenido éxito. La tarea indica «hecha». Todo está en verde. Esto es lo que hay que tener muy presente: una marca verde significa que el agente ha completado los pasos que se le indicaron. No significa que haya hecho lo correcto.

Un verificador de conciliaciones puede funcionar sin fallos y marcar las facturas equivocadas. Un agente de clasificación puede ordenar una bandeja de entrada llena y archivar erróneamente, sin que nadie se dé cuenta, el único mensaje urgente. Un agente de selección puede puntuar todas las solicitudes sin errores y sesgar duramente contra un grupo: sin errores, sin fallos del sistema, marca verde, daño real. El agente solo puede decirte que hizo lo que hizo. No puede decirte que lo que hizo fuera correcto, justo o sensato: eso es cosa tuya, y no desaparece por el hecho de que la ejecución haya tenido éxito.

Así pues, la primera regla de la supervisión: nunca interpretes «completado» como «correcto». La finalización es una afirmación sobre el proceso. La corrección es una afirmación sobre el mundo, y solo una persona que la compare con el mundo puede hacerla.

La supervisión se integra, no se añade a posteriori

No puedes estar pendiente de un agente que se ejecuta a las 2 de la madrugada. Por eso, la supervisión tiene que estar integrada en su funcionamiento: tres hábitos sencillos:

• El registro de auditoría. El agente debe dejar constancia de lo que realmente hizo: lo que leyó, lo que decidió, lo que modificó o envió, y por qué. No para que parezca exhaustivo, sino para que, cuando algo vaya mal, puedas averiguar qué y cuándo sin tener que adivinar. Un agente cuyo trabajo no puedas reconstruir a posteriori es uno del que no puedes responsabilizarte — y responsabilizarse de él es el trabajo (Punto de referencia 3).
• Comprobaciones aleatorias programadas. Las pruebas del punto 3.2 no son una puerta de lanzamiento que se supera una sola vez; es un hábito que hay que mantener. Examina una muestra de los resultados reales del agente con regularidad, no solo el día en que lo creaste, porque los modelos subyacentes cambian, y lo que el mes pasado estaba «bien» puede desviarse.
• Una parada a la que puedas llegar. Tienes que poder retirar el agente —pausarlo, revocar su acceso— rápidamente, sin necesidad de un desarrollador, cuando algo parezca fuera de lugar. Si no puedes detenerlo rápido, no lo estás supervisando; solo estás cruzando los dedos.

Empieza con un enfoque limitado y amplíalo según las pruebas

Este es el Ancla 2: la mejora continua como norma de implementación. No le entregues a un nuevo agente todo el trabajo desde el primer día y te marches. Pónlo en marcha con una parte del trabajo, obsérvalo, analiza su rastro, comprueba sus resultados. Amplía su función a medida que se gana tu confianza —más volumen, más autonomía, menos controles— basándote en la evidencia de que se comporta correctamente, no en el hecho de que, aparentemente, aún no haya fallado. Las empresas que salen mal paradas son aquellas que confunden «ha funcionado sin problemas durante una semana» con «ya es seguro dejar de vigilarlo».

El paso hacia la supervisión

Antes de que un agente se ejecute sin supervisión en un entorno de producción:

• Decide cómo sería un «fallo» —el resultado negativo específico que estás vigilando— y cómo lo detectarías a partir del registro, no por una marca verde.
• Crea primero el registro de auditoría, no después del primer incidente.
• Establece la frecuencia de las comprobaciones aleatorias y el procedimiento de parada, y asegúrate de que alguien que no seas tú pueda utilizar ambos.

Siguiente

Ya lo has puesto en marcha y lo estás supervisando. Ahora viene la parte que la gente más quiere saltarse y que menos se puede permitir: la legislación bajo la que realmente estás operando.