El filtro humano — y su límite estricto

Agents at Work — CC BY 4.0

Cuando un agente interviene en algo importante —una decisión sobre una persona, un pago, una promesa—, el consejo habitual es «mantener a un humano en el bucle». Es un buen consejo. También es la medida de seguridad más malinterpretada de todo el ámbito, porque la versión simplista del mismo apenas funciona. Esta lección trata de cómo construir la puerta para que realmente aguante.

La barrera, bien hecha

Una «puerta humana» es un punto en el trabajo del agente en el que este debe detenerse y una persona debe decidir antes de que ocurra nada en el mundo real. El agente se prepara —lee, redacta, clasifica, señala— y luego espera. Una persona revisa, decide, y es la decisión de esa persona la que se lleva a cabo.

Esa es la estructura. La trampa está en una sola palabra: «decide». Hay un mundo de diferencia entre una persona que toma la decisión y una persona que da el visto bueno a la decisión de la máquina. En un organigrama parecen idénticas. No son la misma garantía, y las pruebas de esta diferencia son contundentes.

Por qué «que un humano dé el visto bueno» es más débil de lo que parece

Si se presenta a una persona la recomendación de una IA, una y otra vez la adopta, incluso cuando es errónea.

• En un estudio de 2025 realizado con 528 personas en más de 1.500 escenarios de contratación, los evaluadores se decantaron por la elección de la IA hasta en un 90 % de las ocasiones, frente a una media de aproximadamente el 50 % cuando elegían por sí mismos. Esta tendencia se mantuvo incluso cuando calificaban la calidad de la IA como baja. No confiaban en ella, pero se sometían a su decisión de todos modos.
• En otro estudio controlado, un sistema de IA rebajó discretamente la puntuación de un grupo nacional de candidatos en un 10 %. Alrededor del 60 % de los evaluadores ni siquiera se dio cuenta. El sesgo no estaba oculto en un código que no pudieran ver , sino que estaba en los resultados que tenían delante, y pasó desapercibido.
• Una encuesta sobre 41 políticas reales de supervisión humana reveló lo mismo desde un punto de vista estructural: las políticas dan por sentado que las personas pueden detectar los errores de la máquina, y en la mayoría de los casos las personas no pueden llevar a cabo la supervisión con la que la política cuenta.

Esto tiene un nombre —sesgo de automatización— y no desaparece por el hecho de que seas inteligente o tengas buenas intenciones. Una recomendación rápida, fluida y segura está diseñada para que se acepte. Una persona cansada, al final de una pila de cuarenta casos, estará de acuerdo con ella. El «ser humano en el circuito» se convierte en un sello de goma que blanquea la decisión de la máquina para convertirla en una decisión humana — sin aportar prácticamente nada de la protección que todo el mundo da por hecho que aporta.

Lo que distingue a un control real de un mero sello de goma

La ley, da la casualidad, gira precisamente en torno a esta distinción. En virtud el RGPD europeo (que te afecta si alguna vez tratas los datos de una persona con domicilio en la UE), una decisión sobre alguien tomada de forma exclusivamente automatizada está prohibida en principio —y lo que saca a una decisión de esa prohibición es una participación humana genuina, no simbólica: alguien con la autoridad y la información necesarias para llegar a una respuesta diferente, no alguien que simplemente haga clic en «aprobar». El Comisionado de Privacidad de Nueva Zelanda plantea el mismo argumento práctico desde el otro lado: una intervención humana meramente simbólica puede que no solucione en absoluto la «ceguera» de la automatización. (Información general, no asesoramiento jurídico: los detalles aún no están claros y conviene buscar asesoramiento especializado).

Así pues, una barrera que realmente te proteja tiene tres propiedades, y es el Ancla 3 —tú respondes por ello— plasmada en la práctica:

• La persona puede decir «no» de verdad —y a veces lo hace—. Si tu revisor nunca ha rebatido ni una sola vez la decisión del agente, no tienes una barrera; tienes una mera formalidad.
• Deciden a partir de las pruebas, no del veredicto. El agente entrega lo que ha encontrado y el motivo —no una puntuación ni una recomendación con la que estar de acuerdo—. (Eso es lo que veremos en la próxima lección.) Una persona que sopesa las pruebas se resiste a la presión; una persona a la que se le entrega un veredicto lo aprueba sin más.
• La decisión se basa en pruebas, no en una simple ojeada. No puedes detectar a simple vista un sesgo del 10 %: el 60 % de la gente no lo ve. Ese tipo de cosas se detectan midiendo los resultados del agente entre los distintos grupos, lo cual corresponde al Nivel 3. El filtro y la prueba funcionan conjuntamente; ninguno de los dos asume la responsabilidad por sí solo.

La conclusión honesta

En el caso de una decisión de alto riesgo sobre una persona, «la anonimizamos y un humano la aprueba» —la defensa a la que recurre casi todo el mundo— es casi exactamente lo que las pruebas indican que falla. Eso no es motivo para desesperarse; es una razón para diseñar el filtro como una decisión real, respaldarla con pruebas y aceptar la lección que el Recruiter nos dejará clara: a veces, el filtro adecuado es no dejar que el agente tome la decisión en absoluto.

Siguiente

Un filtro real requiere que el agente entregue pruebas, no un veredicto. Esa es una decisión de diseño que tomas al crearlo: criterios, no impresiones.