Criteria, geen gevoel

Agents at Work — CC BY 4.0

Vraag een makelaar: „Is dit een goede kandidaat?” of „Is deze leverancier betrouwbaar?”, en hij zal je een zelfverzekerd antwoord geven. Dat is het probleem. Een vloeiend oordeel zonder enige onderbouwing is voor deze tools het gemakkelijkste ter wereld om te produceren, en het moeilijkste om tegenin te gaan — en dat is precies waarom je je nooit door een agent zo’n oordeel moet laten opdringen.

De ontwerpregel voor elke agent die een oordeel velt: hij levert het bewijs en de redenering, getoetst aan de criteria die je eerst hebt opgeschreven. Hij levert geen oordeel.

Gevoelens zijn niet overdraagbaar

Een oordeel — een score, een ‘ja’, een rangschikking — is een black box. Je kunt het niet controleren, je kunt het niet uitleggen aan de persoon op wie het van invloed is, en je kunt niet zien of het voortkomt uit iets dat ertoe doet of uit iets dat er niet toe zou moeten doen (de naam van de sollicitant, de postcode van de leverancier, een losstaand woord in een cv). Als het fout is, kom je er te laat achter, en ben jij degene die ervoor moet instaan.

Bewijs op basis van criteria is het tegenovergestelde. Als de taak van de medewerker is om ‘achterstallige facturen van meer dan 60 dagen te markeren’, staat het criterium op papier, is de uitkomst in een oogwenk te controleren en is een fout duidelijk zichtbaar. Hoe belangrijker het werk is, hoe belangrijker dit is — maar het geldt overal, in het hele spectrum:

• Boekhouder: niet „ziet dit er goed uit?“, maar de afstemmingsregel, en elke uitzondering die deze heeft gevonden, met de cijfers.
• Concurrentieanalist: niet „dit is wat concurrenten doen”, maar elke bewering met de bron, zodat je kunt zien of je erop kunt vertrouwen.
• Marktanalist: geen zelfverzekerde samenvatting, maar de bevindingen en een onderscheid tussen geciteerde feiten en eigen conclusies.
• Recruiter: niet een shortlist of een score, maar „hier is waar deze sollicitatie wel en niet voldoet aan de schriftelijke, functiegerelateerde criteria“ — en een mens beslist.

Stel eerst de criteria op — en schrijf ze op

„Eerst“ betekent in die zin echt werk verrichten. Criteria die je vaststelt voordat de tool draait, zijn criteria die je om goede redenen hebt gekozen. Criteria die je er achteraf bij bedenkt, kijkend naar de output, zijn slechts een verhaal dat je vertelt om het antwoord te rechtvaardigen dat je al hebt — en als het antwoord bevooroordeeld was, is de rechtvaardiging dat ook.

Opgeschreven is ook belangrijk. Criteria in je hoofd zijn niet controleerbaar, kunnen niet duidelijk aan de agent worden doorgegeven en verschuiven stilletjes van het ene geval naar het andere. Op papier vormen ze een contract: dit is waarop we beoordelen, dit en niet dat. Als een criterium iets is wat je niet hardop zou kunnen zeggen tegen de betrokken persoon — „we geven puntenaftrek voor hiaten in het arbeidsverleden“, bijvoorbeeld — dan dwingt het opschrijven ervan je om het op te merken.

Waarom dit de menselijke toets echt maakt

Dit is de ontwerpkeuze die de laatste les redt. Iemand die een oordeel voorgeschoteld krijgt, stempelt het zomaar goed — dat is automatiseringsvertekening, en dat is grotendeels de reden waarom menselijke goedkeuring faalt. Iemand die bewijs tegen criteria voorgelegd krijgt, heeft iets om daadwerkelijk af te wegen, en iets om het oneens mee te zijn. „De beoordelaar gaf haar een 6“ nodigt uit tot instemming. „De beoordelaar constateerde dat ze aan vier van de vijf schriftelijke criteria voldoet en over het vijfde geen uitspraak kan doen“ nodigt uit tot een beslissing. Dezelfde beoordelaar, dezelfde persoon — maar de tweede is een toets en de eerste is een stempel.

Het is Anker 3 in praktische vorm: een agent waarvoor je verantwoording kunt afleggen, is iemand wiens werk je kunt zien. Bewijs aan de hand van vastgelegde criteria is wat ‘zien’ in de praktijk betekent.

De ontwerpstap

Voor elke agent die beoordeelt of aanbeveelt, voordat je hem bouwt:

• Schrijf de criteria op — expliciet, relevant voor de taak, de zaken die daadwerkelijk van invloed zijn op de beslissing, en alleen die.
• Ontwerp de output als bewijs + motivering — „dit is wat ik heb gevonden, zo sluit het aan bij elk criterium, hier ben ik onzeker“ — geen score of uitspraak.
• Laat de beslissing door een mens nemen wanneer de inzet of de toegangsbeperking dat vereist (Niveau 1).

Je zult die criteria opnieuw gebruiken in Niveau 3, wanneer je de agent test— want criteria die je kunt opschrijven, zijn criteria waaraan je de agent kunt toetsen.

Vervolg

Eén criterium verdient een eigen les, omdat dit precies is waar de goede bedoelingen misgaan: ervoor zorgen dat de agent niet weet wie de persoon is. Het is noodzakelijk — maar op zichzelf niet voldoende.