Identiteitsblind waar het ertoe doet — en waarom dat niet genoeg is

Agents at Work — CC BY 4.0

Hier is een echt goed ontwerpinstinct: als een systeem mensen beoordeelt, laat het dan niet zien wie ze zijn. Haal de naam, de foto, de leeftijd en het adres weg — geef het alleeninformatie over wat de persoon daadwerkelijk kan. Beoordeel het werk, niet de identiteit.

Het is het juiste instinct, het is gebaseerd op de wet, en deze les zal grotendeels gewijd zijn aan het uitleggen waarom dit op zichzelf niet voldoende is. Beide kanten zijn belangrijk. Sla de eerste over en je hebt helemaal geen verdediging; geloof dat de eerste het volledige antwoord is en je verspreidt vooringenomenheid terwijl je je veilig voelt — het ergste van beide.

Waarom identiteitsblindheid juist (en wettig) is

De Privacywet van Nieuw-Zeeland bevat een principe — het eerste, IPP1 — dat je alleen de persoonlijke gegevens mag verzamelen die je daadwerkelijk nodig hebt voor de taak, en dat je geen identificerende gegevens mag vragen die het doel niet vereist. Als de taak is “vaardigheden afstemmen op een functie”, dan zijn de naam, de foto en de geboortedatum geen input — het zijn risico’s. Ze invoeren is niet alleen riskant; het druist in tegen het principe.

De ontwerpkeuze is dus duidelijk: verwijder identiteitsgegevens en signalen van beschermde kenmerken voordat de agent iets te zien krijgt, en geef hem alleen inhoud die relevant is voor de functie. Voor de recruiter betekent dat vaardigheden en ervaring, niet naam, leeftijd, geslacht, etniciteit of foto. Noodzakelijk, en een goede gewoonte. Nu komt het moeilijke deel.

Waarom dit niet voldoende is — vooringenomenheid verspreidt zich via tussenkanalen

Het verwijderen van de voor de hand liggende signalen betekent niet dat de informatie verdwijnt. Die sijpelt weer naar binnen via tussenpersonen die niet door de bewerking zijn geraakt:

• De naam van een school of universiteit draagt klasse, etniciteit en leeftijd in zich.
• Een adres of postcode draagt sociaaleconomische en etnische signalen in zich — het oude „redlining“-pad, dat via een andere deur weer binnenkomt.
• Gaten in het arbeidsverleden duiden op mantelzorg, gezondheid of leeftijd.
• Zelfs schrijfstijl en woordkeuze hangen samen met iemands achtergrond.

Moderne modellen zijn erg goed in het oppikken hiervan. Verberg de naam en een capabel systeem kan veel van wat je verborgen hebt gehouden reconstrueren aan de hand van het patroon van al het andere — en daar vervolgens onzichtbaar een score aan toekennen. Je hebt het bewijs van vooringenomenheid verwijderd, niet de vooringenomenheid zelf.

En dat kan erger zijn dan alleen maar ineffectief. Een groot, peer-reviewed veldexperiment, uitgevoerd via een nationale openbare arbeidsbemiddelingsdienst, wees uit dat het anonimiseren van cv’s er juist toe leidde dat bedrijven minder geneigd waren om juist die groepen uit te nodigen voor een sollicitatiegesprek en aan te nemen die het juist had moeten helpen. Ontdaan van de context waarmee beoordelaars rekening konden houden met achterstanden, keerde het proces zich tegen de beoogde begunstigden. Anonimiseren is geen knop die altijd de veilige weg aangeeft. Blindelings toegepast, kan het averechts werken.

De grens, duidelijk gesteld

Identiteitsblindheid is noodzakelijk, maar niet voldoende. Het is een minimumvereiste – doe het – niet een verdedigingsmiddel waarop je je volledig kunt baseren. Iedereen die je vertelt: „We maken de cv’s anoniem, dus onze AI-screening is eerlijk”, staat op die ondergrens alsof het een dak is. Dat is het niet. Het bewijs wijst uit dat de vooringenomenheid er nog steeds zit, meelift op de proxy’s en mogelijk de verkeerde kant op wijst.

Daarom komt de cursus steeds weer terug bij dezelfde, minder comfortabele conclusie. Je kunt niet louter door middel van redigeren een veilige agent ontwerpen die mensen rangschikt. Wat je daadwerkelijk beschermt, is de combinatie die het volgende niveau opbouwt:

• Een beperkte, niet-rangschikkende reikwijdte — het systeem brengt bewijs naar voren op basis van criteria; het rangschikt of wijst niets af.
• Testen op negatieve effecten — je meet de resultaten van het systeem over verschillende groepen heen, in plaats van erop te vertrouwen dat het redigeren heeft gewerkt (Niveau 3). Dit is de enige manier om het doorsijpelen van proxy's op te sporen, omdat je het niet kunt zien door ernaar te kijken.
• Een echte menselijke beslissing, ondersteund door die tests.

En soms, wanneer er veel op het spel staat en alle oplossingen uitlekken, is het eerlijke ontwerp degene die de Recruiter leert: automatiseer de beslissing niet.

De ontwerpkeuze

Als je agent met mensen te maken heeft:

• Redigeer identiteit en beschermde kenmerken voordat de agent de gegevens te zien krijgt — vanwege IPP1, en omdat dat het minimum is.
• Ga ervan uit dat proxy’s de verwerkingoverleven — want dat doen ze.
• Plan de test nu — besluit al in de ontwerpfase dat je de resultaten per groep gaat meten voordat je het systeem vertrouwt. Laat ‘we hebben het verborgen’ niet het einde van de zin zijn.

Vervolg

Je hebt besloten wat acceptabel is en de agent zo ontworpen dat hij beperkt, controleerbaar en blind is waar dat nodig is. Niveau 3 maakt het concreet: de veiligheidsmaatregelen die je daadwerkelijk kunt programmeren, de tests die opvangen wat het ontwerp niet kan — en het bouwen ervan, met Claude Code, inclusief degene die je bouwt om te zien hoe het misgaat.