Identitätsblind wo es darauf ankommt – und warum das nicht ausreicht

Agents at Work — CC BY 4.0

Hier ist ein wirklich guter Design-Instinkt: Wenn ein System Menschen bewertet, lass es nicht sehen, wer sie sind. Entferne den Namen, das Foto, das Alter, die Adresse – gib dem System nur das, was die Person tatsächlich leisten kann. Bewerte die Arbeit, nicht die Identität.

Es ist der richtige Instinkt, er ist gesetzlich verankert, und in dieser Lektion wird größtenteils erläutert, warum er allein nicht ausreicht. Beide Aspekte sind wichtig. Lässt du die erste außer Acht, hast du überhaupt keine Verteidigung; glaubst du, die erste sei die ganze Antwort, wirst du Vorurteile verbreiten, während du dich sicher fühlst – das Schlimmste von beidem.

Warum Identitätsblindheit richtig (und rechtmäßig) ist

Das neuseeländische Datenschutzgesetz enthält einen Grundsatz – den ersten, IPP1 –, wonach Sie nur die personenbezogenen Daten erheben sollten, die Sie tatsächlich für die Aufgabe benötigen, und keine identifizierenden Angaben verlangen sollten, die der Zweck nicht erfordert. Wenn die Aufgabe darin besteht, „Fähigkeiten einer Stelle zuzuordnen“, sind der Name, das Foto und das Geburtsdatum keine Eingabedaten – sie sind ein Risiko. Sie einzugeben ist nicht nur riskant, sondern verstößt auch gegen den Grundsatz.

Die gestalterische Maßnahme ist also sinnvoll: Identitätsmerkmale und Hinweise auf geschützte Merkmale müssen unkenntlich gemacht werden, bevor der Agent etwas sieht, und ihm sollten nur für die Stelle relevante Inhalte bereitgestellt werden. Für den Personalvermittler bedeutet das: Fähigkeiten und Erfahrung, nicht Name, Alter, Geschlecht, ethnische Zugehörigkeit oder Foto. Das ist notwendig und eine gute Gewohnheit. Nun zum schwierigen Teil.

Warum das nicht ausreicht – Voreingenommenheit verbreitet sich über Stellvertreter

Das Entfernen der offensichtlichen Signale beseitigt nicht die Informationen. Sie sickern über Stellvertreter wieder ein, die von der Schwärzung unberührt blieben:

• Der Name einer Schule oder Universität verrät soziale Herkunft, ethnische Zugehörigkeit und Alter.
• Eine Adresse oder Postleitzahl enthält sozioökonomische und ethnische Hinweise – der alte Weg des „Redlining“, der durch eine andere Tür wieder hereinkommt.
• Lücken im Lebenslauf deuten auf Pflegeaufgaben, Gesundheit oder Alter hin.
• Selbst Schreibstil und Wortwahl korrelieren mit dem Hintergrund.

Moderne Modelle sind sehr gut darin, diese zu erfassen. Schwärzt man den Namen, kann ein leistungsfähiges System einen Großteil dessen, was man verborgen hat, aus den Mustern aller anderen Daten rekonstruieren – und dann unsichtbar eine Bewertung vornehmen. Man hat die Spuren der Voreingenommenheit beseitigt, nicht die Voreingenommenheit selbst.

Und das kann schlimmer sein als bloße Wirkungslosigkeit. Ein groß angelegtes, von Fachkollegen begutachtetes Feldversuch, das über eine nationale öffentliche Arbeitsvermittlung durchgeführt wurde, ergab, dass die Anonymisierung von Lebensläufen tatsächlich dazu führte, dass Unternehmen weniger dazu neigten, genau jene Gruppen zu einem Vorstellungsgespräch einzuladen und einzustellen, denen damit eigentlich geholfen werden sollte. Ohne den Kontext, der es den Bewertern ermöglichte, Benachteiligungen zu berücksichtigen, wandte sich der Prozess gegen die beabsichtigten Begünstigten. Die Schwärzung ist kein Regler, der immer in die sichere Richtung zeigt. Blind angewendet, kann sie nach hinten losgehen.

Die Grenze, klar formuliert

Identitätsblindheit ist notwendig, aber nicht ausreichend. Sie ist eine Mindestanforderung – man muss sie erfüllen –, aber keine Verteidigung, auf die man sich voll und ganz verlassen kann. Jeder, der Ihnen weismachen will: „Wir anonymisieren die Lebensläufe, daher ist unser KI-Screening fair“, steht auf dieser Mindestanforderung, als wäre sie ein Dach. Das ist sie nicht. Die Beweise zeigen, dass die Voreingenommenheit immer noch vorhanden ist, sich in den Ersatzvariablen niederschlägt und möglicherweise in die falsche Richtung weist.

Deshalb kehrt der Kurs immer wieder zu derselben, weniger bequemen Schlussfolgerung zurück. Man kann sich nicht allein durch Schwärzung einen sicheren Agenten zur Rangfolge von Personen entwerfen. Was Sie tatsächlich schützt, ist die Kombination, die die nächste Ebene aufbaut:

• Enger, nicht-rangierender Anwendungsbereich – der Agent legt Beweise anhand von Kriterien offen; er erstellt keine Rangliste und lehnt nichts ab.
• Tests auf nachteilige Auswirkungen – man misst die Ergebnisse des Agenten über verschiedene Gruppen hinweg, anstatt darauf zu vertrauen, dass die Schwärzung funktioniert hat (Stufe 3). Nur so lassen sich „Proxy-Lecks“ aufdecken, denn man kann sie nicht mit bloßem Auge erkennen.
• Eine echte menschliche Entscheidung, gestützt durch diese Tests.

Und manchmal, wenn viel auf dem Spiel steht und alle Korrekturen durchsickern, ist das ehrliche Design das, was der Recruiter lehrt: Automatisiere die Entscheidung nicht.

Der gestalterische Schachzug

Wenn Ihr Agent mit Personen in Kontakt kommt:

• Schleifen Sie Identität und geschützte Attribute aus, bevor er die Daten sieht – wegen IPP1 und weil das das absolute Minimum ist.
• Gehen Sie davon aus, dass Proxys die Schwärzungüberstehen – denn das tun sie.
• Planen Sie den Test jetzt – entscheiden Sie bereits in der Entwurfsphase, dass Sie die Ergebnisse gruppenübergreifend messen werden, bevor Sie dem System vertrauen. Lassen Sie nicht zu, dass „wir haben es unkenntlich gemacht“ das Ende des Satzes ist.

Weiter

Du hast entschieden, was zulässig ist, und den Agenten so entworfen, dass er eng gefasst, überprüfbar und dort blind ist, wo es sein sollte. Stufe 3 macht es real: die Leitplanken, die du tatsächlich programmieren kannst, die Tests, die das aufspüren, was das Design nicht kann – und das Erstellen eines solchen Tests mit Claude Code, einschließlich des Tests, den du erstellst, um zu beobachten, wie er fehlschlägt.