Kapitel 3 | BIAS erkennen
Drei reale Fälle, drei verschiedene Bias-Typen.
Die bei Amazon, HireVue und Deliveroo gemachten Erfahrungen zeigen, dass KI im Recruiting ein Risiko birgt, das überall dort lauert, wo es eingesetzt wird.
Die bei Amazon, HireVue und Deliveroo gemachten Erfahrungen zeigen, dass KI im Recruiting ein Risiko birgt, das überall dort lauert, wo es eingesetzt wird.
Was passiert ist
Amazons KI-Recruiting-Tool wurde mit 10 Jahren Bewerbungsdaten trainiert. Da in der Entwicklung überwiegend Männer eingestellt worden waren, lernte das System: männlich = besser. Lebensläufe mit dem Wort „women's" (z.B. „women's chess club") wurden abgewertet.
Folge: Tool wurde eingestellt. Massiver Reputationsschaden. Der Fall wurde zum Referenzbeispiel für KI-Bias weltweit.
Was passiert ist
HireVue analysierte Mimik, Stimme und Wortwahl in Video-Interviews per KI. Die EPIC (Electronic Privacy Information Center) reichte Beschwerde bei der FTC ein: Die Analyse benachteilige systematisch Menschen mit Behinderungen, nicht-muttersprachliche Bewerber:innen:innen und neurodiverse Personen.
Folge: HireVue stellte die Gesichtsanalyse 2021 ein. Der EU AI Act verbietet Emotionserkennung am Arbeitsplatz inzwischen explizit (Art. 5).
Was passiert ist
Der „Frank"-Algorithmus bewertete Fahrer:innen nach Verfügbarkeit und Zuverlässigkeit. Wer krankheitsbedingt oder wegen Streik nicht verfügbar war, wurde im Ranking herabgestuft und erhielt weniger Aufträge. Das Arbeitsgericht Bologna stellte fest: indirekte Diskriminierung, weil der Algorithmus geschützte Gründe nicht von trivialen unterschied.
Folge: Das Gericht ordnete 50.000 € Entschädigung an. Der Fall zeigte: Auch „neutrale" Kriterien wie Verfügbarkeit können diskriminierend wirken.
Kein Unternehmen wollte diskriminieren. Alle haben es trotzdem getan.