Das Muster hinter jedem Fall

Das Muster hinter allen drei Fällen. 
Amazon, HireVue, Deliveroo. Verschiedene Unternehmen, gleiches Schema. Vier Schritte, die sich immer wiederholen.
  
Das Muster hinter jedem Fall
Schritt 1 · Einführung
Effizienzversprechen
Tool wird wegen Effizienzversprechen eingeführt, ohne echten Bedarf zu prüfen.
Check: Ist das Effizienzversprechen realistisch und notwendig?
Schritt 2 · Auswirkung
Keine Prüfung
Niemand prüft, wie sich das Tool auf Bewerber:innen auswirkt.
Check: Haben wir die Auswirkung auf Menschen geprüft?
Schritt 3 · Erklärbarkeit
Black Box
KI-Entscheidungen sind nicht nachvollziehbar.
Check: Können wir die KI-Entscheidungen erklären?
Schritt 4 · Sichtbarkeit
Öffentlicher Schaden
Das Problem wird erst öffentlich sichtbar (Presse, Klage, Shitstorm).
Check: Was passiert, wenn das Problem öffentlich wird?
Effizienzversprechen
Keine Prüfung
Black Box
Öffentlicher Schaden
Amazon
Effizienzversprechen
KI-Screening soll schnellere Vorauswahl liefern
Keine Prüfung
Keine Prüfung der Auswirkung auf Bewerbergruppen
Black Box
Auswahlkriterien der KI nicht nachvollziehbar
Öffentlicher Schaden
Frauen systematisch aussortiert
HireVue
Effizienzversprechen
Video-Scoring für objektivere Bewertung
Keine Prüfung
Kein Test, ob Scoring bestimmte Gruppen benachteiligt
Black Box
Mimik-Scoring nicht erklärbar
Öffentlicher Schaden
Neurodiverse Bewerber:innen benachteiligt
Deliveroo
Effizienzversprechen
Algorithmus steuert Schichtvergabe automatisch
Keine Prüfung
Keine Analyse der Auswirkungen auf Fahrer:innen
Black Box
Score-Berechnung für Fahrer:innen intransparent
Öffentlicher Schaden
Kranke & Streikende abgestraft
Key Insight
Das Hauptproblem ist das Überspringen von Schritt 2 und 3. Ohne Prüfung und Erklärbarkeit landet man auf Schritt 4.
Learning 1
Daten prüfen, bevor du trainierst
Frag deinen Anbieter: Welche Daten wurden verwendet? Wie wurde auf Verzerrungen getestet?
Learning 2
Ergebnisse hinterfragen
Kein KI-Score ohne menschliche Prüfung. Versteh, warum die KI so entschieden hat.
Learning 3
Regelmäßig auditieren
Ein einmaliger Check reicht nicht. Bias verändert sich mit neuen Daten. Dein Audit muss mitwachsen.
→
Kapitel abgeschlossen.
Du weißt jetzt, was Bias ist, wo er entsteht und wie er in der Praxis Schaden anrichtet. Im nächsten Kapitel durchleuchtest du deinen eigenen Prozess mithilfe des Bias-Audits.