Fairness eines Modells messen

Fairness messen heißt, die Entscheidungen eines Modells für jede Gruppe getrennt zu zählen und die Raten zu vergleichen. Erst dann sieht man, ob eine Gruppe öfter abgelehnt wird als eine andere.

Ein Modell sortiert Kreditanträge vor. Gruppe A bekommt öfter ein Ja als Gruppe B. Ist das unfair? Die Frage hat mehr als eine Antwort, und diese Lektion zeigt zwei davon.

Die Auswahlrate einer Gruppe ist der Anteil ihrer Zeilen mit einer positiven Entscheidung, hier einer Genehmigung. Sie rechnen: Genehmigte der Gruppe geteilt durch alle Anträge der Gruppe.

Sind die Raten verschieden, behandelt das Modell die Gruppen nicht gleich. Ein Unterschied ist noch kein Beweis für Unrecht, aber ein Grund, genauer hinzusehen.

# Jede Zeile: Gruppe, wirklich zahlungsfähig (1 oder 0), genehmigt (1 oder 0)
antraege = [["A", 1, 1], ["A", 1, 1], ["A", 0, 1], ["A", 0, 0],
            ["B", 1, 1], ["B", 1, 0], ["B", 0, 1], ["B", 0, 0]]
for gruppe in ["A", "B"]:
    anzahl = 0
    genehmigt = 0
    for zeile in antraege:
        if zeile[0] == gruppe:
            anzahl = anzahl + 1
            genehmigt = genehmigt + zeile[2]
    print(gruppe, "Auswahlrate:", genehmigt / anzahl)
# Setzen Sie bei der zweiten Zeile von B die Entscheidung auf 1. Wie ändert sich die Rate von B?

Die Trefferquote fragt: Wie viele der Personen, die wirklich zahlungsfähig sind, bekommen ein Ja? Sie ist der Anteil der Geeigneten, die das Modell erkennt.

Ein zweites Modell hat für beide Gruppen dieselbe Auswahlrate von 0,60. Trotzdem bekommen in Gruppe A neun von zehn Geeigneten ein Ja und in Gruppe B nur drei von vier.

Eine Regel ist ein winziges Modell. Die Regel „zweite Aushilfe rufen ab 15 Grad“ soll volle Tage erkennen, also Tage ab 300 Ausleihen.

Der Befehl unten rechnet für jede Wetterart die Auswahlrate und die Trefferquote. Die Wetterarten sind hier die Gruppen. Es geht um Tage, nicht um Menschen, aber das Zählen ist dasselbe.

docker exec jupyter python3 -c "import csv; z = list(csv.DictReader(open('hires.csv'))); [print(w, 'Auswahlrate', round(sum(1 for x in z if x['weather'] == w and float(x['temp_c']) >= 15) / sum(1 for x in z if x['weather'] == w), 2), 'Trefferquote', round(sum(1 for x in z if x['weather'] == w and int(x['hires']) >= 300 and float(x['temp_c']) >= 15) / sum(1 for x in z if x['weather'] == w and int(x['hires']) >= 300), 2)) for w in ['sunny', 'cloudy', 'rainy']]"

Gleiche Auswahlrate und gleiche Trefferquote sind zwei Ziele, und beide klingen fair. Unterscheiden sich die Gruppen in der Wirklichkeit, etwa im Anteil der Zahlungsfähigen, lassen sie sich bei einem unvollkommenen Modell nicht zugleich erreichen.

Fairness ist deshalb keine Zahl, die man abliest. Menschen müssen entscheiden, welcher Fehler schwerer wiegt, und es aufschreiben.

Wiederholen Sie die Rechnung im Notebook mit den Gruppen „Wochenende“ und „Werktag“ statt der Wetterarten. Verwenden Sie dieselbe Regel ab 15 Grad.

Schreiben Sie zwei Sätze: Welche Gruppe wird von der Regel öfter gewählt, und bei welcher werden die vollen Tage besser erkannt?