Wann ist ein Unterschied mehr als Zufall?
Ein Hypothesentest prüft, ob ein beobachteter Unterschied mehr ist als Zufall. Der p-Wert sagt dazu, wie überraschend das Ergebnis wäre, wenn in Wahrheit nichts dahinterstünde.
Eine Mensa stellt die Kassen um und meldet: „Die Wartezeit ist kürzer.“ Vier Tage davor und vier Tage danach liegen vor. Sie entscheiden, ob das für die Behauptung reicht.
Am Ende dieser Lektion
Notiz
Ich kann eine Behauptung mit einem Test prüfen und die häufigen Fehler dabei vermeiden.
Schlüsselwörter
| Begriff | Was er bedeutet |
|---|---|
| Nullhypothese | die Annahme, dass es keinen echten Unterschied gibt |
| Teststatistik | die Zahl, die den beobachteten Unterschied misst |
| Permutationstest | ein Test, der die Gruppen immer wieder neu zufällig mischt |
| p-Wert | die Chance auf einen so extremen Unterschied, wenn nur Zufall wirkt |
| Signifikanzniveau | die Schwelle für den p-Wert, oft 0,05 |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Ein Test nimmt zuerst an, dass nichts wirkt
Sie prüfen die Behauptung nicht direkt. Sie nehmen zuerst die Nullhypothese an: Die Umstellung hat keinen Einfluss, jede Wartezeit könnte ebenso gut zur anderen Gruppe gehören.
Dann fragen Sie: Wie überraschend sind die Daten unter dieser Annahme? Sind sie sehr überraschend, zweifeln Sie die Annahme an.
Beispiel: die vier Schritte eines Tests
| Schritt | Was Sie tun | In der Mensa |
|---|---|---|
| 1 | Nullhypothese festlegen | Die Umstellung ändert nichts |
| 2 | Teststatistik berechnen | Mittelwert alt 7,5 minus neu 5,75 gleich 1,75 Minuten |
| 3 | Gruppen mischen, jedes Mal neu messen | Alle 70 Aufteilungen der 8 Werte in 4 und 4 |
| 4 | Zählen, wie oft der Mischwert mindestens so groß ist | 8 von 70 Aufteilungen |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Der Permutationstest mischt die Gruppen durch
Gilt die Nullhypothese, sind die Namen „alt“ und „neu“ beliebig. Sie mischen sie also und bilden daraus neue Gruppen derselben Größe. Bei acht Werten in 4 und 4 gibt es 70 solche Aufteilungen.
Die Teststatistik jeder Aufteilung wird berechnet. Der Anteil der Aufteilungen, die mindestens so extrem sind wie Ihre echte, ist der p-Wert.
Alle 70 Aufteilungen durchzählen
import itertools
alt = [9, 7, 8, 6]
neu = [5, 8, 4, 6]
alle = alt + neu
beobachtet = sum(alt) / 4 - sum(neu) / 4
treffer = 0
gesamt = 0
for gruppe in itertools.combinations(range(8), 4):
summe_a = 0
for i in gruppe:
summe_a = summe_a + alle[i]
unterschied = summe_a / 4 - (sum(alle) - summe_a) / 4
gesamt = gesamt + 1
if unterschied >= beobachtet - 0.000001:
treffer = treffer + 1
print("Beobachteter Unterschied:", beobachtet)
print("Aufteilungen:", gesamt, "extreme:", treffer)
print("p-Wert:", treffer / gesamt)
# Ändern Sie die letzte Zahl von neu in 3 und starten Sie erneut.
Den Unterschied von Wochenende und Werktagen berechnen
docker exec jupyter python3 -c "print((lambda d: round(d[d['weekday'].isin(['Sat', 'Sun'])]['hires'].mean() - d[~d['weekday'].isin(['Sat', 'Sun'])]['hires'].mean(), 1))(__import__('pandas').read_csv('hires.csv')))"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Ein großer Unterschied ist kein Zufall
Der Befehl zeigt: An Wochenenden werden im Schnitt 55,2 Räder mehr ausgeliehen als an Werktagen. Mit 104 Wochenendtagen und 261 Werktagen ist so ein Unterschied durch Mischen praktisch nie zu erreichen.
Der p-Wert wäre winzig. Dasselbe Verfahren gibt bei vier Werten je Gruppe also ein anderes Urteil als bei Hunderten: Mehr Daten machen einen Test empfindlicher.
Ein häufiger Fehler
Warnung
Viele denken, der p-Wert sei die Chance, dass die Nullhypothese stimmt. Das ist er nicht. Er sagt, wie extrem die Daten wären, falls sie stimmt. Ein p-Wert über 0,05 beweist außerdem nicht, dass es keinen Unterschied gibt. Er sagt nur, dass die Daten nicht reichen.
Beispiel: viele Tests liefern Zufallstreffer
| Zahl der Tests | Chance auf mindestens einen Zufallstreffer bei 0,05 |
|---|---|
| 1 | 0,05 |
| 5 | 0,23 |
| 10 | 0,40 |
| 20 | 0,64 |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Wer viele Tests probiert, findet Zufallstreffer
Testen Sie zwanzig Behauptungen mit der Schwelle 0,05, finden Sie mit Chance 0,64 mindestens eine „signifikante“, auch wenn nichts wirkt. Die Zahlen der Tabelle sind 1 minus 0,95 hoch Anzahl.
Legen Sie deshalb die Behauptung vor dem Blick auf die Daten fest. Berichten Sie alle Tests, nicht nur die erfolgreichen.