Der Fahrradverleih und die 99 Grad
Daten bereinigen heißt, Fehler in Daten zu finden und zu beheben, bevor man damit rechnet. Das ist oft der längste Teil jeder Datenarbeit.
Ein Fahrradverleih hat eine Datei mit einem Tag je Zeile. An einem Tag steht 99,9 Grad, an einem anderen minus 5 Leihen. Wer damit einen Durchschnitt rechnet, bekommt eine falsche Antwort.
Am Ende dieser Lektion
Notiz
Ich kann fehlerhafte Daten finden und bereinigen.
Schlüsselwörter
| Begriff | Was er bedeutet | Beispiel |
|---|---|---|
| Rohdaten | Daten so, wie sie ankommen | |
| Duplikat | ein Datensatz, der doppelt vorkommt | |
| Fehlender Wert | eine Angabe, die nicht eingetragen ist | None |
| Ausreißer | ein Wert, der weit weg von allen anderen liegt | 99.9 Grad |
| Median | der mittlere Wert einer geordneten Liste | |
| Bereinigen | Fehler in Daten finden und beheben |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Echte Daten sind selten sauber
Menschen tippen sich vertan, Geräte fallen aus, und zwei Dateien werden zusammengefügt. Darum stecken in Rohdaten fast immer Fehler.
Es gibt fünf typische Fehler. Lerne sie zu erkennen, dann findest du sie schnell.
Ein Beispiel: fünf typische Fehler
| Fehler | So sieht er aus | Was du tust |
|---|---|---|
| Duplikat | Dieselbe Zeile steht zweimal da | Eine Kopie behalten |
| Fehlender Wert | Ein Feld ist leer | Zeile weglassen oder Wert ersetzen |
| Ausreißer | Eine Temperatur von 99,9 Grad | Als Fehler behandeln |
| Falscher Typ | In einer Zahlenspalte steht unbekannt | Zeile weglassen |
| Uneinheitlich | sonnig, Sonnig und SONNIG | Alles klein schreiben |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Fehler in einer echten Datei ansehen
Das Lab hat JupyterLab mit einer Datei hires.csv. Sie hat einen Tag je Zeile, die Spaltennamen sind englisch. Drück oben in der Leiste auf Lab starten und öffne das Terminal.
Die Befehle schauen nur hinein. Das Skript messy.py macht eine Kopie der Datei mit eingebauten Fehlern und zählt sie.
Die ersten Zeilen der Datei ansehen
docker exec jupyter head -n 3 hires.csvHier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Die Zeilen der Datei zählen
docker exec jupyter wc -l hires.csvHier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Eine Kopie mit Fehlern prüfen
docker exec jupyter python3 steps/messy.pyHier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Gleiche Dinge müssen gleich geschrieben sein
Für einen Menschen sind Sonnig und sonnig dasselbe. Für den Computer nicht: Der Leerraum am Ende und der Großbuchstabe machen zwei verschiedene Texte.
Mit strip() schneidest du Leerraum am Rand ab. Mit lower() machst du alles klein.
Probier es: Schreibweisen vereinheitlichen
wetter = ["Sonnig ", "SONNIG", "regnerisch"]
for eintrag in wetter:
print("[" + eintrag.strip().lower() + "]")
# Füge "wolkig " in die Liste ein und starte noch einmal.
Fehlende Werte weglassen oder ersetzen?
Fehlt ein Wert, hast du zwei Wege. Du lässt die Zeile weg, oder du setzt einen Ersatz ein.
Als Ersatz taugt der Median gut. Er ist der mittlere Wert der geordneten Liste, und ein Ausreißer schiebt ihn kaum.
Probier es: Mittelwert und Median
leihen = [210, 230, 250, 240, 900]
mittel = sum(leihen) / len(leihen)
geordnet = sorted(leihen)
median = geordnet[len(geordnet) // 2]
print("Mittelwert:", mittel)
print("Median:", median)
# Ersetze 900 durch 260 und starte noch einmal.
Die Kopie Schritt für Schritt bereinigen
docker exec jupyter python3 steps/clean.pyHier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Ein häufiger Fehler
Warnung
Viele denken, ein fehlender Wert lasse sich einfach mit 0 füllen. Das verfälscht jeden Durchschnitt, weil 0 ein echter Messwert ist. Nimm den Median der bekannten Werte oder lass die Zeile weg, und schreib auf, was du getan hast.