Dieselbe Bereinigung, jeden Montag
Der Besitzer schickt jeden Montag einen neuen Export. Er hat dieselben Fehler wie letzte Woche: Wiederholungen, Wörter, wo Zahlen stehen sollten, seltsame Schreibweisen.
Sie könnten ihn jedes Mal von Hand in einem Notebook bereinigen. Oder Sie schreiben die Schritte einmal in der richtigen Reihenfolge in ein Skript, das jedes Mal gleich läuft.
Am Ende dieser Lektion
Notiz
Ich kann eine kleine Pipeline schreiben, die bereinigt, verbindet und berichtet und stoppt, wenn eine Prüfung fehlschlägt.
Schlüsselwörter
| Begriff | Was er bedeutet | Beispiel |
|---|---|---|
| Pipeline | Schritte der Reihe nach, jeder nutzt das Ergebnis des vorigen | |
| Schritt | ein Teil der Pipeline | Duplikate entfernen |
| Prüfung | ein Test in der Pipeline, der sie anhalten kann | |
| Exit-Code | die Zahl, mit der ein Skript endet, 0 bei Erfolg | sys.exit(1) |
| Reproduzierbar | liefert bei jedem Start dasselbe Ergebnis |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Schritte in fester Reihenfolge
Eine Pipeline ist eine Liste von Schritten. Jeder nimmt eine Tabelle und gibt eine zurück. Die Reihenfolge zählt: Man kann nicht über das Datum verbinden, bevor die Daten sauber sind.
Nach jedem Schritt kann die Pipeline ausgeben, wie viele Zeilen übrig sind. Ein plötzlicher Sprung nach unten ist das erste Zeichen, dass ein Schritt schiefging.
Beispiel: die Schritte der heutigen Pipeline
| Schritt | Was er tut | Erwartete Zeilen |
|---|---|---|
| lesen | Lädt den unsauberen Export | 367 |
| ohne Duplikate | Entfernt Zeilen, die doppelt vorkommen | 365 |
| echte Zahlen | Behält Ausleihen ab 0, als Zahlen | 363 |
| Join | Fügt die Feiertagsspalte hinzu und behält jeden Tag | 363 |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Die Feiertagsliste noch einmal schreiben
docker exec jupyter sh -c "printf '%s\n' 'date,feiertag' '2025-01-01,Neujahr' '2025-04-18,Karfreitag' '2025-04-21,Ostermontag' '2025-05-01,Tag der Arbeit' '2025-05-29,Christi Himmelfahrt' '2025-06-09,Pfingstmontag' '2025-10-03,Tag der Deutschen Einheit' '2025-12-25,Erster Weihnachtstag' > feiertage.csv"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Das ganze Skript hat etwa zwanzig Zeilen
Der nächste Block zeigt das Skript. Lesen Sie es zuerst. Die Funktion schritt gibt die übrigen Zeilen aus und beendet das ganze Skript mit Exit-Code 1, wenn weniger als minimum da sind.
Die Zahl minimum geben Sie beim Start an, Sie wählen also, wie streng die Prüfung ist.
steps/ablauf.py
import sys
import pandas as pd
from mess import make
minimum = int(sys.argv[1])
def schritt(name, tabelle):
print(name, "->", len(tabelle), "Zeilen")
if len(tabelle) < minimum:
print("ABBRUCH:", name, "lässt weniger als", minimum, "Zeilen")
sys.exit(1)
return tabelle
make()
tabelle = schritt("lesen", pd.read_csv("messy.csv"))
tabelle = schritt("ohne Duplikate", tabelle.drop_duplicates())
tabelle["hires"] = pd.to_numeric(tabelle["hires"], errors="coerce")
tabelle = schritt("echte Zahlen", tabelle[tabelle["hires"] >= 0])
tabelle["weather"] = tabelle["weather"].str.strip().str.lower()
tabelle = schritt("Join", tabelle.merge(pd.read_csv("feiertage.csv"), on="date", how="left"))
tabelle.to_csv("bericht.csv", index=False)
print(tabelle.groupby("weather")["hires"].mean().round(1).to_string())
Die Pipeline ins Lab schreiben
docker exec jupyter sh -c "printf '%s\n' 'import sys' 'import pandas as pd' 'from mess import make' '' 'minimum = int(sys.argv[1])' '' 'def schritt(name, tabelle):' ' print(name, \"->\", len(tabelle), \"Zeilen\")' ' if len(tabelle) < minimum:' ' print(\"ABBRUCH:\", name, \"lässt weniger als\", minimum, \"Zeilen\")' ' sys.exit(1)' ' return tabelle' '' 'make()' 'tabelle = schritt(\"lesen\", pd.read_csv(\"messy.csv\"))' 'tabelle = schritt(\"ohne Duplikate\", tabelle.drop_duplicates())' 'tabelle[\"hires\"] = pd.to_numeric(tabelle[\"hires\"], errors=\"coerce\")' 'tabelle = schritt(\"echte Zahlen\", tabelle[tabelle[\"hires\"] >= 0])' 'tabelle[\"weather\"] = tabelle[\"weather\"].str.strip().str.lower()' 'tabelle = schritt(\"Join\", tabelle.merge(pd.read_csv(\"feiertage.csv\"), on=\"date\", how=\"left\"))' 'tabelle.to_csv(\"bericht.csv\", index=False)' 'print(tabelle.groupby(\"weather\")[\"hires\"].mean().round(1).to_string())' > steps/ablauf.py"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Mit einem Minimum von 300 Zeilen starten
docker exec jupyter python3 steps/ablauf.py 300Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Eine Prüfung, die die Pipeline anhält
Eine Prüfung ist nur nützlich, wenn sie Nein sagen kann. Hier ist es ein Minimum an übrigen Zeilen. Geben Sie ihr ein Minimum, das die Daten nicht halten können: Die Pipeline stoppt bei dem ersten Schritt, der es bricht.
Das Skript endet dann mit Exit-Code 1, und was es gestartet hat, weiß, dass es scheiterte.
Mindestens 365 Zeilen verlangen
docker exec jupyter python3 steps/ablauf.py 365 || echo "Exit-Code $?"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Mindestens 400 Zeilen verlangen
docker exec jupyter python3 steps/ablauf.py 400 || echo "Exit-Code $?"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Prüfen, was der fertige Lauf geschrieben hat
docker exec jupyter python3 -c "import pandas as pd; r=pd.read_csv('bericht.csv'); print(r.shape, r['feiertag'].notna().sum(), r['date'].is_unique, r['hires'].isna().sum())"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Ein häufiger Fehler
Warnung
Viele denken, eine Pipeline, die ohne Fehler endete, sei richtig. Sie hat nur die Prüfungen bestanden, die jemand geschrieben hat. Die Zeilenzahlen sagen nichts darüber, ob die Wetterwörter gleich geschrieben sind. Fügen Sie für jeden schon gesehenen Fehler eine Prüfung hinzu.
Das Schrittmuster, in Python gerechnet
# Das Schrittmuster in einfachem Python: tun, melden, stoppen, wenn zu wenig übrig bleibt.
zeilen = [3, 8, 1, 9, 4, 2]
minimum = 3
def ueber(grenze, werte):
behalten = []
for x in werte:
if x > grenze:
behalten.append(x)
return behalten
def schritt(name, grenze, zeilen):
zeilen = ueber(grenze, zeilen)
print(name, "->", len(zeilen), "Zeilen")
if len(zeilen) < minimum:
print("ABBRUCH:", name)
return None
return zeilen
zeilen = schritt("behalte über 2", 2, zeilen)
if zeilen is not None:
zeilen = schritt("behalte über 5", 5, zeilen)
if zeilen is None:
print("gestoppt")
else:
print("fertig")
# Setzen Sie minimum auf 2 und starten Sie noch einmal.Weiter: eine Prüfung hinzufügen
Fügen Sie zu steps/ablauf.py einen Schritt hinzu, der stoppt, wenn ein Wetterwort nicht cloudy, rainy oder sunny ist. Nutzen Sie set(tabelle["weather"]) und vergleichen Sie.
Probieren Sie ihn mit den bereinigten Daten, dann vor der Zeile strip. Was findet diese Prüfung, das die Zeilenzahlen übersehen haben?