Lab zur dauerhaften Ausführung: einen Workflow absichtlich abstürzen lassen und aus seinem Journal fortsetzen
Dieses Lab lehrt dauerhafte Ausführung (Durable Execution) von Grund auf, die Idee hinter Workflow-Engines wie Temporal, Restate und DBOS. Jede lernende Person hat eine PostgreSQL-Datenbank und einen Python-Worker mit einer Engine von etwa hundert Zeilen: Ein Schritt läuft einmal, sein Ergebnis wird in eine Journaltabelle geschrieben, und ein neuer Lauf nach einem Absturz spielt die gefundenen Zeilen ab und macht weiter.
Die Lernenden lassen Workflows absichtlich abstürzen und setzen sie fort: ein einfacher Job, der eine Karte zweimal belastet, eine Bestellung, die ihr Journal abspielt, eine Abbuchung, die ein Idempotenzschlüssel sicher macht, ein Wiederholungsplan, ein dauerhafter Timer und eine Reise, die als Saga gebucht wird. Es gehört zum Modul Dauerhafte Ausführung. Keine kommerzielle Engine läuft darin; das Modul vergleicht sie in Worten.
Was Lernende lernen
Warum ein Job, der mittendrin stirbt, seine Seiteneffekte wiederholt, wenn er von vorn neu gestartet wird; wie ein Journal der fertigen Schritte einen neuen Lauf stattdessen weitermachen lässt; warum ein Absturz zwischen einem Effekt und seiner Journalzeile den Effekt trotzdem wiederholt und wie ein Idempotenzschlüssel diese Lücke schließt; wie Wiederholungen mit Backoff, Obergrenze, Jitter und Höchstzahl warten; wie ein dauerhafter Timer als Zeile wartet und nicht als laufender Prozess; und wie eine Saga fertige Schritte rückgängig macht, den neuesten zuerst, wenn ein späterer scheitert. Sie lesen das Journal mit SQL und sehen, warum Workflow-Code bei jedem Lauf dieselben Schritte verlangen muss. Es passt zu einem Kurs über verteilte Systeme oder Softwaretechnik oder zu einem Modul über zuverlässige Backends.
Im Browser ausführen
Das Lab startet zwei Dienste: db, PostgreSQL, und worker, Python mit den Dateien des Labs in /tmp. Der Worker startet, sobald die Datenbank antwortet. Das Terminal neben dem Lab hat kein eigenes Python, also erreicht es die Dienste mit docker exec. Jeder Run gibt jedes Mal dasselbe aus: Nichts liest die Uhr, und die eine Zufallswahl hat einen festen Seed.
- Container-Seite öffnen. Öffnen Sie in der Leiste „Entwickeln“ und wählen Sie „Einen Container ausführen“. Die Seite kann jeder öffnen, und das Git-Lab und das SQL-Lab starten ohne Konto. Alle anderen Labs brauchen ein kostenloses Konto: Erstellen Sie eines, melden Sie sich an und klicken Sie dann auf „Starten“.
- Lab suchen. Die Karte „Beispiel-Labs“ listet alle Beispiele auf. Suchen Sie Durable execution.
- Auf „Starten“ klicken. „Starten“ führt das Lab unverändert mit einem einzigen Klick aus. „Zuerst die Datei bearbeiten“ öffnet die Compose-Datei, damit Sie sie vor dem Start ändern können.
- Öffnen. Klicken Sie auf der Seite des Labs auf „Terminal öffnen“. Unter „In Ihrem Browser“ gibt es keinen Link, weil das Lab keine Webseite hat. Tippen Sie docker exec worker python3 order.py order-7 --fresh --crash-after 2: Der Befehl führt zwei Schritte aus und hält mit einer Absturzzeile an. Danach spielt docker exec worker python3 order.py order-7 diese zwei Schritte aus dem Journal ab und führt die anderen zwei aus.
Was Lernende abgeben sollen
Einen eigenen Workflow, geschrieben mit engine.py, zum Beispiel eine Anmeldung, die ein Konto anlegt, eine Willkommensmail schickt und ein Gespräch bucht, dazu die Ausgabe eines Laufs, den sie mit --crash-after abstürzen ließen, die Ausgabe des Laufs, der ihn fortsetzte, und seine Journalzeilen aus psql. Dann einen Satz dazu, welche Schritte zweimal liefen und welche nicht. Eine gute Antwort legt jeden Seiteneffekt in einen Schritt und gibt allem, was Geld nimmt, einen Idempotenzschlüssel.
Eine Basis-Lektion zu diesem Lab
Durable Execution Basics ist eine kleine Lektion, die in diesem Lab durchgeführt wird. Darin lässt man einen einfachen Job abstürzen und zählt zwei Zahlungen, lässt den Bestell-Workflow abstürzen und liest sein Journal, setzt ihn fort, belastet nach einem Absturz mitten in der Abbuchung eine Karte mit einem Idempotenzschlüssel nur einmal und bucht eine Reise, deren Mietwagen scheitert, sodass die Saga Hotel und Flug storniert.
Kostenlose persönliche Konten haben sie im Modul Basics, das auf der Startseite liegt, jede Einrichtung kann sie aus dem Basics-Ordner der Bibliothek kopieren, und eine neue Einrichtung startet mit ihr in einem Modul namens Data Labs (Sample). Sie ist bewusst klein: Sie zeigt Lehrkräften, was eine Lektion in einem Lab ist, und das Lab erledigt den Rest. Kopieren Sie sie in ein eigenes Modul, um sie zu ändern.
Der Code auf GitHub
Die Compose-Datei hat kein Dockerfile: Sie startet zwei öffentliche Standard-Images, postgres und python, jedes auf eine genaue Version festgelegt, mit 256 MB und 128 MB Speicher. PostgreSQL steht unter der PostgreSQL License und Python unter der PSF License; keines wird von uns verteilt. Der Worker läuft unter einem Konto ohne Sonderrechte. Seine Dateien schreibt die Compose-Datei selbst, auch pg.py, einen kleinen Client für das eigene Protokoll von PostgreSQL, weil in einem Standard-Image von Python kein Datenbanktreiber steckt. Die Datenbank fragt nach keinem Passwort, da nichts außerhalb des Labs sie erreichen kann, und das Lab hat keinen Weg ins Internet. Nichts bleibt erhalten, wenn das Lab stoppt.
Als Aufgabe stellen
Sagen Sie in der Aufgabe, was abzugeben ist.
- Lab erstellen. Fügen Sie in Ihrem Modul eine Aufgabe hinzu und wählen Sie die Karte „Container-Lab“, dann „In einem GitHub-Repository“. Geben Sie https://github.com/mitsurutech/lab-durable-lab mit dem Branch main an. Die Compose-Datei ist standardmäßig compose.yaml. Forken Sie das Repository zuerst, wenn Sie es ändern möchten.
- Veröffentlichen und ausprobieren. „Veröffentlichen“ legt den Commit fest, den Sie gesehen haben. Eine spätere Änderung im Repository verändert also kein Lab, das Sie bereits gestellt haben. Starten Sie zuerst Ihre eigene Kopie.
- Zuweisen. Weisen Sie es wie jede Aufgabe zu, auf Wunsch mit Fälligkeitsdatum, und schreiben Sie in die Aufgabe, was zu tun ist und was abgegeben werden soll.
- Abgaben bewerten. Öffnen Sie die Kopie einer lernenden Person und die abgegebene Arbeit, bewerten Sie sie und geben Sie sie mit einer Begründung zur Überarbeitung zurück, wenn mehr nötig ist.
Dieses Lab ausprobieren, und was es kostet
Mit einem kostenlosen persönlichen Konto können Sie die Grundlagenlektionen in diesem Lab durcharbeiten, mit genug kostenlosem Guthaben pro Monat für die meisten Lektionen und ohne Karte. Für eine Klasse sind die ersten 365 Tage für eine Schule kostenlos, für bis zu 50 Lernende; danach zahlt sie je lernender Person und Jahr, alle Labs inklusive und Lehrkräfte kostenlos.
Häufige Fragen
- Ist das Temporal, Restate oder DBOS?
- Nein. Es ist eine Engine von etwa hundert Zeilen, für das Lab geschrieben, mit der Idee, die diese Engines teilen: ein Journal der fertigen Schritte, das ein neuer Lauf abspielt. Echte Engines fügen viele Worker, Warteschlangen, Werkzeuge zum Ändern von Code und eine Webseite hinzu. Das Modul Dauerhafte Ausführung vergleicht sie in Worten.
- Wie lässt ein Run den Workflow abstürzen?
- Die Optionen --crash-after und --crash-inside lassen den Worker seinen eigenen Prozess an einer benannten Stelle beenden, mit dem Exit-Code 3. Der Absturz ist also echt und jedes Mal gleich. Der nächste Run ohne die Option setzt den Workflow aus dem Journal fort.
- Warum gibt ein zweiter Run manchmal andere Zeilen aus?
- Weil das Journal noch da ist. Das Fortsetzen eines fertigen Workflows spielt jeden Schritt ab und tut nichts Neues. Jeder Run, der einen Workflow startet, trägt --fresh, das ihn zuerst vergisst, also lässt er sich erneut drücken.
- Was ist nach dem Beenden und Starten des Labs noch da?
- Nichts. Das Journal, die Zahlungen und jede Datei, die jemand geschrieben hat, sind vergessen, und das Lab schreibt beim Start seine eigenen Dateien neu. Kopieren Sie alles, was abgegeben werden soll, aus dem Terminal, bevor Sie es beenden.