Lab d’exécution durable : planter un workflow exprès et le reprendre depuis son journal

Ce lab enseigne l’exécution durable, l’idée qui fait tourner des moteurs de workflow comme Temporal, Restate et DBOS, à partir des principes. Chaque élève a une base PostgreSQL et un worker Python qui contient un moteur d’une centaine de lignes : une étape tourne une fois, son résultat est écrit dans une table de journal, et une nouvelle exécution après un plantage rejoue les lignes trouvées puis continue.

Les élèves plantent des workflows exprès et les reprennent : une tâche simple qui débite une carte deux fois, une commande qui rejoue son journal, un débit rendu sûr par une clé d’idempotence, un calendrier de nouvelles tentatives, un minuteur durable et un voyage réservé en saga. Il accompagne le module Exécution durable. Aucun moteur commercial n’y tourne ; le module les compare en mots.

Ce que les élèves apprennent

Pourquoi une tâche qui meurt en route refait ses effets de bord quand on la relance depuis le début ; comment un journal des étapes terminées permet plutôt de continuer ; pourquoi un plantage entre un effet et sa ligne de journal refait encore l’effet, et comment une clé d’idempotence ferme cette brèche ; comment les nouvelles tentatives s’espacent, avec un plafond, de la gigue et une limite ; comment un minuteur durable attend sous forme de ligne plutôt que de processus en marche ; et comment une saga annule les étapes terminées, la plus récente d’abord, quand une étape suivante échoue. Ils lisent le journal en SQL et voient pourquoi le code d’un workflow doit demander les mêmes étapes à chaque exécution. Il convient à un cours de systèmes distribués ou de génie logiciel, ou à un module sur la fiabilité du back-end.

Le lancer dans votre navigateur

Le lab démarre deux services : db, PostgreSQL, et worker, Python avec les fichiers du lab dans /tmp. Le worker démarre dès que la base répond. Le terminal à côté du lab n’a pas de Python à lui, il les atteint donc avec docker exec. Chaque commande affiche la même chose à chaque fois : rien ne lit l’horloge et le seul tirage au hasard a une graine fixe.

  1. Ouvrir la page Conteneur. Ouvrez « Créer » dans la barre et choisissez « Lancer un conteneur ». Tout le monde peut ouvrir la page, et le lab Git et le lab SQL se lancent sans compte. Tous les autres labs demandent un compte gratuit : créez-en un, connectez-vous, puis appuyez sur « Démarrer ».
  2. Trouver le lab. La carte « Laboratoires d’exemple » liste tous les exemples. Trouvez Durable execution.
  3. Appuyer sur Démarrer. « Démarrer » le lance tel quel, en un clic. « Modifier le fichier d’abord » ouvre le fichier compose pour que vous puissiez le changer avant de démarrer.
  4. L’ouvrir. Sur la page du lab, appuyez sur « Ouvrir le terminal ». Il n’y a aucun lien sous « Dans votre navigateur », car le lab n’a pas de page web. Tapez docker exec worker python3 order.py order-7 --fresh --crash-after 2 : il exécute deux étapes et s’arrête sur une ligne de plantage. Ensuite, docker exec worker python3 order.py order-7 rejoue ces deux étapes depuis le journal et exécute les deux autres.

Que demander aux élèves de rendre

Un workflow à eux écrit avec engine.py, par exemple une inscription qui crée un compte, envoie un e-mail de bienvenue et réserve un appel, avec la sortie d’une exécution plantée avec --crash-after, la sortie de l’exécution qui l’a reprise et ses lignes de journal lues avec psql. Puis une phrase sur les étapes qui ont tourné deux fois et celles qui ne l’ont pas fait. Une bonne réponse place chaque effet de bord dans une étape et donne une clé d’idempotence à tout ce qui prend de l’argent.

A basic lesson on this lab

Durable Execution Basics est une petite leçon qui se fait dans ce lab. L’élève y plante une tâche simple et compte deux paiements, plante le workflow de commande et lit son journal, le reprend, débite une carte une seule fois grâce à une clé d’idempotence après un plantage dans le débit, et réserve un voyage dont la voiture échoue, si bien que la saga annule l’hôtel et le vol.

Les comptes personnels gratuits l’ont dans le module Basics, qui se trouve sur l’« Accueil », chaque établissement peut la copier depuis le dossier Basics de la Bibliothèque, et un nouvel établissement l’a dans un module appelé Data Labs (Sample). Elle est volontairement petite : elle montre à un enseignant ce qu’est une leçon qui se fait dans un lab, et le lab fait le reste. Copiez-la dans un module à vous pour la modifier.

Le code sur GitHub

Le fichier compose n’a pas de Dockerfile : il lance deux images publiques standard, postgres et python, chacune figée à une version exacte, avec 256 Mo et 128 Mo de mémoire. PostgreSQL est sous licence PostgreSQL et Python sous licence PSF ; aucun des deux n’est distribué par nous. Le worker tourne sous un compte sans privilèges. Ses fichiers sont écrits par le fichier compose lui-même, dont pg.py, un petit client du protocole propre à PostgreSQL, car aucun pilote de base de données n’est dans une image Python standard. La base ne demande aucun mot de passe, puisque rien hors du lab ne peut l’atteindre, et le lab n’a aucun accès à internet. Rien n’est gardé à l’arrêt du lab.

En faire un travail

Indiquez dans la tâche ce qu’il faut rendre.

  1. Créer le lab. Dans votre module, ajoutez une tâche et choisissez la carte « Lab de conteneurs », puis « Dans un dépôt GitHub ». Indiquez https://github.com/mitsurutech/lab-durable-lab avec la branche main. Le fichier compose par défaut est compose.yaml. Faites d’abord un fork du dépôt si vous voulez le modifier.
  2. Publier et l’essayer. « Publier » fige le commit qui vous a été montré : un changement ultérieur dans le dépôt ne modifie donc pas un lab que vous avez déjà proposé. Démarrez d’abord votre propre copie.
  3. Le distribuer. Attribuez-le comme n’importe quelle tâche, avec une échéance si vous le souhaitez, et indiquez dans la tâche ce qu’il faut faire et ce qu’il faut rendre.
  4. Noter ce qui est rendu. Ouvrez la copie d’un élève et le travail rendu, notez-le et renvoyez-le avec un motif s’il demande un complément.

Essayer ce lab, et ce qu’il coûte

Un compte personnel gratuit permet de suivre les leçons de base de ce lab, avec chaque mois assez de crédit gratuit pour suivre la plupart des leçons, sans carte. Pour une classe, un établissement a ses 365 premiers jours gratuits pour 50 élèves au plus, puis paie par élève et par an, tous les labs compris et les enseignants gratuits.

Questions fréquentes

Est-ce Temporal, Restate ou DBOS ?
Non. C’est un moteur d’une centaine de lignes écrit pour le lab, avec l’idée que ces moteurs partagent : un journal des étapes terminées qu’une nouvelle exécution rejoue. Les vrais moteurs ajoutent de nombreux workers, des files, des outils pour changer le code et une page web. Le module Exécution durable les compare en mots.
Comment une commande fait-elle planter le workflow ?
Les options --crash-after et --crash-inside font arrêter au worker son propre processus à un endroit nommé, avec le code de sortie 3 : le plantage est réel et identique à chaque fois. La commande suivante, sans l’option, reprend depuis le journal.
Pourquoi une deuxième commande affiche-t-elle parfois d’autres lignes ?
Parce que le journal est toujours là. La reprise d’un workflow terminé rejoue chaque étape et ne fait rien de neuf. Chaque commande qui lance un workflow porte --fresh, qui l’oublie d’abord, pour qu’on puisse la relancer.
Que reste-t-il après avoir arrêté puis relancé le lab ?
Rien. Le journal, les paiements et tout fichier écrit par un élève sont oubliés, et le lab réécrit ses propres fichiers au démarrage. Copiez depuis le terminal tout ce qui est à rendre avant de l’arrêter.