Comment un workflow survit-il à un plantage ?
L’exécution durable note chaque étape terminée d’un workflow dans un journal, pour qu’une nouvelle exécution reparte après un plantage. Ce journal est une table de base de données, qui survit au processus.
À la reprise, une étape qui a sa ligne est rejouée à partir d’elle, pas exécutée de nouveau. Le travail reprend à la première étape sans ligne. Le moteur du labo fait cela en une centaine de lignes.
À la fin de cette leçon
Remarque
Je peux utiliser un journal d’étapes pour trouver où un workflow planté doit reprendre.
Mots clés
| Mot | Ce que ça veut dire |
|---|---|
| Workflow | une tâche dont toutes les étapes doivent avoir lieu, dans l’ordre |
| Journal | une table qui garde chaque étape terminée et son résultat |
| Numéro de séquence | la place d’une étape dans le workflow, en comptant depuis 0 |
| Rejeu | prendre le résultat d’une étape dans le journal au lieu de l’exécuter |
| Reprise | relancer un workflow planté pour qu’il continue |
Les cellules que les étudiants remplissent restent vides dans cet aperçu.
Le moteur note chaque résultat avant de continuer
Dans le labo, un workflow est du Python ordinaire. Chaque étape est un appel à wf.step avec un nom et une fonction à exécuter. Le moteur donne à chaque étape un numéro de séquence : 0 pour la première, 1 pour la suivante.
Quand une étape finit, le moteur insère une ligne dans la table journal : le workflow, le numéro, le nom et le résultat. Ensuite seulement le workflow continue.
Planter la commande après deux étapes
docker exec worker python3 order.py order-7 --fresh --crash-after 2Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
Lire les lignes de journal de order-7
docker exec db psql -U durable -c "SELECT seq, step, result FROM journal WHERE workflow = 'order-7' ORDER BY seq"Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
Une reprise rejoue les lignes trouvées
Lancez maintenant le même workflow sans option. Le moteur lit d’abord le journal et y trouve deux lignes.
Les étapes 0 et 1 affichent replay : leurs résultats viennent des lignes, rien n’est donc réservé ni débité de nouveau. Les étapes 2 et 3 n’ont pas de ligne, elles affichent run. Une exécution de plus rejoue les quatre étapes et ne fait rien de neuf.
Reprendre order-7
docker exec worker python3 order.py order-7Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
Reprendre order-7 encore une fois
docker exec worker python3 order.py order-7Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
Exemple guidé : trois exécutions de order-7
| Exécution | Lignes trouvées | Rejouées | Exécutées |
|---|---|---|---|
| 1, plantée après 2 | 0 | aucune | 0 et 1 |
| 2, reprise | 2 | 0 et 1 | 2 et 3 |
| 3, nouvelle reprise | 4 | 0 à 3 | aucune |
Les cellules que les étudiants remplissent restent vides dans cet aperçu.
Une erreur fréquente
Attention
Beaucoup pensent qu’une reprise saute directement à l’étape qui a échoué. Elle relance tout le workflow depuis le début, et le moteur répond à chaque étape finie à partir du journal. Le code hors d’une étape tourne donc à chaque fois : placez chaque effet de bord dans une étape.
À vous : un journal dans un dictionnaire
journal = {} # dans le labo, c’est une table PostgreSQL
def etape(num, nom, travail):
if num in journal:
print("rejeu ", num, nom, journal[num])
return journal[num]
resultat = travail()
journal[num] = resultat # noté avant de continuer
print("exécute ", num, nom, resultat)
return resultat
def commande(plante_apres):
etape(0, "reserve_stock", lambda: "2 réservés")
etape(1, "charge_card", lambda: "2500 débités")
if plante_apres == 2:
print("plantage")
return
etape(2, "send_receipt", lambda: "envoyé")
commande(plante_apres=2) # la première exécution meurt après deux étapes
commande(plante_apres=0) # la reprise rejoue deux étapes et en exécute une
# Mettez plante_apres=0 dans le premier appel et comparez.
Le code doit demander les mêmes étapes
Le rejeu ne marche que si le code demande les mêmes étapes, dans le même ordre, à chaque exécution. Le moteur du labo compare le nom de chaque étape à sa ligne et s’arrête s’ils diffèrent.
Un workflow ne doit donc pas décider à partir de ce qui change d’une exécution à l’autre, comme l’horloge ou un nombre aléatoire. Faites de cette valeur une étape : son résultat est gardé comme les autres.