クリーム色の背景、色付き表示、高コントラスト、大きな文字のほうが読みやすいですか?配色と文字を選ぶと、すべてのページに一度で反映されます。

無料レッスン

ステップのジャーナルとリプレイ

このレッスンのあとで: ステップのジャーナルを使って、落ちたワークフローがどこから続くべきかを見つけられる。

60分のレッスンコマンド4件永続実行ラボ:ワークフローをわざと落とし、ジャーナルから再開する

ワークフローはどう落ちても続くのか

永続実行では、ワークフローの終わったステップを一つずつジャーナルに書きます。だから、落ちたあとの再実行が続きから進めます。ジャーナルはデータベースのテーブルで、プロセスより長く残ります。

再実行では、行のあるステップはもう一度動かさず、行からリプレイします。仕事が始まるのは、行のない最初のステップです。ラボのエンジンは、これを約100行で行います。

このレッスンが終わると

メモ

ステップのジャーナルを使って、落ちたワークフローがどこから続くべきかを見つけられる。

キーワード

ことばいみ
ワークフローすべてのステップを順に行う必要があるジョブ
ジャーナル終わったステップとその結果を持つテーブル
連番ワークフローの中のステップの位置。0 から数える
リプレイステップを動かさず、結果をジャーナルから取ること
再開落ちたワークフローをもう一度動かし、続けさせること

学生が入力するセルは、このプレビューでは空白です。

先に進む前に結果を書く

ラボのワークフローは、ふつうの Python です。ステップはどれも wf.step の呼び出しで、名前と実行する関数を渡します。エンジンはステップごとに連番を付けます。最初が 0、次が 1 です。

ステップが終わると、エンジンは journal テーブルに行を挿入します。ワークフロー、番号、名前、結果です。それが済んでから、ワークフローは先に進みます。

2ステップのあとで注文を落とす

コマンド
docker exec worker python3 order.py order-7 --fresh --crash-after 2

ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。

order-7 のジャーナルを読む

コマンド
docker exec db psql -U durable -c "SELECT seq, step, result FROM journal WHERE workflow = 'order-7' ORDER BY seq"

ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。

再開は見つけた行をリプレイする

同じワークフローを、オプションなしで動かします。エンジンはまずジャーナルを読み、2つの行を見つけます。

ステップ 0 と 1 は replay と出します。結果は行から来るので、確保も課金も繰り返しません。ステップ 2 と 3 には行がないので run と出します。もう一度動かすと、4つのステップすべてをリプレイし、新しいことは何もしません。

order-7 を再開する

コマンド
docker exec worker python3 order.py order-7

ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。

order-7 をもう一度再開する

コマンド
docker exec worker python3 order.py order-7

ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。

例:order-7 の3回の実行

実行見つけた行リプレイ実行したもの
1、2つのあとで落ちた0なし0 と 1
2、再開20 と 12 と 3
3、もう一度再開40 から 3なし

学生が入力するセルは、このプレビューでは空白です。

よくある間違い

注意

再開すると、失敗したステップへ直接飛ぶと思う人が多くいます。実際はワークフロー全体を最初から動かし、終わったステップにはエンジンがジャーナルから答えます。だから、ステップの外のコードは毎回動きます。副作用はすべてステップの中に置きましょう。

試そう:辞書のジャーナル

コード: python
journal = {}   # ラボでは、これは PostgreSQL のテーブル

def step(seq, name, work):
    if seq in journal:
        print("リプレイ", seq, name, journal[seq])
        return journal[seq]
    result = work()
    journal[seq] = result   # 先に進む前に書いておく
    print("実行    ", seq, name, result)
    return result

def order(crash_after):
    step(0, "reserve_stock", lambda: "2 個確保")
    step(1, "charge_card", lambda: "2500 課金")
    if crash_after == 2:
        print("クラッシュ")
        return
    step(2, "send_receipt", lambda: "メール送信")

order(crash_after=2)   # 1 回目は 2 ステップのあとで落ちる
order(crash_after=0)   # 再実行は 2 つをリプレイし、1 つを実行する
# 1 つ目の呼び出しを crash_after=0 にして、比べましょう。

コードは同じステップを求める

リプレイがうまくいくのは、コードが毎回、同じステップを同じ順に求めるときだけです。ラボのエンジンは、各ステップの名前を行と比べ、違えば止まります。

だから、ワークフローは実行ごとに変わるもので選んではいけません。時計や乱数がその例です。そうした値はステップにしましょう。すると、その結果もほかと同じように残ります。

このラボとソースについて: 永続実行ラボ:ワークフローをわざと落とし、ジャーナルから再開する

授業で使いますか?このモジュールを学生に割り当てると、教員用ガイド、自動採点つきの課題、学生ごとのラボを使えます。