同じソースから同じバイトを作る
再現可能なビルド(reproducible build)とは、同じソースと同じ道具から、1ビットも違わない成果物ができることです。これが大切なのは、誰でも公開版を作り直し、途中で書き換えられていないかを確かめられるからです。
2024年3月、多くの Linux に入っている圧縮ライブラリ xz-utils の 5.6.0 と 5.6.1 に、裏口が見つかりました。その一部は、公開された配布用のアーカイブにあり、多くの人が読むコードにはありませんでした。
このレッスンのゴール
メモ
ビルドが再現可能かどうかを確かめられる。
今日のキーワード
| ことば | いみ | れい |
|---|---|---|
| 再現可能なビルド | 同じソースから、毎回同じバイトができるビルドです。 | |
| ハッシュ値 | バイト列から作る短い指紋で、1バイト違えば変わります。 | sha256sum |
| SOURCE_DATE_EPOCH | ビルドが時計の代わりに使う、1970年からの秒数で表した決まった時刻です。 | SOURCE_DATE_EPOCH=1709283600 |
| 来歴 | 何を、どのソースから、どのビルドで作ったかの記録です。 | |
| 署名 | 鍵で作る、ファイルの出どころと無変更の証拠です。 | |
| SBOM | ソフトウェア部品表です。製品に入っている部品をすべて並べます。 |
学生が入力するセルは、このプレビューでは空白です。
たった1つのルール
注意
使ってよいのは、自分専用のラボのコピーだけです。このラボは、わざと弱く作った店で、インターネットにはつながっていません。許可のない他人のシステムに手を出すと、犯罪になることがあり、学校の規則にも反します。
同じものが作れると、なぜ安全か
ビルドは、ソースコードを配る成果物に変えます。アーカイブ、プログラム、コンテナイメージなどです。利用者がダウンロードするのは、ソースではなく成果物です。
2人が同じソースをビルドして同じハッシュ値になれば、ソースと成果物の間に何も入っていません。違えば、何かが変わったので、探せます。毎回違うビルドでは、この合図が消えてしまいます。
同じ2つのファイルを2回ビルドする
ラボでは、ファイルを1つにまとめる tar と、ハッシュ値を出す sha256sum で、小さな配布物を作れます。次の Run は、店のコンテナに小さなソースのファイルを2つ書きます。
その次の Run は、それを2回まとめます。2回の間に変えるのは、ファイルの時刻だけです。あとからソースを取ってきたように、1時間ずらします。
ソースのファイルを2つ書く
docker exec app sh -c "mkdir -p /tmp/build/src && printf 'print(42)\n' > /tmp/build/src/main.py && printf 'shop 1.0\n' > /tmp/build/src/VERSION && cat /tmp/build/src/VERSION"ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
1時間ずらして2回まとめる
docker exec app sh -c "cd /tmp/build/src && touch -d '2024-03-01 09:00:00' main.py VERSION && tar -cf - main.py VERSION | sha256sum && touch -d '2024-03-01 10:00:00' main.py VERSION && tar -cf - main.py VERSION | sha256sum"ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
アーカイブの中の時刻を読む
docker exec app sh -c "cd /tmp/build/src && touch -d '2024-03-01 10:00:00' main.py VERSION && tar -cf - main.py VERSION | tar -tvf -"ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
1時間でハッシュ値が全部変わった
1つ目の Run は shop 1.0 と表示します。2つ目は、ハッシュ値を2つ表示します。1つは 860a6728 で、もう1つは 711f4dc5 で始まります。2つのファイルの中身は、変わっていません。
3つ目は、アーカイブの中身を並べます。各行には、権限、持ち主、大きさ、時刻 2024-03-01 10:00:00 が出ます。アーカイブは時刻も持つので、時刻が変われば別のアーカイブです。
よくある間違い
注意
同じソースからは、いつも同じファイルができると考える人が多くいます。実際は、時刻、順番、パス、道具をすべて固定するまで、同じにはなりません。別々の2回のビルドで同じハッシュ値が出てはじめて、再現可能と言えます。
例: 2回のビルドが違う理由
| 違いのもと | 例 | よくある直し方 |
|---|---|---|
| 時刻 | ファイルは最後に変えた時刻を持っている | すべての時刻を SOURCE_DATE_EPOCH にそろえる |
| ファイルの順番 | フォルダーがファイルを別の順で返す | まとめる前に名前を並べ替える |
| ビルドの場所 | アーカイブに /home/hana/shop や /tmp/shop が残る | フォルダーの中から相対の名前でまとめる |
| 言語の設定 | 設定によって、大文字が先に並んだり、並ばなかったりする | LC_ALL=C で並べる |
| 版 | 次のインストールで新しいライブラリが入る | ロックファイルですべての版を固定する |
学生が入力するセルは、このプレビューでは空白です。
時刻と順番を固定する
SOURCE_DATE_EPOCH は、広く使われている決まりです。これを見たビルドの道具は、時計の代わりにこの時刻を使います。多くのコンパイラーやアーカイブの道具が、すでに読みます。ここでは、スクリプトが touch で各ファイルをこの時刻にします。
順番も大切です。次の Run は、同じ時刻の同じファイルを、順番を変えて2回まとめます。そのあと、先に名前を並べる小さなスクリプトを書きます。
同じファイルを別の順番で
docker exec app sh -c "cd /tmp/build/src && touch -d '2024-03-01 10:00:00' main.py VERSION && tar -cf - main.py VERSION | sha256sum && tar -cf - VERSION main.py | sha256sum"ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
両方を直すスクリプトを書く
docker exec app sh -c "printf '%s\n' 'cd /tmp/build/src' 'touch -d @\$SOURCE_DATE_EPOCH *' 'tar -cf - \$(ls | LC_ALL=C sort) | sha256sum' > /tmp/build/build.sh && cat /tmp/build/build.sh"ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
SOURCE_DATE_EPOCH でビルドする
docker exec -e SOURCE_DATE_EPOCH=1709283600 app sh /tmp/build/build.shここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
全ファイルを touch して、もう一度
docker exec -e SOURCE_DATE_EPOCH=1709283600 app sh -c "touch /tmp/build/src/main.py /tmp/build/src/VERSION && sh /tmp/build/build.sh"ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
2回のビルドで、ハッシュ値は1つ
順番の Run は、711f4dc5 のあとに dcedcb05 を表示します。中身も時刻も同じで、順番だけが違います。スクリプトの Run は、その3行を表示します。
そのあとの2回のビルドは、どちらも 73367b62 で始まるハッシュ値です。2回目は、先に全ファイルを今の時刻にしていました。LC_ALL=C sort では大文字が先なので、VERSION が main.py より前に来ます。だから言語の設定も固定します。
1バイトでハッシュ値が変わる
import hashlib
# second の 2 を 3 に変えて、実行します。
first = b"print(42)\n"
second = b"print(42)\n"
print(hashlib.sha256(first).hexdigest()[:16])
print(hashlib.sha256(second).hexdigest()[:16])
print("同じビルド:", hashlib.sha256(first).digest() == hashlib.sha256(second).digest())
来歴は、作られ方を記録する
ビルドを作り直すのは、確かめ方の1つです。来歴(provenance)は、もう1つの確かめ方です。どのソース、どのコミット、どのビルドで成果物を作ったかを記録します。ビルドの基盤が署名した記録を、アテステーションと呼びます。
SLSA(Supply-chain Levels for Software Artifacts)は、公開の枠組みです。この記録をどこまで信じてよいかを、段階で表します。ビルドの段階は3つあります。
例: SLSA のビルドの段階
| 段階 | 求めること | 防ぎやすくなること |
|---|---|---|
| Build L1 | 来歴があり、成果物の作り方が書いてある | 間違いや、配布物の元がわからないこと |
| Build L2 | ホストされたビルドの基盤が、来歴を作って署名する | ビルドのあとに、成果物や記録を書き換えること |
| Build L3 | 強化した基盤が、ビルド同士を分け、署名の鍵をビルドの手順から遠ざける | ビルドの最中の改ざん。ビルドの手順によるものも含む |
学生が入力するセルは、このプレビューでは空白です。
署名と SBOM で全体がそろう
署名は、誰がファイルを公開したかを示します。Sigstore は、そのための無料の公開サービスです。その道具 cosign は、コンテナイメージやファイルに署名します。アカウントに結び付いた短い期限の証明書を使い、署名を公開の記録に残します。このラボには cosign がないので、ここでは読むだけです。
SBOM は、製品の部品と版をすべて並べます。脆弱性の知らせが出たら、推測せずに SBOM を探します。