プログラムが言い返せない制限
コントロールグループ (cgroup) は、Linux カーネルがまとめて数え、まとめて制限するプロセスの組です。メモリー、CPU 時間、起動できるプロセスの数を制限します。いまのシステムが使うのはバージョン 2 です。
信頼できないコードがメモリーを使い切ると、マシンはみんなにとって止まってしまいます。cgroup はそれを止めます。今日はカーネルが実際に止めるところを見ます。
このレッスンのゴール
メモ
cgroups で、プログラムにメモリー、CPU、プロセスの制限をかけられる。
キーワード
| ことば | いみ | れい |
|---|---|---|
| コントロールグループ | カーネルがまとめて数え、制限するプロセスの組 | |
| memory.max | グループが持てるメモリーの上限 (バイト) | 67108864 |
| cpu.max | 1回の期間に使える CPU 時間 | 20000 100000 |
| pids.max | グループが持てるプロセスの上限 | 20 |
| OOM キル | メモリーが足りないプロセスを、カーネルが止めること | |
| フォーク爆弾 | きりなくプロセスを起動し続けるプログラム |
学生が入力するセルは、このプレビューでは空白です。
cgroup はファイルの入ったフォルダー
cgroup はどれも /sys/fs/cgroup の下のフォルダーです。フォルダーを作るとグループができます。ファイルの1つに数を書くと制限がかかり、cgroup.procs にプロセス番号を書くと、そのプロセスが中に入ります。そのプロセスが起動する子もすべて、同じグループに入ります。
ラボの補助コマンド sbx limit は、まさにそれだけをします。--show を付けると、書くファイルを1つずつ表示します。/usr/local/bin/sbx を読んで確かめられます。
ラボのフォルダーに移る
cd ~/labここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
sbx limit が書くファイルを見る
sudo sbx limit --memory 64M --cpu 20 --pids 20 --show -- trueここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
例: ファイルとしての3つの制限
| オプション | ファイル | sbx が書いたもの | その数の理由 |
|---|---|---|---|
| --memory 64M | memory.max | 67108864 | 64 × 1024 × 1024 バイト |
| --cpu 20 | cpu.max | 20000 100000 | 100 ms ごとに 20 ms |
| --pids 20 | pids.max | 20 | プロセスとスレッドは合わせて 20 まで |
学生が入力するセルは、このプレビューでは空白です。
メモリーの上限を超えると止められる
グループの中のプログラムは、memory.max を超えるメモリーを求めることができます。カーネルはまずメモリーを取り戻そうとし、それでも足りなければグループの中のプロセスを止めます。止めた回数は、ファイル memory.events の oom_kill の行に数えられます。
下のエージェントは、64 MB の制限の中で、10 MB ずつ 200 MB を求めます。Run を押す前に、何が表示されるか予想しましょう。
64 MB の中で 200 MB を求める
sudo sbx limit --memory 64M -- python3 agent/agent.py memory 200ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
制限なしで 200 MB を求める
python3 agent/agent.py memory 200ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
よくある間違い
注意
メモリーの上限を超えたプログラムは、自分で処理できるエラーを受け取ると考える人は多いです。Linux ではたいてい違います。カーネルが、捕まえられないシグナルで止めるので、最後の行は表示されません。終了コード 137 がその印です。
プロセスの制限がフォーク爆弾を止める
フォーク爆弾は、マシンにもう1つも入らなくなるまでプロセスを起動します。そうなると、自分のシェルさえ起動できません。pids.max は、グループの中のプロセスとスレッドをすべて数えます。
グループがいっぱいになると、次の fork は Resource temporarily unavailable で失敗します。失敗は pids.events の max の行に数えられます。プログラムは、持っているものだけで続けます。
20 の中で 30 プロセスを起動する
sudo sbx limit --pids 20 -- python3 agent/agent.py spawn 30ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
試そう: cpu.max の行を読む
# cpu.max には数が2つある。1回の期間にグループが使える時間と、その期間の長さ。
# どちらもマイクロ秒。
period = 100000
for quota in [20000, 50000, 200000]:
share = quota * 100 // period
print(quota, period, "は CPU 1つの", share, "パーセント")
# 200000 は期間より長い。CPU が2つのマシンでは、どういう意味になるでしょう。