数字でサービスの具合を知る

学園祭のチケットを売るサイトが、販売開始の五分後に「重い」と言われ始めました。調べるまで、運営の人は誰も気づいていませんでした。

先に気づくには、サイトの具合を数字で測り、いつも見ておく必要があります。

サービスは、自分の具合を数にして見せられます。生きているか、これまでに受けた要求の数、失敗した数などです。

こうした数を決まった間隔で集めて、グラフにするのが監視です。一つの数だけでは分からない「変化」が見えます。

curl -s http://app:8080/

curl -s http://exporter:9113/metrics | grep '^nginx_up'

受けた要求の合計は増える一方なので、合計だけを見ても忙しさは分かりません。ある時間の間に増えた分を、その秒数で割ります。

これがレートです。たとえば60秒で300増えたなら、一秒あたり5回です。

curl -s "http://app:8080/?n=[1-5]"

curl -s http://exporter:9113/metrics | grep '^nginx_http_requests_total'

十人の待ち時間が九人は0.1秒で、一人だけ2秒だったとします。平均は0.29秒で、一見よさそうです。でも、その一人は困っています。

そこでパーセンタイルを使います。「90パーセンタイル」は、全体の九割がその時間以内に終わった、という数です。

グラフを一日中見ているわけにはいきません。そこで、アラートの条件を決めておきます。条件を超えたら、機械が知らせます。

大事なのは、一瞬の揺れでは鳴らさないことです。「五分続いたら」のように、時間の長さを条件に含めます。

アラートが毎日何十回も鳴ると、当番の人は慣れて、本物を見逃します。

続く時間を長くすると、鳴る回数はどう変わりますか。その代わりに何が遅れますか。二文で書きましょう。