500のアラートと1つの攻撃
検知をチューニングするとは、どれくらい正しく、どれくらい見逃すかを測り、両方が十分よくなるまでルールを直すことです。チームが使う2つの数が、適合率と再現率です。
1日に500のアラートを見るアナリストは、やがて読まなくなり、たった1つの本物の攻撃が通り過ぎます。架空のオフィスで架空のルールを、自分のラボのコピーだけで測ります。
このレッスンのゴール
メモ
検知の適合率と再現率を測り、ATT&CK に対応づけることができる。
キーワード
| ことば | いみ | れい |
|---|---|---|
| 適合率 | アラートのうち、本物の攻撃だったものの割合 | |
| 再現率 | 攻撃のうち、アラートが出たものの割合 | |
| アラート疲れ | 疲れてアラートを読まなくなること | |
| ATT&CK | 攻撃者のテクニックの公開カタログで、それぞれに ID がある | T1059.001 |
| カバー範囲 | 少なくとも1つのルールが検知するテクニック |
学生が入力するセルは、このプレビューでは空白です。
たった1つのルール
重要
ルールを測るのは、使ってよいデータだけです。自分のラボのコピーか、持ち主が書面で同意したネットワークです。ATT&CK は、守る側が見つけられるように攻撃者の行動を記したもので、実行の手引きではありません。
適合率と再現率は別の問いに答える
適合率は、ルールがアラートを出したとき、どれくらい正しかったか、を問います。本物の当たりを、すべてのアラートで割ります。再現率は、すべての攻撃のうち、いくつ捕まえたか、を問います。本物の当たりを、攻撃の数で割ります。
オフィスのキャプチャーには、updater の問い合わせが5つ、定期連絡が20回あります。Run でルールごとのアラートを数えます。
ラボのフォルダーに移る
cd ~/detectここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
ルールごとのアラートを数える
det count pcaps/office.pcap rules/examples.rulesここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
例: 問い合わせのルールの採点
| ルール | アラート | 本物の当たり | 攻撃 | 適合率 | 再現率 |
|---|---|---|---|---|---|
| 1000001 最初の版 | 8 | 5 | 5 | 5 / 8 = 0.625 | 5 / 5 = 1.0 |
| 1000002 調整した版 | 5 | 5 | 5 | 5 / 5 = 1.0 | 5 / 5 = 1.0 |
学生が入力するセルは、このプレビューでは空白です。
試そう: 2つの数を求める
alerts = 8 # オフィスのキャプチャーでのルール1000001
true_hits = 5 # 本物の updater の問い合わせへのアラート
attacks = 5 # キャプチャーにある updater の問い合わせ
precision = true_hits / alerts
recall = true_hits / attacks
print("適合率", round(precision, 3), "再現率", round(recall, 3))
# ルール1000002は5回のアラートで、すべて本物でした。数をそれに変えましょう。
よくある間違い
注意
ルールは代償がどうであれ、すべてを捕まえるべきだ、と考える人が多いです。再現率が完璧でも適合率が低いルールは、チームをアラートで埋め、アラート疲れが本物の攻撃を隠します。両方をねらい、1日のアラートの数も数えましょう。
攻撃だけでなくアラートも数える
ルール1000003と1000004は、どちらも感染したマシンを捕まえるので、再現率はどちらもマシン1台のうち1台です。前者は20分で20回、1日に約1,400回のアラートを送ります。後者は1時間に1回です。
チームはルールごとに1日のアラートの予算を決め、予算を超えたルールはチューニングするか、まとめます。
ATT&CK でルールの範囲が分かる
MITRE ATT&CK は、攻撃者のテクニックの公開カタログです。T1071.001 は Web で外へ連絡すること、T1071.004 は DNS で連絡することです。T1059.001 は PowerShell を動かすこと、T1033 は自分が誰かを調べることです。
どのルールにもテクニックのタグをつけると、ルールのフォルダーがカバー範囲の地図になります。何を検知していて、何を検知していないかです。Run でタグを読みます。
Suricata のルールのテクニック
grep -o "mitre_technique_id [A-Z0-9.]*" rules/examples.rules | sort | uniq -cここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
Sigma のルールのテクニック
grep -h "attack\.t" sigma/*.ymlここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。