クリーム色の背景、色付き表示、高コントラスト、大きな文字のほうが読みやすいですか?配色と文字を選ぶと、すべてのページに一度で反映されます。

無料レッスン

適合率、再現率、ATT&CK で調整する

このレッスンのあとで: 検知の適合率と再現率を測り、ATT&CK に対応づけることができる。

65分のレッスンコマンド4件検知エンジニアリングのラボ:Suricata と Sigma のルール、Zeek 形式のログを 1 台の専用 Ubuntu VM で

500のアラートと1つの攻撃

検知をチューニングするとは、どれくらい正しく、どれくらい見逃すかを測り、両方が十分よくなるまでルールを直すことです。チームが使う2つの数が、適合率と再現率です。

1日に500のアラートを見るアナリストは、やがて読まなくなり、たった1つの本物の攻撃が通り過ぎます。架空のオフィスで架空のルールを、自分のラボのコピーだけで測ります。

このレッスンのゴール

メモ

検知の適合率と再現率を測り、ATT&CK に対応づけることができる。

キーワード

ことばいみれい
適合率アラートのうち、本物の攻撃だったものの割合
再現率攻撃のうち、アラートが出たものの割合
アラート疲れ疲れてアラートを読まなくなること
ATT&CK攻撃者のテクニックの公開カタログで、それぞれに ID があるT1059.001
カバー範囲少なくとも1つのルールが検知するテクニック

学生が入力するセルは、このプレビューでは空白です。

たった1つのルール

重要

ルールを測るのは、使ってよいデータだけです。自分のラボのコピーか、持ち主が書面で同意したネットワークです。ATT&CK は、守る側が見つけられるように攻撃者の行動を記したもので、実行の手引きではありません。

適合率と再現率は別の問いに答える

適合率は、ルールがアラートを出したとき、どれくらい正しかったか、を問います。本物の当たりを、すべてのアラートで割ります。再現率は、すべての攻撃のうち、いくつ捕まえたか、を問います。本物の当たりを、攻撃の数で割ります。

オフィスのキャプチャーには、updater の問い合わせが5つ、定期連絡が20回あります。Run でルールごとのアラートを数えます。

ラボのフォルダーに移る

コマンド
cd ~/detect

ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。

ルールごとのアラートを数える

コマンド
det count pcaps/office.pcap rules/examples.rules

ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。

例: 問い合わせのルールの採点

ルールアラート本物の当たり攻撃適合率再現率
1000001 最初の版8555 / 8 = 0.6255 / 5 = 1.0
1000002 調整した版5555 / 5 = 1.05 / 5 = 1.0

学生が入力するセルは、このプレビューでは空白です。

試そう: 2つの数を求める

コード: python
alerts = 8      # オフィスのキャプチャーでのルール1000001
true_hits = 5   # 本物の updater の問い合わせへのアラート
attacks = 5     # キャプチャーにある updater の問い合わせ

precision = true_hits / alerts
recall = true_hits / attacks
print("適合率", round(precision, 3), "再現率", round(recall, 3))
# ルール1000002は5回のアラートで、すべて本物でした。数をそれに変えましょう。

よくある間違い

注意

ルールは代償がどうであれ、すべてを捕まえるべきだ、と考える人が多いです。再現率が完璧でも適合率が低いルールは、チームをアラートで埋め、アラート疲れが本物の攻撃を隠します。両方をねらい、1日のアラートの数も数えましょう。

攻撃だけでなくアラートも数える

ルール1000003と1000004は、どちらも感染したマシンを捕まえるので、再現率はどちらもマシン1台のうち1台です。前者は20分で20回、1日に約1,400回のアラートを送ります。後者は1時間に1回です。

チームはルールごとに1日のアラートの予算を決め、予算を超えたルールはチューニングするか、まとめます。

ATT&CK でルールの範囲が分かる

MITRE ATT&CK は、攻撃者のテクニックの公開カタログです。T1071.001 は Web で外へ連絡すること、T1071.004 は DNS で連絡することです。T1059.001 は PowerShell を動かすこと、T1033 は自分が誰かを調べることです。

どのルールにもテクニックのタグをつけると、ルールのフォルダーがカバー範囲の地図になります。何を検知していて、何を検知していないかです。Run でタグを読みます。

Suricata のルールのテクニック

コマンド
grep -o "mitre_technique_id [A-Z0-9.]*" rules/examples.rules | sort | uniq -c

ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。

Sigma のルールのテクニック

コマンド
grep -h "attack\.t" sigma/*.yml

ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。

このラボとソースについて: 検知エンジニアリングのラボ:Suricata と Sigma のルール、Zeek 形式のログを 1 台の専用 Ubuntu VM で

授業で使いますか?このモジュールを学生に割り当てると、教員用ガイド、自動採点つきの課題、学生ごとのラボを使えます。