テストしていないルールは推測
検知をテストするとは、答えがもう分かっているデータでルールを動かすことです。確実に攻撃の通信と、確実にふつうの通信です。よいルールは、前者のすべてに反応し、後者のどれにも反応しません。
チームはこのテスト用のデータをルールの隣に置き、変更のたびに単体テストのように動かします。架空のキャプチャーで、自分のラボのコピーだけを使ってルールをテストします。
このレッスンのゴール
メモ
既知の攻撃データと既知の正常データに対して、検知をテストできる。
キーワード
| ことば | いみ |
|---|---|
| 既知の攻撃データ | 攻撃だけが入っているテスト用のデータ |
| 既知の正常データ | ふつうの活動だけが入っているテスト用のデータ |
| 見逃し | ルールがアラートを出さなかった攻撃 |
| テストハーネス | すべてのルールをすべてのテストケースで動かすプログラム |
| ビーコン | 決まったリズムで外へ連絡するプログラム |
| 間隔 | ある接続から次の接続までの時間 |
学生が入力するセルは、このプレビューでは空白です。
たった1つのルール
重要
ここのテスト用データは架空です。本物のマシンを攻撃してテスト用のデータを集めてはいけません。許可なく本物の人の通信をコピーしてもいけません。攻撃の通信を作る場所は、自分のラボのコピーです。
2つのデータで2種類の間違いを捕まえる
既知の攻撃データは見逃し、つまりルールが捕まえるべきだった攻撃を見つけます。既知の正常データは誤検知、つまりそっとしておくべきだったふつうの活動を見つけます。
ラボの det test は小さなテストハーネスです。ファイルのすべてのルールを両方のキャプチャーで動かし、アラートを数えます。known-bad.pcap には攻撃のイベントが5つあります。updater の問い合わせ2つと、定期連絡3つです。
ラボのフォルダーに移る
cd ~/detectここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
例のルールをテストする
det test rules/examples.rulesここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
例: ハーネスの結果
| ルール | 攻撃データのアラート | 正常データのアラート | 判定 |
|---|---|---|---|
| 1000001 最初の版 | 問い合わせ2つのうち2 | 3 | すべて捕まえるが、うるさすぎる |
| 1000002 調整した問い合わせ | 問い合わせ2つのうち2 | 0 | 合格 |
| 1000003 定期連絡 | 定期連絡3つのうち3 | 0 | 合格、1つに1回 |
| 1000004 上限つき | マシン1台に1 | 0 | 合格、マシンごとに1回 |
学生が入力するセルは、このプレビューでは空白です。
試そう: 8行のハーネス
def detect(name):
return name.endswith("cdn-update.example")
cases = [("a1.cdn-update.example", True), ("cdn-updates.example", False),
("mycdn-update.example", False), ("cdn-update.example", True)]
for name, bad in cases:
got = detect(name)
print("ok " if got == bad else "FAIL", name)
# 名前と終わりの文字の前に点をつけましょう。どの行が変わりますか。
よくある間違い
注意
ルールを、書いたきっかけの攻撃だけでテストする人が多いです。捕まえられたので、そのまま使ってしまいます。でも、何にでも反応するルールもその攻撃を捕まえます。雑音が見えるのは既知の正常データだけなので、どのルールにも両方のデータが必要です。
リズムとして見える攻撃もある
名前で一致させる検知ばかりではありません。updater は約60秒ごとに外へ連絡します。これがビーコンです。人やブラウザーは、そこまで規則正しくありません。
1つ目の Run でログを作り直し、2つ目で updater の最初の3つの接続を時刻つきで見ます。3つ目は、その間の間隔を丸めて並べ、それぞれを数えます。
キャプチャーからログを作る
zeek-lite -r pcaps/office.pcapここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
updater の最初の3つの接続
zeek-cut ts id.orig_h id.resp_h < conn.log | grep 198.51.100.23 | head -n 3ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
接続の間隔を数える
zeek-cut ts id.resp_h < conn.log | awk '$2 == "198.51.100.23" { if (p) print int($1 - p + 0.5); p = $1 }' | sort -n | uniq -cここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。