Fünfhundert Alarme und ein Angriff
Eine Erkennungsregel zu tunen heißt, zu messen, wie oft sie recht hat und wie viel sie verfehlt. Dann ändern Sie sie, bis beides gut genug ist. Precision und Recall sind die zwei Zahlen, mit denen Teams das tun.
Wer fünfhundert Alarme am Tag sieht, liest sie irgendwann nicht mehr, und der eine echte Angriff geht durch. Sie messen erfundene Regeln in einem erfundenen Büro, nur in Ihrer eigenen Lab-Kopie.
Am Ende dieser Lektion
Notiz
Ich kann Precision und Recall einer Erkennungsregel messen und sie ATT&CK zuordnen.
Schlüsselwörter
| Begriff | Was er bedeutet | Beispiel |
|---|---|---|
| Precision | der Anteil der Alarme, die echte Angriffe waren | |
| Recall | der Anteil der Angriffe, die einen Alarm ausgelöst haben | |
| Alarmmüdigkeit | Erschöpfung, die dazu führt, dass Menschen Alarme nicht mehr lesen | |
| ATT&CK | ein öffentlicher Katalog von Angriffstechniken, jede mit einer Kennung | T1059.001 |
| Abdeckung | welche Techniken mindestens eine Regel erkennt |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Die eine Regel
Wichtig
Messen Sie Regeln nur auf Daten, die Sie nutzen dürfen: Ihre Lab-Kopie oder ein Netz, dessen Eigentümer schriftlich zugestimmt haben. ATT&CK beschreibt, was Angreifer tun, damit Verteidiger es finden, nie als Anleitung, es selbst zu tun.
Precision und Recall beantworten verschiedene Fragen
Precision fragt: Wenn die Regel Alarm gab, wie oft hatte sie recht? Das sind die echten Treffer geteilt durch alle Alarme. Recall fragt: Wie viele aller Angriffe hat sie gefangen? Das sind die echten Treffer geteilt durch die Angriffe.
Der Büromitschnitt enthält 5 Abfragen und 20 Meldungen von updater. Der Befehl zählt die Alarme jeder Regel.
In den Ordner des Labs wechseln
cd ~/detectHier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.
Die Alarme jeder Regel zählen
det count pcaps/office.pcap rules/examples.rulesHier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.
Beispiel: die Abfrageregeln bewerten
| Regel | Alarme | Echte Treffer | Angriffe | Precision | Recall |
|---|---|---|---|---|---|
| 1000001 erster Versuch | 8 | 5 | 5 | 5 / 8 = 0,625 | 5 / 5 = 1,0 |
| 1000002 getunt | 5 | 5 | 5 | 5 / 5 = 1,0 | 5 / 5 = 1,0 |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Probieren Sie es: die zwei Zahlen berechnen
alarme = 8 # Regel 1000001 im Büromitschnitt
treffer = 5 # Alarme bei echten Abfragen von updater
angriffe = 5 # Abfragen von updater im Mitschnitt
precision = treffer / alarme
recall = treffer / angriffe
print("precision", round(precision, 3), "recall", round(recall, 3))
# Regel 1000002 gab 5 Alarme, alle echt. Ändern Sie die Zahlen für sie.
Ein häufiger Fehler
Warnung
Viele glauben, eine Regel solle alles fangen, koste es, was es wolle. Eine Regel mit perfektem Recall und schlechter Precision überflutet das Team, und die Alarmmüdigkeit verdeckt dann echte Angriffe. Zielen Sie auf beides und zählen Sie auch die Alarme pro Tag.
Zählen Sie die Alarme, nicht nur die Angriffe
Die Regeln 1000003 und 1000004 fangen beide den befallenen Rechner, beide haben also einen Recall von einem Rechner aus einem. Die erste schickt 20 Alarme in zwanzig Minuten, etwa 1.400 am Tag. Die zweite schickt einen pro Stunde.
Ein Team legt für jede Regel ein Budget an Alarmen pro Tag fest, und eine Regel darüber wird getunt oder mit einer anderen zusammengelegt.
ATT&CK zeigt, was Ihre Regeln abdecken
MITRE ATT&CK ist ein öffentlicher Katalog von Angriffstechniken. T1071.001 ist die Meldung beim Server über das Web, T1071.004 dieselbe über DNS. T1059.001 ist das Ausführen von PowerShell und T1033 die Frage, wer man ist.
Wenn jede Regel mit ihrer Technik markiert ist, wird aus einem Ordner voller Regeln eine Karte der Abdeckung: was Sie erkennen und was nicht. Die Befehle lesen die Tags.
Die Techniken in den Suricata-Regeln
grep -o "mitre_technique_id [A-Z0-9.]*" rules/examples.rules | sort | uniq -cHier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.
Die Techniken in den Sigma-Regeln
grep -h "attack\.t" sigma/*.ymlHier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.