Cinq cents alertes et une attaque
Régler une détection, c’est mesurer combien de fois elle a raison et combien elle rate. On la modifie ensuite jusqu’à ce que les deux soient assez bons. La précision et le rappel sont les deux nombres qu’utilisent les équipes.
Un analyste qui voit cinq cents alertes par jour cesse de les lire, et la seule vraie attaque passe. Vous mesurez des règles inventées sur un bureau inventé, dans votre propre copie du labo uniquement.
À la fin de cette leçon
Remarque
Je peux mesurer la précision et le rappel d’une détection et la rattacher à ATT&CK.
Mots-clés
| Mot | Ce que ça veut dire | Exemple |
|---|---|---|
| Précision | la part des alertes qui étaient de vraies attaques | |
| Rappel | la part des attaques qui ont levé une alerte | |
| Lassitude face aux alertes | la fatigue qui fait cesser de lire les alertes | |
| ATT&CK | un catalogue public des techniques d’attaquants, chacune avec un identifiant | T1059.001 |
| Couverture | les techniques qu’au moins une règle détecte |
Les cellules que les étudiants remplissent restent vides dans cet aperçu.
La seule règle
Important
Mesurez des règles sur des données que vous avez le droit d’utiliser. C’est votre copie du labo, ou un réseau dont le propriétaire a donné son accord écrit. ATT&CK décrit ce que font les attaquants pour que les défenseurs le trouvent, jamais comme un guide pour le faire.
Précision et rappel : deux questions différentes
La précision demande : quand la règle a alerté, combien de fois avait-elle raison ? C’est le nombre de vraies prises divisé par toutes les alertes. Le rappel demande : sur toutes les attaques, combien en a-t-elle prises ? C’est le nombre de vraies prises divisé par les attaques.
La capture du bureau contient 5 recherches d’updater et 20 appels. Le Run compte les alertes de chaque règle.
Entrer dans le dossier du labo
cd ~/detectAffichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
Compter les alertes de chaque règle
det count pcaps/office.pcap rules/examples.rulesAffichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
Exemple travaillé : noter les règles de recherche
| Règle | Alertes | Vraies prises | Attaques | Précision | Rappel |
|---|---|---|---|---|---|
| 1000001 premier essai | 8 | 5 | 5 | 5 / 8 = 0,625 | 5 / 5 = 1,0 |
| 1000002 réglée | 5 | 5 | 5 | 5 / 5 = 1,0 | 5 / 5 = 1,0 |
Les cellules que les étudiants remplissent restent vides dans cet aperçu.
À vous : calculer les deux nombres
alertes = 8 # règle 1000001 sur la capture du bureau
vraies_prises = 5 # alertes sur de vraies recherches d’updater
attaques = 5 # recherches d’updater dans la capture
precision = vraies_prises / alertes
rappel = vraies_prises / attaques
print("précision", round(precision, 3), "rappel", round(rappel, 3))
# La règle 1000002 a donné 5 alertes, toutes vraies. Changez les nombres pour elle.
Une erreur fréquente
Attention
Beaucoup pensent qu’une règle doit tout prendre, quel qu’en soit le coût. Une règle au rappel parfait et à la précision faible inonde l’équipe, et la lassitude cache alors les vraies attaques. Visez les deux, et comptez aussi les alertes par jour.
Comptez les alertes, pas seulement les attaques
Les règles 1000003 et 1000004 prennent toutes deux la machine infectée, donc leur rappel vaut une machine sur une. La première envoie 20 alertes en vingt minutes, soit environ 1 400 par jour. La seconde en envoie une par heure.
Une équipe fixe un budget d’alertes par jour pour chaque règle, et une règle qui le dépasse est réglée ou fusionnée.
ATT&CK montre ce que couvrent vos règles
MITRE ATT&CK est un catalogue public des techniques d’attaquants. T1071.001, c’est appeler son serveur par le web, T1071.004 par le DNS, T1059.001 lancer PowerShell et T1033 demander qui l’on est.
Étiqueter chaque règle avec sa technique transforme un dossier de règles en carte de couverture. Elle montre ce que vous détectez, et ce que vous ne détectez pas. Les Run lisent les étiquettes.
Les techniques des règles Suricata
grep -o "mitre_technique_id [A-Z0-9.]*" rules/examples.rules | sort | uniq -cAffichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
Les techniques des règles Sigma
grep -h "attack\.t" sigma/*.ymlAffichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.