Quinientas alertas y un solo ataque
Ajustar una detección es medir cuántas veces acierta y cuánto se le escapa, y cambiarla hasta que las dos cosas sean bastante buenas. La precisión y la exhaustividad son los dos números que usan los equipos.
Quien recibe quinientas alertas al día deja de leerlas, y el único ataque real pasa de largo. Vas a medir reglas inventadas en una oficina inventada, solo en tu copia del laboratorio.
Al terminar esta lección
Nota
Puedo medir la precisión y la exhaustividad de una detección y relacionarla con ATT&CK.
Palabras clave
| Palabra | Qué significa | Ejemplo |
|---|---|---|
| Precisión | la parte de las alertas que fueron ataques reales | |
| Exhaustividad | la parte de los ataques que lanzaron una alerta | |
| Fatiga de alertas | el cansancio que hace que la gente deje de leer alertas | |
| ATT&CK | un catálogo público de técnicas de ataque, cada una con un identificador | T1059.001 |
| Cobertura | qué técnicas detecta al menos una regla |
Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.
La regla única
Importante
Mide reglas con datos que puedes usar: tu copia del laboratorio, o una red cuyo responsable lo haya aceptado por escrito. ATT&CK describe lo que hacen los atacantes para que quien defiende pueda encontrarlo, nunca como guía para hacerlo.
Dos números que responden preguntas distintas
La precisión pregunta: cuando la regla alertó, ¿cuántas veces acertó? Son los aciertos divididos entre todas las alertas. La exhaustividad pregunta: de todos los ataques, ¿cuántos atrapó? Son los aciertos divididos entre los ataques.
La captura de la oficina tiene 5 consultas de updater y 20 llamadas a casa. La Ejecución cuenta las alertas de cada regla.
Entra en la carpeta del laboratorio
cd ~/detectSe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
Cuenta las alertas de cada regla
det count pcaps/office.pcap rules/examples.rulesSe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
Ejemplo: la nota de las reglas de consulta
| Regla | Alertas | Aciertos | Ataques | Precisión | Exhaustividad |
|---|---|---|---|---|---|
| 1000001 primer intento | 8 | 5 | 5 | 5 / 8 = 0,625 | 5 / 5 = 1,0 |
| 1000002 ajustada | 5 | 5 | 5 | 5 / 5 = 1,0 | 5 / 5 = 1,0 |
Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.
Pruébalo: calcula los dos números
alerts = 8 # regla 1000001 sobre la captura de la oficina
true_hits = 5 # alertas sobre consultas reales de updater
attacks = 5 # consultas de updater en la captura
precision = true_hits / alerts
recall = true_hits / attacks
print("precisión", round(precision, 3), "exhaustividad", round(recall, 3))
# La regla 1000002 dio 5 alertas, todas reales. Cambia los números para ella.
Un error frecuente
Advertencia
Mucha gente cree que una regla debe atraparlo todo, cueste lo que cueste. Una regla con exhaustividad perfecta y mala precisión inunda al equipo, y la fatiga de alertas acaba ocultando ataques reales. Busca las dos cosas, y cuenta también las alertas al día.
Cuenta las alertas, no solo los ataques
Las reglas 1000003 y 1000004 atrapan las dos a la máquina infectada, así que las dos tienen una exhaustividad de una máquina de una. La primera manda 20 alertas en veinte minutos, unas 1.400 al día. La segunda manda una por hora.
Un equipo fija un presupuesto de alertas al día para cada regla, y una regla que lo supera se ajusta o se fusiona con otra.
ATT&CK enseña lo que cubren tus reglas
MITRE ATT&CK es un catálogo público de técnicas de ataque. T1071.001 es llamar a casa por la web, T1071.004 por DNS, T1059.001 ejecutar PowerShell y T1033 preguntar qué usuario eres.
Etiquetar cada regla con su técnica convierte una carpeta de reglas en un mapa de cobertura: lo que detectas y lo que no. Las Ejecuciones leen las etiquetas.
Las técnicas de las reglas de Suricata
grep -o "mitre_technique_id [A-Z0-9.]*" rules/examples.rules | sort | uniq -cSe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
Las técnicas de las reglas Sigma
grep -h "attack\.t" sigma/*.ymlSe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.