¿Te resulta más fácil leer con fondo crema, un tono de color, más contraste o un texto más grande? Elige tus colores y tu texto una sola vez, para todas las páginas.

Lección gratuita

Ajustar detecciones con precisión, exhaustividad y ATT&CK

Después de esta lección: Puedo medir la precisión y la exhaustividad de una detección y relacionarla con ATT&CK.

Lección de 65 min4 comandosLaboratorio de ingeniería de detección: reglas Suricata, reglas Sigma y logs al estilo de Zeek en una VM Ubuntu privada

Quinientas alertas y un solo ataque

Ajustar una detección es medir cuántas veces acierta y cuánto se le escapa, y cambiarla hasta que las dos cosas sean bastante buenas. La precisión y la exhaustividad son los dos números que usan los equipos.

Quien recibe quinientas alertas al día deja de leerlas, y el único ataque real pasa de largo. Vas a medir reglas inventadas en una oficina inventada, solo en tu copia del laboratorio.

Al terminar esta lección

Nota

Puedo medir la precisión y la exhaustividad de una detección y relacionarla con ATT&CK.

Palabras clave

PalabraQué significaEjemplo
Precisiónla parte de las alertas que fueron ataques reales
Exhaustividadla parte de los ataques que lanzaron una alerta
Fatiga de alertasel cansancio que hace que la gente deje de leer alertas
ATT&CKun catálogo público de técnicas de ataque, cada una con un identificadorT1059.001
Coberturaqué técnicas detecta al menos una regla

Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.

La regla única

Importante

Mide reglas con datos que puedes usar: tu copia del laboratorio, o una red cuyo responsable lo haya aceptado por escrito. ATT&CK describe lo que hacen los atacantes para que quien defiende pueda encontrarlo, nunca como guía para hacerlo.

Dos números que responden preguntas distintas

La precisión pregunta: cuando la regla alertó, ¿cuántas veces acertó? Son los aciertos divididos entre todas las alertas. La exhaustividad pregunta: de todos los ataques, ¿cuántos atrapó? Son los aciertos divididos entre los ataques.

La captura de la oficina tiene 5 consultas de updater y 20 llamadas a casa. La Ejecución cuenta las alertas de cada regla.

Entra en la carpeta del laboratorio

Comando
cd ~/detect

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

Cuenta las alertas de cada regla

Comando
det count pcaps/office.pcap rules/examples.rules

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

Ejemplo: la nota de las reglas de consulta

ReglaAlertasAciertosAtaquesPrecisiónExhaustividad
1000001 primer intento8555 / 8 = 0,6255 / 5 = 1,0
1000002 ajustada5555 / 5 = 1,05 / 5 = 1,0

Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.

Pruébalo: calcula los dos números

Código: python
alerts = 8      # regla 1000001 sobre la captura de la oficina
true_hits = 5   # alertas sobre consultas reales de updater
attacks = 5     # consultas de updater en la captura

precision = true_hits / alerts
recall = true_hits / attacks
print("precisión", round(precision, 3), "exhaustividad", round(recall, 3))
# La regla 1000002 dio 5 alertas, todas reales. Cambia los números para ella.

Un error frecuente

Advertencia

Mucha gente cree que una regla debe atraparlo todo, cueste lo que cueste. Una regla con exhaustividad perfecta y mala precisión inunda al equipo, y la fatiga de alertas acaba ocultando ataques reales. Busca las dos cosas, y cuenta también las alertas al día.

Cuenta las alertas, no solo los ataques

Las reglas 1000003 y 1000004 atrapan las dos a la máquina infectada, así que las dos tienen una exhaustividad de una máquina de una. La primera manda 20 alertas en veinte minutos, unas 1.400 al día. La segunda manda una por hora.

Un equipo fija un presupuesto de alertas al día para cada regla, y una regla que lo supera se ajusta o se fusiona con otra.

ATT&CK enseña lo que cubren tus reglas

MITRE ATT&CK es un catálogo público de técnicas de ataque. T1071.001 es llamar a casa por la web, T1071.004 por DNS, T1059.001 ejecutar PowerShell y T1033 preguntar qué usuario eres.

Etiquetar cada regla con su técnica convierte una carpeta de reglas en un mapa de cobertura: lo que detectas y lo que no. Las Ejecuciones leen las etiquetas.

Las técnicas de las reglas de Suricata

Comando
grep -o "mitre_technique_id [A-Z0-9.]*" rules/examples.rules | sort | uniq -c

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

Las técnicas de las reglas Sigma

Comando
grep -h "attack\.t" sigma/*.yml

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

Sobre este laboratorio y su código: Laboratorio de ingeniería de detección: reglas Suricata, reglas Sigma y logs al estilo de Zeek en una VM Ubuntu privada

¿Enseñas a una clase? Asigna este módulo a tus alumnos con guía del profesor, tareas con corrección automática y un laboratorio para cada alumno.