Precisión y exhaustividad de una búsqueda

La precisión y la exhaustividad, que en inglés se llama recall, son dos números que miden si una búsqueda es buena. La precisión dice cuántos resultados sirven. La exhaustividad dice cuántos de los que servían se encontraron.

Sin ellas, «este buscador funciona bien» es solo una opinión. Con ellas puedes comparar dos buscadores con la misma consulta y decir cuál gana.

Imagina diez documentos. Una persona decide cuáles son relevantes: aquí el 1, el 3, el 4 y el 8. El buscador devuelve cinco, en este orden: 3, 7, 1, 9 y 5. Esos son los recuperados.

Cada documento es relevante o no, y recuperado o no. Eso da cuatro grupos, y las dos medidas salen de contarlos.

La precisión divide los aciertos entre los documentos devueltos. Aquí 2 entre 5, o sea 0,4. De cada cinco resultados, dos sirven.

La exhaustividad divide los aciertos entre todos los relevantes. Aquí 2 entre 4, o sea 0,5. Se encontró la mitad de lo que servía.

# Una búsqueda devolvió estos documentos, en este orden.
devueltos = [3, 7, 1, 9, 5]
# Una persona decidió que solo estos servían.
relevantes = [1, 3, 4, 8]

aciertos = 0
for numero in devueltos:
    if numero in relevantes:
        aciertos = aciertos + 1
print("aciertos:", aciertos)
print("precisión:", aciertos / len(devueltos))
print("exhaustividad:", aciertos / len(relevantes))
# Quita el 9 y el 5 de devueltos y compara las dos cifras.

docker exec jupyter python3 -c "print(2/5, 2/4)"

En la práctica nadie lee cien resultados. Por eso se mide la precisión en k: la precisión contando solo los k primeros. Con k igual a 3 se miran el 3, el 7 y el 1.

Se divide siempre entre k, aunque el buscador devolviera menos de k resultados. Así un buscador que casi no devuelve nada no sale premiado.

# La precisión en k mira solo los k primeros resultados.
devueltos = [3, 7, 1, 9, 5]
relevantes = [1, 3, 4, 8]

for k in range(1, 6):
    aciertos = 0
    for numero in devueltos[:k]:
        if numero in relevantes:
            aciertos = aciertos + 1
    print("k =", k, round(aciertos / k, 2))
# Cambia el orden de devueltos para que el 1 vaya primero.

docker exec jupyter python3 -c "r=[3,7,1,9,5]; s=[1,3,4,8]; print([round(sum(1 for d in r[:k] if d in s)/k,2) for k in range(1,6)])"

Escribe diez avisos cortos y una consulta. Decide a mano cuáles son relevantes antes de ejecutar nada.

Ordena los avisos con el coseno de la lección anterior y calcula la precisión en 3 y la exhaustividad. Después cambia la consulta y compara.