Ordenar documentos con la similitud del coseno

El modelo de espacio vectorial representa cada documento y cada consulta como una fila de números. Después ordena los documentos por lo parecida que es su fila a la de la consulta.

Con él, un buscador puede poner primero un texto que no contiene todas tus palabras pero que se parece mucho a lo que escribiste.

Se elige un vocabulario, por ejemplo cuatro palabras: biblioteca, facultad, marzo y plazo. Después se cuenta cuántas veces sale cada una en cada texto.

La fila de recuentos es el vector del texto. La consulta «plazo marzo» también es un texto, así que también tiene su vector, del mismo tamaño que los de los documentos.

# Cada aviso se convierte en una fila de cuatro recuentos.
vocab = ["biblioteca", "facultad", "marzo", "plazo"]

def make_vector(tokens):
    vector = []
    for word in vocab:
        vector.append(tokens.count(word))
    return vector

print(make_vector("plazo marzo".split()))
print(make_vector("plazo de pago en la facultad en marzo".split()))
# Cambia la consulta por "biblioteca" y ejecuta.

El producto escalar multiplica dos vectores posición a posición y suma. Toma la consulta [0, 0, 1, 1] y el aviso 6, que es [0, 1, 1, 1]. La cuenta es 0, más 0, más 1, más 1: un total de 2.

La longitud de un vector es la raíz de la suma de sus cuadrados. La similitud del coseno es el producto escalar dividido entre las dos longitudes. Va de 0, sin palabras en común, a 1, la misma dirección.

docker exec jupyter python3 -c "print(round(2/((2**0.5)*(3**0.5)),2))"

Para ordenar, se calcula el coseno entre la consulta y cada documento. El de coseno más alto va primero. Los que valen 0 no comparten nada con la consulta y no se muestran.

Si dos empatan, hace falta una regla fija. Aquí gana el de número menor. Un truco simple: se guardan pares (menos el coseno, número) y se ordena la lista de pares.

# Ordena los avisos por el coseno con la consulta "plazo marzo".
vectores = {
    1: [1, 0, 0, 0],
    2: [0, 1, 0, 0],
    3: [0, 0, 1, 1],
    4: [1, 0, 1, 0],
    5: [0, 1, 0, 0],
    6: [0, 1, 1, 1],
}
consulta = [0, 0, 1, 1]
def cosine(a, b):
    dot = 0
    la = 0
    lb = 0
    for n in range(len(a)):
        dot = dot + a[n] * b[n]
        la = la + a[n] * a[n]
        lb = lb + b[n] * b[n]
    if la == 0 or lb == 0:
        return 0.0
    return dot / ((la ** 0.5) * (lb ** 0.5))
pares = []
for numero in vectores:
    c = cosine(consulta, vectores[numero])
    pares.append((-round(c, 2), numero))
pares.sort()
for par in pares:
    print(par[1], -par[0])
# Cambia la consulta por [0, 1, 0, 0], que es "facultad", y mira el empate.

Los vectores de la lección usan recuentos. Prueba a poner en cada posición el peso tf-idf de la lección anterior.

Calcula otra vez el orden de los seis avisos para «biblioteca marzo». ¿Cambia el orden? Escribe por qué crees que cambia o no.