TF-IDF: Wörter zählen und gewichten

TF-IDF (englisch term frequency, inverse document frequency) ist ein Gewicht, das sagt, wie wichtig ein Wort für einen Text ist. Es beruht auf zwei Zählungen: wie oft das Wort im Text steht und in wie vielen Texten insgesamt.

Suchmaschinen und Dokumentenarchive nutzen diese Idee seit Jahrzehnten. Sie erlaubt es, aus tausend Mails die zu finden, in denen es wirklich um ein Thema geht.

Zählen Sie, wie oft jedes Wort in einem Text steht, und vergessen Sie die Reihenfolge. Das Ergebnis heißt Bag of Words, auf Deutsch Wortsack.

Es ist ein Dictionary: Jedes Wort ist ein Schlüssel, die Zahl seiner Vorkommen der Wert. Zwei Texte mit gleichen Zählungen sind für ein Programm gleich, auch wenn die Wörter anders stehen.

text = "die mensa ist günstig und die mensa ist voll"
zaehlungen = {}
for wort in text.split():
    if wort in zaehlungen:
        zaehlungen[wort] = zaehlungen[wort] + 1
    else:
        zaehlungen[wort] = 1
print(zaehlungen)
# Welches Wort kommt am häufigsten vor? Ändern Sie den Text.

docker exec jupyter python3 -c "t='die mensa ist guenstig und die mensa ist voll'.split(); print(t.count('die'), t.count('mensa'), len(t))"

Der Text oben hat 9 Tokens, und „die“ und „mensa“ stehen je 2-mal darin. Das heißt: „die“ macht 2 von 9 Tokens aus. Das sind etwa 0,22.

Dieser Anteil heißt Termhäufigkeit. Er macht lange und kurze Texte vergleichbar, denn ein langer Text zählt jedes Wort öfter.

tokens = "die mensa ist günstig und die mensa ist voll".split()
for wort in ["die", "mensa", "günstig"]:
    anzahl = tokens.count(wort)
    print(wort, anzahl, "von", len(tokens), "=", round(anzahl / len(tokens), 2))
# Fügen Sie "voll" zur Liste hinzu. Wie groß ist sein Anteil?

Zählen Sie, in wie vielen Dokumenten ein Wort steht: die Dokumenthäufigkeit. Steht „die“ in allen drei Texten, trennt es nichts. Steht „günstig“ in nur einem, verrät es viel.

Teilen Sie die Zahl aller Dokumente durch die Dokumenthäufigkeit. Seltene Wörter bekommen so einen hohen Faktor.

dokumente = [
    "die mensa ist günstig und die mensa ist voll".split(),
    "die bibliothek ist ruhig und die bibliothek ist offen".split(),
    "die mensa und die bibliothek sind neu".split(),
]
for wort in ["die", "mensa", "günstig"]:
    anzahl = 0
    for dokument in dokumente:
        if wort in dokument:
            anzahl = anzahl + 1
    print(wort, "steht in", anzahl, "von", len(dokumente), "Dokumenten")
# Probieren Sie "bibliothek" und "neu".

Multiplizieren Sie beide Zahlen: Termhäufigkeit mal (Zahl der Dokumente geteilt durch Dokumenthäufigkeit). Das ist das Gewicht eines Wortes in einem Dokument.

Echte Systeme nehmen von der Seltenheit noch den Logarithmus, damit ein sehr seltenes Wort nicht alles überstimmt. Hier lassen wir ihn weg, damit Sie von Hand rechnen können.

docker exec jupyter python3 -c "print(round(1 / 9 * 3 / 1, 2), round(2 / 9 * 3 / 2, 2), round(2 / 9 * 3 / 3, 2))"