Einem Sprachmodell die richtigen Fakten geben (RAG)

Ein Online-Shop baut einen Chatbot für Kundenfragen. Im Chat fragt jemand: „Wie lange habe ich Zeit für eine Rücksendung?“

Das Sprachmodell antwortet freundlich und sicher: „14 Tage.“ Im Shop gelten aber 30 Tage.

Das Modell hat die Regeln des Shops nie gesehen. Wie bekommt es die richtigen Fakten? Darum geht es heute.

Ein Sprachmodell wurde mit riesigen Mengen Text trainiert. Es sagt zu einem Text voraus, was wahrscheinlich als Nächstes kommt.

Es rechnet dabei mit Token: Textstücken, oft ein Wort oder ein Teil davon. Es klingt deshalb flüssig, prüft aber keine Fakten.

Erstens: Das Modell kennt nur, was bis zu seinem Training im Text stand. Neue Preise kennt es nicht.

Zweitens: Es kennt keine privaten Daten wie Ihre Rückgaberegeln.

Drittens: Es kann erfinden. Eine solche Antwort heißt Halluzination. Sie klingt genauso sicher wie eine richtige.

Wir müssen das Modell nicht neu trainieren. Die App gibt ihm die Fakten einfach mit.

Das geht in drei Schritten. Erstens sucht die App in den eigenen Texten die Absätze, die zur Frage passen. Zweitens schreibt sie diese Absätze zusammen mit der Frage in den Prompt. Drittens antwortet das Modell auf dieser Grundlage.

Dieses Vorgehen heißt RAG: erst suchen (Retrieval), dann mit dem Fund antworten lassen.

# Drei Absätze aus dem Hilfe-Bereich eines Shops.
passagen = [
    "Retouren sind 30 Tage nach Erhalt der Ware kostenlos möglich",
    "Die Lieferung dauert in Deutschland meist zwei bis drei Werktage",
    "Rechnungen finden Sie im Kundenkonto unter Meine Bestellungen",
]
frage = "wie lange dauert die lieferung nach deutschland"

def gemeinsame_woerter(frage, text):
    zaehler = 0
    woerter_text = text.lower().split()
    for wort in frage.lower().split():
        if wort in woerter_text:
            zaehler = zaehler + 1
    return zaehler

beste = passagen[0]
beste_punkte = -1
for passage in passagen:
    punkte = gemeinsame_woerter(frage, passage)
    print(punkte, "gemeinsame Wörter:", passage)
    if punkte > beste_punkte:
        beste_punkte = punkte
        beste = passage

# Die App baut aus Frage und bestem Absatz die Anweisung für das Sprachmodell.
print("Anweisung: Antworte nur mit diesem Text:", beste)
print("Frage:", frage)

Die Suche im Code zählt gleiche Wörter. Jemand fragt aber: „Wie komme ich an mein Geld zurück?“ Im Text steht „Erstattung“. Kein Wort ist gleich.

Auch kleine Wörter wie „die“ zählen mit. Für gute Treffer braucht man eine Suche nach Bedeutung.

Ein anderes Modell wandelt jeden Absatz in eine Liste von Zahlen um, einen Vektor. Texte mit ähnlicher Bedeutung bekommen ähnliche Zahlen.

Die Frage wird genauso umgewandelt. Die App sucht dann die Absätze, deren Zahlen der Frage am nächsten liegen. Das ist die Vektorsuche.

Echte Vektoren haben mehrere Hundert Zahlen. In der Tabelle sehen Sie nur zwei.

Der Abstand ist der Unterschied je Zahl, zusammengezählt. Für „Lieferzeit“ sind das 1 plus 0, also 1.

Der kleinste Abstand gewinnt. Die App nimmt also den Absatz „Lieferzeit“ und gibt ihn dem Modell mit. Es gibt auch andere Arten, einen Abstand zu messen. Das Prinzip bleibt gleich.