Eine Chatbot-Antwort prüfen
Eine Chatbot-Antwort prüfen heißt herausfinden, ob sie stimmt, bevor du sie nutzt. Ein Chatbot kann eine Tatsache, ein Datum oder ein Buch erfinden, das es nicht gibt.
Kopierst du eine erfundene Tatsache in deine Arbeit, wird der Fehler deiner. Eine kurze Prüfung verhindert das.
Am Ende dieser Lektion
Notiz
Ich kann eine Chatbot-Antwort mit einer zweiten Quelle prüfen.
Schlüsselwörter
| Begriff | Was er bedeutet |
|---|---|
| Tatsache | etwas, das wahr ist und sich prüfen lässt |
| Quelle | woher eine Information kommt |
| Zweite Quelle | ein anderer Ort, an dem du dieselbe Tatsache prüfst |
| Erfunden | ausgedacht, nicht wahr |
| Veraltet | früher wahr, heute nicht mehr |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Ein Chatbot kann sich Dinge ausdenken
Ein Chatbot ist dafür gebaut, wahrscheinliche Wörter zu schreiben. Darum sagt er selten „Das weiß ich nicht“. Fragst du nach etwas, das er nie gesehen hat, erfindet er vielleicht eine Antwort.
Die nächsten zwei Runs fragen nach Wendelrode am Brakelsee, einem Dorf, das für diese Lektion erfunden ist. Jedes Jahr und jedes Buch, das er nennt, muss erfunden sein.
Frag den Chatbot im Lab
Notiz
Drück oben in der Leiste auf Lab starten und dann auf die zwei Schaltflächen Ausführen. Hat deine Schule keine KI eingeschaltet, zeigt jeder Run ein aufgezeichnetes Beispiel, deutlich beschriftet. Behandle das Beispiel als Aussage, die du prüfen musst.
Nach einem Dorf fragen, das es nicht gibt
docker exec -w /home/node/project agent node -e "const u=(process.env.AI_URL||'http://ai:4000')+'/v1/chat/completions';const post=(m,t,x)=>fetch(u,{method:'POST',headers:{'content-type':'application/json',authorization:'Bearer lab'},body:JSON.stringify({model:'lab',messages:[{role:'user',content:m}],max_tokens:t,temperature:x})}).then(r=>r.json());post('In welchem Jahr hat das Dorf Wendelrode am Brakelsee seine erste Bücherei eröffnet? Antworte in einem kurzen Satz.',40,0.7).then(j=>console.log('Chatbot: '+j.choices[0].message.content)).catch(e=>console.log('Aufgezeichnetes Beispiel, kein Chatbot hat geantwortet: Wendelrode am Brakelsee hat seine erste Bücherei im Jahr 1892 eröffnet.'))"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Nach einem Buch darüber fragen
docker exec -w /home/node/project agent node -e "const u=(process.env.AI_URL||'http://ai:4000')+'/v1/chat/completions';const post=(m,t,x)=>fetch(u,{method:'POST',headers:{'content-type':'application/json',authorization:'Bearer lab'},body:JSON.stringify({model:'lab',messages:[{role:'user',content:m}],max_tokens:t,temperature:x})}).then(r=>r.json());post('Nenne ein Buch über die Geschichte von Wendelrode am Brakelsee, mit Autorin oder Autor. Antworte in einem kurzen Satz.',40,0.7).then(j=>console.log('Chatbot: '+j.choices[0].message.content)).catch(e=>console.log('Aufgezeichnetes Beispiel, kein Chatbot hat geantwortet: Ein gutes Buch ist Die Chronik von Wendelrode von Hedwig Marlau.'))"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Prüf mit einer zweiten Quelle
Eine zweite Quelle ist ein anderer Ort, der dieselbe Tatsache kennen sollte. Nimm eine, die wahrscheinlich stimmt: ein Schulbuch, deine Notizen, die Webseite der Schule oder einen Fahrplan.
Stimmen beide überein, kannst du die Tatsache nutzen. Widersprechen sie sich, glaub der besseren Quelle und nicht dem Chatbot.
Beispiel: drei Aussagen geprüft
| Der Chatbot sagte | Zweite Quelle | Was dort steht | Ergebnis |
|---|---|---|---|
| Die Schulbibliothek öffnet um 8 Uhr | Die Webseite der Schule | Öffnet um 8:30 Uhr | Stimmt nicht |
| Wasser kocht auf Meereshöhe bei 100 Grad | Ein Physikbuch | 100 Grad auf Meereshöhe | Stimmt |
| Der Bus 42 fährt alle 10 Minuten | Der Busfahrplan | Alle 20 Minuten | Stimmt nicht |
| Dein Freund Jonas ist 17 | Nirgends prüfbar | Nichts | Nicht prüfbar |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Daten und Zahlen brauchen mehr Sorgfalt
Ein Chatbot hat aus Texten bis zu einem bestimmten Datum gelernt. Was danach kam, kennt er vielleicht nicht, also kann ein Preis oder eine Regel veraltet sein.
Auch beim Rechnen kann er sich vertun, weil er Zahlen als wahrscheinliche Wörter schreibt. Prüf ein Datum mit einer Seite, die das heutige Datum zeigt. Rechne selbst nach.
Die Rechnungen eines Chatbots prüfen
# Stell dir vor, ein Chatbot hat diese Antworten gegeben. Jede ist [erste Zahl, Zeichen, zweite Zahl, seine Antwort].
aussagen = [
[12, "x", 15, 180],
[48, "+", 27, 85],
[9, "x", 9, 81],
]
for aussage in aussagen:
if aussage[1] == "x":
richtig = aussage[0] * aussage[2]
else:
richtig = aussage[0] + aussage[2]
if richtig == aussage[3]:
print(aussage[0], aussage[1], aussage[2], "=", aussage[3], "stimmt")
else:
print(aussage[0], aussage[1], aussage[2], "=", aussage[3], "ist falsch, richtig ist", richtig)
Ein häufiger Fehler
Warnung
Viele denken, eine lange, genaue Antwort muss stimmen. Doch Einzelheiten kann ein Chatbot leicht erfinden. Nur eine Prüfung mit einer guten zweiten Quelle zeigt dir, dass eine Tatsache stimmt.
Weiterdenken: nach der Quelle fragen
Manche Chatbots sagen auf Nachfrage, woher eine Tatsache stammt. Das hilft, aber auch eine genannte Quelle kann erfunden sein.
Nimm eine Tatsache aus einer deiner letzten Arbeiten. Such zwei gute Quellen dafür. Stimmten sie überein?