KI-Vergleich
Streaming oder ganze Antwort
Streamen Sie, wenn ein Mensch die Antwort entstehen sieht und sofort lesen kann; warten Sie auf die ganze Antwort, wenn Code sie zuerst parsen oder prüfen muss.
| Aspekt | Streaming | Ganze Antwort |
|---|---|---|
| Erste Wörter erscheinen | Sofort | Wenn die ganze Antwort fertig ist |
| Gesamtzeit | Etwa gleich | Etwa gleich |
| Im Code | Ereignisse zusammensetzen und Teiltext | Eine Antwort parsen |
| Vor dem Anzeigen prüfen | Schwer: der Text ist schon sichtbar | Leicht |
Streaming wählen, wenn
- Ein Mensch liest die Antwort, während sie geschrieben wird
- Antworten sind lang
- Die Funktion soll reaktionsschnell wirken
Ganze Antwort wählen, wenn
- Die Antwort ist JSON für Ihren Code
- Sie müssen sie prüfen oder filtern, bevor jemand sie sieht
- Antworten sind kurz
Praktisch lernen
Diese kostenlosen Lektionen lehren es mit Befehlen für ein Labor und geprüften Aufgaben. Ohne Konto vollständig lesbar.
Verwandte Begriffe
- Streaming
- Streaming sendet die Antwort eines Modells Stück für Stück, während sie entsteht, sodass die ersten Wörter sofort erscheinen, statt auf die ganze Antwort zu warten.
- Latenz
- Latenz ist die Wartezeit einer Nutzerin auf eine Antwort; bei einem Sprachmodell wird sie meist in Zeit bis zum ersten Token und Gesamtzeit geteilt.
- Strukturierte Ausgabe
- Strukturierte Ausgabe heißt, von einem Sprachmodell eine Antwort in einer festen, maschinenlesbaren Form wie JSON mit benannten Feldern zu verlangen statt freien Text.