Abschlussprojekt: Bericht über eine laufende Funktion

Eine KI-Funktion zu betreiben heißt, jede Woche ihre Kosten, ihr Tempo und ihre Qualität zu kennen. Bei einem Energieversorger in Dortmund ging am Montag eine Funktion für Zusammenfassungen live. Die Buchhaltung fragt, was sie kostet. Der Kundenservice fragt, warum manche Antworten so lange dauern.

Eindrücke genügen nicht. In diesem Abschlussprojekt berechnen Sie die Zahlen aus einer aufgezeichneten Woche und schreiben sie auf eine Seite.

Ein Modell wird meist pro Token bezahlt, für Eingabe und Ausgabe. Der Text, den Sie schicken, sind Tokens der Eingabe. Die Antwort sind Tokens der Ausgabe, und die kosten oft mehr.

Die Kosten hängen also von der Länge Ihrer Anweisungen ab, nicht nur von der Zahl der Anfragen. Das Programm berechnet die Kosten jedes Tages einer aufgezeichneten Woche, mit erfundenen Preisen.

# Eine aufgezeichnete Woche einer Funktion für Zusammenfassungen.
# Tokens werden in Tausend gezählt. Die Preise sind zum Üben erfunden.
CENT_PRO_TAUSEND_EIN = 1
CENT_PRO_TAUSEND_AUS = 4

tage = [
    {"tag": "Mo", "anfragen": 400, "ein": 800, "aus": 120},
    {"tag": "Di", "anfragen": 420, "ein": 840, "aus": 130},
    {"tag": "Mi", "anfragen": 380, "ein": 760, "aus": 110},
    {"tag": "Do", "anfragen": 900, "ein": 2700, "aus": 300},
    {"tag": "Fr", "anfragen": 410, "ein": 820, "aus": 125},
]

summe_cent = 0
summe_anfragen = 0
for tag in tage:
    cent = tag["ein"] * CENT_PRO_TAUSEND_EIN + tag["aus"] * CENT_PRO_TAUSEND_AUS
    print(tag["tag"], cent, "Cent")
    summe_cent = summe_cent + cent
    summe_anfragen = summe_anfragen + tag["anfragen"]

print("Woche:", summe_cent, "Cent für", summe_anfragen, "Anfragen")
# Welcher Tag fällt auf? Geben Sie dem Donnerstag die Zahlen vom Montag und starten Sie neu.

Latenz ist die Dauer einer Anfrage. Der Durchschnitt klingt nützlich, aber zwei sehr langsame Anfragen können sich darin verstecken.

Berichten Sie deshalb den Median, den mittleren Wert, und das 95. Perzentil. Sortieren Sie die Zeiten. Das 95. Perzentil ist die Zeit, unter der 95 von 100 Anfragen bleiben. Das erleben Ihre langsamsten Nutzer.

# Eine aufgezeichnete Stichprobe: 20 Antwortzeiten in Sekunden.
zeiten = [1.2, 1.1, 1.4, 1.3, 1.2, 1.5, 1.1, 1.3, 1.2, 9.8,
          1.4, 1.2, 1.3, 1.1, 1.6, 1.2, 1.3, 8.9, 1.4, 1.2]

sortiert = sorted(zeiten)
mitte = sortiert[len(sortiert) // 2]
print("Median:", mitte, "Sekunden")

summe = 0
for z in zeiten:
    summe = summe + z
print("Durchschnitt:", round(summe / len(zeiten), 2), "Sekunden")

# 95 Prozent von 20 sind 19, also die 19. Zeit der Reihe nach.
print("95. Perzentil:", sortiert[18], "Sekunden")

Kosten und Tempo bedeuten wenig, wenn die Antworten schlecht sind. Jede Woche bewertet eine Person eine feste Stichprobe, etwa 50 Antworten. Der Anteil der guten ist der Qualitätswert.

Dann kommen alle drei auf eine Seite: die Zahl, das Ziel und was Sie tun werden. Eine Führungskraft sollte allein mit dieser Seite entscheiden können.