Abschlussprojekt: ein Agent mit sicheren Grenzen

Ein KI-Agent ist ein Programm, in dem ein Modell Schritt für Schritt Aktionen wählt. Die IT-Abteilung eines Klinikverbunds in Hannover möchte einen, der ein Ticket liest, die Person findet und ihr Konto entsperrt.

Weil ein Agent handelt, bestimmen seine Grenzen, wie viel Schaden ein einzelner Fehler anrichtet. Er könnte die falsche Person entsperren oder eine Stunde lang kreisen. In diesem Abschlussprojekt planen Sie seine Grenzen und prüfen einen aufgezeichneten Lauf.

Das Modell darf jede Aktion verlangen, die ihm einfällt. Ihr Code entscheidet, was wirklich ausgeführt wird.

Eine Erlaubnisliste ist die kurze Liste der Werkzeuge, die der Agent benutzen darf. Ihr Programm prüft jede Anfrage daran, bevor es etwas ausführt. Alles, was nicht auf der Liste steht, wird blockiert, so vernünftig es auch klingt. Das Programm unten prüft eine aufgezeichnete Stichprobe von Anfragen.

// Der Agent darf nur diese Werkzeuge benutzen.
const erlaubt = ["ticket_lesen", "nutzer_suchen", "konto_entsperren", "antworten"];

// Eine aufgezeichnete Stichprobe: die Werkzeuge, die das Modell verlangt hat.
const verlangt = ["ticket_lesen", "nutzer_suchen", "nutzer_loeschen", "konto_entsperren", "antworten"];

for (const werkzeug of verlangt) {
  if (erlaubt.includes(werkzeug)) {
    console.log("ausführen ", werkzeug);
  } else {
    console.log("BLOCKIERT ", werkzeug);
  }
}

// Fügen Sie "passwort_zuruecksetzen" zu verlangt hinzu und starten Sie neu.
// Wird es ausgeführt oder blockiert? Gehört es auf die Erlaubnisliste?

Ein Budget stoppt einen Agenten, der im Kreis läuft. Fünf Schritte genügen, um ein Konto zu entsperren. Danach hält der Agent an und übergibt das Ticket einer Person.

Eine menschliche Freigabe gilt für Aktionen, die schwer rückgängig zu machen sind. Das Entsperren ändert, wer hineinkommt, also genehmigt es vorher eine Person. Ein Ticket zu lesen ist harmlos und läuft sofort.

Jeder Schritt kommt in ein Laufprotokoll: das Werkzeug, seine Eingabe und sein Ergebnis. Nach einem Testlauf lesen Sie das Protokoll Zeile für Zeile.

Achten Sie auf drei Dinge. Ein Werkzeug, das dort nicht hingehört. Schritte über dem Budget. Einen riskanten Schritt ohne Freigabe. Das Programm gibt einen aufgezeichneten Lauf mit Hinweisen zu jedem Schritt aus.

# Ein aufgezeichneter Lauf des Helpdesk-Agenten. Budget: 5 Schritte.
lauf = ["ticket_lesen", "nutzer_suchen", "konto_entsperren",
        "nutzer_suchen", "konto_entsperren", "antworten"]
BUDGET = 5
RISKANT = ["konto_entsperren"]

schritt = 1
for werkzeug in lauf:
    hinweis = ""
    if werkzeug in RISKANT:
        hinweis = "braucht Freigabe durch eine Person"
    if schritt > BUDGET:
        hinweis = "über dem Budget"
    print(schritt, werkzeug, hinweis)
    schritt = schritt + 1

# Setzen Sie BUDGET auf 6 und starten Sie neu.