Projet : un agent aux limites sûres

Un agent d'IA est un programme où un modèle choisit des actions, une étape à la fois. Comme un agent agit, ses limites décident des dégâts que peut faire une seule erreur.

Le service informatique d'une chaîne de pharmacies veut un agent qui lit un ticket, trouve le salarié et débloque son compte. Il pourrait débloquer la mauvaise personne, ou tourner en boucle pendant une heure. Dans ce projet, vous planifiez ses limites et relisez une exécution enregistrée.

Le modèle peut demander n'importe quelle action. Votre code décide de ce qui s'exécute vraiment.

Une liste autorisée est la courte liste des outils que l'agent peut utiliser. Votre programme compare chaque demande à cette liste avant de lancer quoi que ce soit. Tout ce qui n'y figure pas est bloqué, même si la demande semble raisonnable. Le programme ci-dessous vérifie un échantillon enregistré de demandes.

// L'agent ne peut utiliser que ces outils.
const autorises = ["lire_ticket", "chercher_salarie", "debloquer_compte", "repondre"];

// Un échantillon enregistré : les outils demandés par le modèle, dans l'ordre.
const demandes = ["lire_ticket", "chercher_salarie", "supprimer_salarie", "debloquer_compte", "repondre"];

for (const outil of demandes) {
  if (autorises.includes(outil)) {
    console.log("lancé  ", outil);
  } else {
    console.log("BLOQUÉ ", outil);
  }
}

// Ajoutez "reinitialiser_mot_de_passe" aux demandes, puis lancez.
// Est-il lancé ou bloqué ? Devrait-il être dans la liste autorisée ?

Un budget arrête un agent qui tourne en boucle. Cinq étapes suffisent largement pour débloquer un compte. Au-delà, l'agent s'arrête et confie le ticket à une personne.

Une validation humaine sert pour les actions difficiles à annuler. Débloquer un compte change qui peut entrer, donc une personne l'approuve d'abord. Lire un ticket est sans risque, donc cela s'exécute tout de suite.

Chaque étape va dans le journal d'exécution : l'outil, son entrée et son résultat. Après une exécution de test, vous lisez le journal ligne par ligne.

Cherchez trois choses. Un outil qui ne devrait pas être là. Des étapes au-delà du budget. Une étape risquée sans validation. Le programme affiche une exécution enregistrée, avec une remarque à côté de chaque étape.

# Une exécution enregistrée de l'agent d'assistance. Budget : 5 étapes.
execution = ["lire_ticket", "chercher_salarie", "debloquer_compte",
             "chercher_salarie", "debloquer_compte", "repondre"]
BUDGET = 5
RISQUES = ["debloquer_compte"]

etape = 1
for outil in execution:
    remarque = ""
    if outil in RISQUES:
        remarque = "une personne doit valider"
    if etape > BUDGET:
        remarque = "hors budget"
    print(etape, outil, remarque)
    etape = etape + 1

# Passez BUDGET à 6, puis relancez.