Quarante notes internes, les mêmes questions
Un assistant documentaire répond aux questions à partir des fichiers d'une entreprise, et dit quel fichier il a utilisé. Il évite aux salariés de chercher chaque jour les mêmes réponses dans 40 notes internes.
Dans ce projet de synthèse, vous planifiez une telle fonctionnalité pour un cabinet comptable de Toulouse et décidez comment la vérifier. Vous travaillez sur un échantillon enregistré : les chiffres sont fixes et se comparent.
À la fin de cette leçon
Remarque
Je peux planifier et vérifier une fonctionnalité qui répond à partir de documents.
Mots clés
| Mot | Ce que ça veut dire | Exemple |
|---|---|---|
| Cahier des charges | un plan écrit et court de ce que la fonctionnalité doit faire | |
| Recherche documentaire | trouver les passages qui contiennent la réponse | |
| Source | le document d'où vient une réponse | conges.pdf |
| Refus | dire que les documents ne répondent pas | |
| Seuil d'acceptation | le score à atteindre avant la mise en service |
Les cellules que les étudiants remplissent restent vides dans cet aperçu.
Pour aller plus loin
Remarque
Ce projet planifie et vérifie ; il n'enseigne pas la recherche documentaire. Les leçons d'IA de la page Ressources le font. Génération augmentée par récupération. Évaluer et tester une fonctionnalité qui appelle un modèle. Systèmes de recherche documentaire.
Le cahier des charges dit ce qu'on attend
Avant tout code, écrivez un cahier des charges d'une demi-page. Dites qui utilise la fonctionnalité et quels documents elle peut lire. Dites ce que chaque réponse doit montrer, par exemple sa source.
Dites ce qu'elle ne doit jamais faire. Pour un assistant documentaire, le grand danger est d'inventer. Quand aucun document ne répond, il donne un refus.
Exemple travaillé : le cahier des charges
| Partie du cahier des charges | Ce que nous avons écrit |
|---|---|
| Qui l'utilise | Les salariés du cabinet, connectés |
| Ce qu'il peut lire | Les 40 notes internes, rien d'autre |
| Chaque réponse doit | Nommer le document d'où elle vient |
| Il ne doit jamais | Inventer quand aucun document ne répond |
| Seuils d'acceptation | 18 justes sur 20, et chaque question sans réponse refusée |
Les cellules que les étudiants remplissent restent vides dans cet aperçu.
Un jeu d'évaluation, ce sont des questions fixes
Le jeu d'évaluation transforme le cahier des charges en cas. Chaque cas est une question et le document qui doit y répondre. Certains cas n'ont volontairement aucun document, pour tester le refus.
Gardez le jeu fixe, pour pouvoir comparer deux passages. Le programme vérifie un échantillon enregistré de cinq cas.
À vous : vérifier un échantillon enregistré
# Un échantillon enregistré : ce que l'assistant a répondu en test.
# "source" est le document d'où la réponse doit venir.
# Une source vide veut dire qu'aucun document ne répond : il faut refuser.
cas = [
{"question": "Combien de jours de congés ?", "source": "conges.pdf", "obtenu": "conges.pdf"},
{"question": "Comment déclarer un taxi ?", "source": "notes-de-frais.pdf", "obtenu": "notes-de-frais.pdf"},
{"question": "Qui répare mon ordinateur ?", "source": "support-info.pdf", "obtenu": "conges.pdf"},
{"question": "Quel est le salaire du PDG ?", "source": "", "obtenu": ""},
{"question": "Puis-je venir avec mon chien ?", "source": "", "obtenu": "locaux.pdf"},
]
justes = 0
for un_cas in cas:
if un_cas["obtenu"] == un_cas["source"]:
justes = justes + 1
else:
print("À vérifier :", un_cas["question"])
print("Justes :", justes, "sur", len(cas))
# Remplacez la réponse sur l'ordinateur par "support-info.pdf", puis relancez.
Les seuils d'acceptation décident
Un seuil d'acceptation est écrit dans le cahier des charges avant le début des tests. Ici, ce sont deux chiffres : au moins 18 justes sur 20, et aucune invention.
Deux chiffres comptent, car l'un peut cacher l'autre. Une fonctionnalité peut faire 19 sur 20 et inventer quand même une réponse sur la paie. Cette seule invention bloque la mise en service.
Une erreur fréquente
Attention
Beaucoup pensent que quelques questions essayées à la main montrent que la fonctionnalité marche. Une poignée d'essais cache les échecs rares. Utilisez un jeu fixe d'au moins 20 cas, avec des questions sans réponse, et relancez-le après chaque modification.