BAA 101 · Chapitre 08
Lire l'appel d'outil, pas la réponse
Le principe
Pour comprendre ce qu’un AgentUn programme qui utilise un modèle de langage pour décider quoi faire (chercher, appeler un outil, répondre, refuser), en boucle, avec des règles d'arrêt.Voir dans le glossaire → a fait, on lit sa TraceLe journal d'un run : chaque étape (recherche, appel au modèle, appel d'outil, décision) avec ses arguments et son résultat.Voir dans le glossaire → : quel outil, avec quels arguments, pour quel résultat brut. La réponse finale, elle, n’est qu’un texte plausible.
Pourquoi c’est important
Un modèle s’excuse de façon convaincante, et une bonne réponse peut cacher un mauvais chemin. Sans trace, on corrige au hasard. Avec une trace qui contient des secrets, on fabrique une fuite.
Le mécanisme
- Tracer chaque étape : la recherche, l’appel au modèle, l’Appel d'outilLa demande du modèle d'exécuter un outil avec des arguments précis. C'est lui qu'on lit dans la trace, pas la réponse finale.Voir dans le glossaire →, la décision, avec leurs arguments et leurs résultats.
- Isoler la couche : tester l’outil seul, puis à travers l’agent, avant de chercher plus loin.
- Classer chaque panne avant de corriger (recherche, choix d’outil, consigne non suivie, format), et traiter la plus fréquente d’abord.
- Masquer les secrets en les remplaçant par une étiquette stable, jamais en les supprimant : un trou ressemble à une absence.
- Savoir dire en une phrase quel événement de la trace a décidé du résultat.
Sur le terrain
- AWS Scholars, chapitre 2 : isoler la couche d’abord, puis lire les logs, qui montrent le nom de l’outil, ses arguments et le résultat brut, là où le modèle ne fait que s’excuser.
- AWS Scholars, chapitre 3 : la trace a montré un agent lancé avant celui dont il dépendait, puis, sur un RefusUne réponse explicite « je ne peux pas répondre » : pas de citation, confiance nulle, relecture humaine. Un état, pas un crash.Voir dans le glossaire → correct, un OrchestrateurDans un système multi-agents, l'agent qui ne répond jamais lui-même : il route le travail vers des agents spécialisés.Voir dans le glossaire → qui avait sauté toutes ses règles.
- Dev3Pack, Session 9 : la trace distingue un document bien trouvé mais ignoré par le modèle d’un document jamais trouvé, deux corrections opposées. Et les secrets y entrent masqués.
La question à se poser
Quelle ligne de la trace a décidé de ce résultat ?