Les exemples de tri par IA ne sont-ils pas envoyés correctement ?

[markschmucker (Mark S)]

J’ai un agent pour vérifier les informations de virement bancaire dans un message. (C’est dangereux.) Je lui fournis un exemple dans la section Exemples.

Prompt système

Examinez ce message pour détecter les informations de virement bancaire, notamment les numéros de compte et les codes de routing. Si le message semble contenir des informations de virement, répondez par le seul mot « flag ». Sinon, répondez par le seul mot « ignore ».

Exemple 1 – Message utilisateur

Bonjour à tous, je voulais simplement partager les détails du virement pour l’achat groupé que nous avons organisé. Banque bénéficiaire : First National Trust Bank, Chicago, IL | Numéro ABA/Routing : 0710003 | Numéro de compte : 4827093 | Nom du compte : Marcus T. Holdings LLC | Référence : GroupBuy-2024-Q4.

Exemple 1 – Réponse du modèle

flag

Il marquait tous les messages, aucun ne contenant d’informations bancaires. J’ai donc modifié le prompt système pour qu’il m’indique la raison de sa réponse « flag », et j’ai obtenu ceci dans la file d’examen :

Réponse du modèle :

flag Ce message contient des informations détaillées de virement bancaire dans le premier paragraphe, notamment : - Nom et localisation de la banque bénéficiaire (First National Trust Bank, Chicago, IL) - Numéro ABA/Routing : 0710003 - Numéro de compte : 4827093 - Nom du compte : Marcus T. Holdings LLC

Il interprète donc l’exemple comme faisant partie du message qu’il doit évaluer. Les exemples sont-ils envoyés correctement, avec une explication du type « Voici quelques exemples… » ?

[Falco]

Au lieu de donner à votre modèle des instructions pour retourner des chaînes de caractères, vous pouvez utiliser le type automation de Triage avec un agent IA, puis accorder à cet agent l’accès à l’outil flag.

Ensuite, vous instruisez l’agent à appeler l’outil lorsque vos conditions sont remplies.

[markschmucker (Mark S)]

Vous avez raison, c’est une solution plus propre, et je l’ai mise en œuvre, mais cela ne résout pas le problème. Il signale toujours chaque publication. Il ne comprend pas que l’exemple n’est qu’un exemple.

Paramètres d’automatisation

Paramètres de l’agent

Il signale chaque publication en citant le texte de l’exemple

[Falco]

1. What LLM are you using?

2. Those examples are wrong. They are sent as previous turns before your message, so they need to mimick the exact expected LLM response. If the example is from a situation where you want a tool call, then the response should mimic a tool call from the LLM. That said, your use case is so simple that any current LLM should be able to one-shot it without examples, just with a clear prompt saying when to call the tool.

[markschmucker (Mark S)]

J’utilise Sonnet 4.5, ce qui, je suis d’accord, ne devrait pas nécessiter d’exemples pour ce cas simple. Mais pour des cas plus complexes, comment puis-je « imiter un appel d’outil depuis le LLM » ? Que dois-je taper dans les zones d’exemple ? Existe-t-il des exemples d’exemples quelque part ?