أمثلة الفرز بالذكاء الاصطناعي لم تُرسل بشكل صحيح؟

[markschmucker (Mark S)]

لدي وكيل يتحقق من معلومات التحويل البنكي في منشور. (هذا أمر خطير.) أقدم له مثالاً في قسم الأمثلة.

موجه النظام

افحص هذا المنشور بحثًا عن معلومات التحويل البنكي بما في ذلك أرقام الحسابات وأرقام التوجيه. إذا بدا أن المنشور يحتوي على معلومات تحويل، فارد بكلمة واحدة فقط “flag”. وإلا فارد بكلمة واحدة فقط “ignore”.

رسالة المستخدم في المثال 1

مرحبًا بالجميع، أردت فقط مشاركة تفاصيل التحويل البنكي للشراء الجماعي الذي نظمناه. البنك المستقبل: بنك فاست ناشيونال تراست، شيكاغو، إل إل | رقم ABA/التوجيه: 0710003 | رقم الحساب: 4827093 | اسم الحساب: ماركوس تي. هولدنغز ل.ل.ك | المرجع: GroupBuy-2024-Q4.

رد النموذج في المثال 1

flag

كان يقوم بوضع علامة “flag” على كل منشور، ولم يكن أي منها يحتوي على معلومات بنكية. لذا قمت بتغيير موجه النظام ليخبرني بالسبب وراء استجابته بكلمة “flag”، وحصلت على هذا في قائمة المراجعة:

رد من النموذج:

flag يحتوي هذا المنشور على تفاصيل مفصلة لمعلومات التحويل البنكي في الفقرة الأولى، بما في ذلك: - اسم وموقع البنك المستقبل (بنك فاست ناشيونال تراست، شيكاغو، إل إل) - رقم ABA/التوجيه: 0710003 - رقم الحساب: 4827093 - اسم الحساب: ماركوس تي. هولدنغز ل.ل.ك

إذًا فهو يفسر المثال كجزء من المنشور الذي يفترض أن يقيّمه. هل تُرسل الأمثلة بشكل صحيح، مع شرح مثل “إليك بعض الأمثلة…”؟

[Falco]

بدلاً من توجيه نموذجك بإرجاع سلاسل نصية، يمكنك استخدام نوع automation من “التصنيف بواسطة وكيل الذكاء الاصطناعي”، ثم منح هذا الوكيل صلاحية الوصول إلى أداة flag.

بعد ذلك، توجه الوكيل باستدعاء الأداة عند تحقق شروطك.

[markschmucker (Mark S)]

أنت محق، هذه حل أنظف، وقد قمت بذلك، لكنه لا يغير المشكلة. لا يزال يحدد كل منشور. إنه لا يفهم أن المثال مجرد مثال.

إعدادات الأتمتة

إعدادات الوكيل

يحدد كل منشور، مستشهدًا بالنص في المثال

[Falco]

1. What LLM are you using?

2. Those examples are wrong. They are sent as previous turns before your message, so they need to mimick the exact expected LLM response. If the example is from a situation where you want a tool call, then the response should mimic a tool call from the LLM. That said, your use case is so simple that any current LLM should be able to one-shot it without examples, just with a clear prompt saying when to call the tool.

[markschmucker (Mark S)]

أنا أستخدم Sonnet 4.5، وأوافق على أنه لا يجب أن يحتاج إلى أمثلة في هذه الحالة البسيطة. لكن في الحالات الأكثر تعقيدًا، كيف يمكنني “محاكاة استدعاء أداة من نموذج اللغة الكبير”؟ ماذا يجب أن أكتب في مربعات الأمثلة؟ هل توجد أمثلة أمثلة في مكان ما؟