أعني بـ “مخفي” فئة غير مرئية لمعظم المستخدمين. لا يلزم أن تكون مخفية، ولكن وجود فئة تحتوي فقط على ملفات PDF لاستخدامها كمعرفة يمكن الوصول إليها بواسطة RAG قد يصبح مزدحمًا بمستخدمين آخرين.
استخدمت ملفات PDF كمثال حيث أن العديد من الأدلة موجودة بالفعل كملفات PDF، وأشرت إلى إخفائها في فئة لأن ذلك أسهل للفهم. بالنسبة للإمكانيات الأخرى التي لا تتطلب فئة مخفية، فإن Langchain Retrieval هو مكان جيد للبدء.
ليس لدي مشكلة في ذلك، فهذا يجعل فكرة ما يجب القيام به تتحرك في الاتجاه الصحيح.
ومع ذلك، يبدو أن كلمة “مساعد” تفقد مكانتها في سياقات معينة لصالح الوافد الجديد GPTs. يبدو أن GPTs تحل محل مكونات ChatGPT الإضافية أيضًا، لكنني لم أستخدم مكون ChatGPT إضافي منذ أشهر، لذا فأنا لا ألاحظ ذلك حقًا، وأرى فقط أحاديث حول ذلك في المنتديات.
يجب أن أكون صريحًا. لم أكن أعرف ما يكفي للرد، لذا شاهدت هذا الفيديو.
فيما يتعلق بـ Assistant، يبدو أن GPTs تمنحك
تصفح الويب
إنشاء صور DALL*E
مترجم الأكواد
أتفق مع معظم ما لاحظته.
أيضًا، بعد أن تعلمت الكثير عن GPTs من خلال مشاهدة الفيديو، سأقول إنها مثيرة للإعجاب، ومع ذلك لن تلبي احتياجات معظم الناس ولكنها تحرز تقدمًا. كان من المثير للاهتمام أيضًا رؤية بعض تنسيقات JSON التي هي نفسها/مشابهة لإضافات ChatGPT.
فيما يتعلق بهذا الموضوع، سأشير إلى أن العديد من مستخدمي منتدى OpenAI يحاولون تحميل ملفات للاستخدام مع RAG وسرعان ما يكتشفون أن هناك حدًا أقصى يبلغ 10 ملفات. يمكن أيضًا مشاركة رابط إلى GPT، ولكن يجب أن يكون المستخدم الآخر مشتركًا أيضًا في ChatGPT Plus، لذا فإن هذا الخيار على الأرجح طريق مسدود للعديد من المشاريع التجارية.
واجهة برمجة تطبيقات مساعد OpenAI لا تزال في بدايتها ومن الممكن اعتبارها في مرحلة تجريبية:
يُقال إنها باهظة الثمن بشكل باهظ (فهي تملأ السياق المتاح مع كل تكرار بغض النظر عما إذا كانت بحاجة إليه أم لا، وتدفع مقابل ذلك سواء كنت بحاجة إليه أم لا)
يبدو أنها تعاني من مشكلة “الحلقة اللانهائية” حيث تجد نفسها أحيانًا تتكرر إلى أجل غير مسمى. هذه مشكلة مفاجئة بالنظر إلى الخبرة الواضحة للشركة لأنه من السهل جدًا تصميم آلية للتخفيف من حدتها.
أعتقد أنها بحاجة إلى مزيد من الوقت في التطوير ودمج ملاحظات المتبنين الأوائل.
كإمكانية تبسيط مستقبلية للمستهلكين النهائيين لخدمات الذكاء الاصطناعي، مثل Chatbot، أرحب بها.
في كل الأحوال، تحتاج إلى واجهة مع Discourse.
يوفر Chatbot بالفعل نفس قوة واجهة برمجة تطبيقات المساعد دون أي من مشاكله، بالإضافة إلى توفير الواجهة مع Discourse. إنها في النهاية مستقلة عن تكرار واجهة برمجة التطبيقات وستتطور مع الخدمات المتاحة، ومن الممكن جدًا أنها قد تقدم خيار واجهة برمجة تطبيقات المساعد في المستقبل، ولكن لا يوجد حاليًا أي فائدة في القيام بذلك لأنها ستؤدي فقط إلى مشاكل (بما في ذلك المشاكل الموضحة أعلاه).
20، ولكن نعم، كمية محدودة جدًا - والتي يمكن تجاوزها عن طريق إلحاق جميع الملفات التي تحتاجها في ملف واحد كبير (والذي يميل إلى أن يصبح مكلفًا بسرعة كبيرة)
والمفاجأة الكبيرة هي أنك لا تعرف مدى تكلفته إلا لاحقًا…
تقريبًا - تتمتع Assistant API بالقدرة على تضمين معرفة خاصة ومخصصة وخارجية عن Discourse.
انظر المثال أعلاه - إذا كان لديك ملفات PDF تحتوي على أدلة المستخدم وتم تحميلها إلى Discourse، فلن تتم معالجتها وفهرستها. ستحتاج إلى تحويلها إلى markdown. هذا ليس مجرد عمل روتيني ولكنه سيحتوي على أتمتة وتحويلات إضافية.
يسرني انضمام الآخرين إلى هذا وآمل أن يكون هذا مفيدًا لـ Ryan.
ربما يمكن لـ @37Rb (Ryan) تقديم المزيد من المعلومات
هل تتوقع استخدام أدلة للاستخدام مع RAG لروبوت Discourse AI على موقع Discourse؟
أ. ما هو التنسيق الحالي لمثل هذه الأدلة؟ نسخة مطبوعة، PDF، موقع ويب، أخرى؟
ب. كم مرة سيتم تحديث قاعدة المعرفة بأدلة جديدة أو إصدارات منها؟
ج. هل سيتم نشر الأدلة علنًا على الموقع؟
ما هي المعلومات الأخرى بخلاف منتدى Discourse التي يمكن أن تكون ذات قيمة للذكاء الاصطناعي للرد على موقع الدعم؟
عند إنشاء روبوت Discourse AI، هل تتوقع احتياجات أخرى للروبوت؟ أسأل هذا لأنه إذا قرأت تاريخ Discourse في إنشاء روبوت الذكاء الاصطناعي، فسترى أنه مر بالعديد من التغييرات، ولم يكن الروبوت مثاليًا مع الإنشاءات الأولى ولا يزال يشهد العديد من التغييرات.
هل يمكنك إنشاء بعض الأمثلة لكيفية رؤيتك لاستخدام الروبوت أو الوكلاء؟ على سبيل المثال، اعرض بعض الحالات المختلفة لمستخدم يتحدث مع الروبوت.
لاحظ أنني أستخدم كلمة وكيل (agent) بشكل مشابه لـ Langchain agent وليس للخلط بينها وبين مساعد OpenAI.
يمكنك إنشاء OpenAI GPT، والذي يتطلب اشتراك ChatGPT Plus وربما الوصول إليه بعد وجودك في قائمة الانتظار، على غرار ما تسعى لتعلمه حول إيجابيات وسلبيات هذه التكنولوجيا، ويمكن استخدامه لإنشاء روبوت Discourse AI. أنا لا أقترح عليك إنشاء الروبوت ولكن سيكون لديك فهم أفضل لما يمكن للذكاء الاصطناعي فعله وأين سيفشل فشلاً ذريعاً.
PDF أو HTML (مستضافة عبر الإنترنت) ولكني على ما يرام مع تحويلها إلى نص/markdown والاحتفاظ بها كمنشورات Discourse. يمكننا كتابة نص برمجي لتسهيل الأمر.
لن يتم تحديث أدلة المنتجات بشكل متكرر ولكن سيتم تحديث المحتوى الآخر في قاعدة المعرفة. أشياء مثل الأسئلة الشائعة، المشكلات المتكررة/الشائعة، إلخ… سيتم تحديثها بشكل متكرر. ننشر أكبر قدر ممكن علنًا ولكن سيكون من المنطقي الاحتفاظ ببعضها خاصًا - ليس لأنها معلومات حساسة ولكن لأنها قد تبدو غريبة ومربكة كمنشور عام.
نعم، عادة ما تكون أدلة المنتجات الرسمية بصيغة PDF. على سبيل المثال…
في الوقت الحالي، ربما لا شيء. هناك الكثير من المخاطر في السماح له بالبحث في الإنترنت والحصول على نتائج غير صحيحة بالنسبة لنا.
في المستقبل، يمكنني رؤية قيمة في تزويد الروبوت بسياق إضافي حول نظام الأمان الخاص بالعميل ولكنه قد لا يكون ممكنًا أبدًا بسبب مشكلات الخصوصية.
يبدو لي أنه نظرًا لأن كل شيء يعتمد على RAG، فإن أهم شيء هو منحنا تحكمًا دقيقًا في كيفية بحث الروبوت في المنتدى وكيفية توجيه الذكاء الاصطناعي. مما قرأته يبدو أن Discourse Chatbot من merefield يفعل ذلك بشكل أفضل اليوم. آمل في اختبار هذه النظرية هذا الأسبوع.
بالنسبة لنا، يتعلق الأمر دائمًا بتقديم دعم للمستخدم/العميل عن طريق الإجابة على أسئلتهم أو حل مشكلاتهم. على سبيل المثال:
مساعدتهم في معرفة ما يشترونه لتأمين منزلهم المحدد، مع الأخذ في الاعتبار أحيانًا معدات الأمن المنزلي التي يمتلكونها بالفعل.
مساعدتهم في تثبيت واستخدام نظامهم.
مساعدتهم في استكشاف الأخطاء وإصلاحها عندما يواجهون مشكلات.
الإجابة على أسئلة الفضول لديهم حول كيفية عمل الأشياء، وما قد يكون متاحًا في المستقبل، إلخ…
أعلم أن هذا مجرد رابط بسيط لتشاركه، ولكن بالنسبة للكثيرين الآخرين الذين يسيرون على خطاك في الحصول على موقع دعم ليقوم روبوت الذكاء الاصطناعي بالرد والسماح للآخرين برؤية تبادل الأفكار في منتدى عام، فهذا أمر متطور. أعرف أن الشركات تفعل ذلك بشكل خاص، لكنك تفعل ذلك علنًا.
لقد سررت أيضًا برؤية الرسوم البيانية لأنها أكدت ما كنت أعتقد أنه صحيح.
لا أنصح بذلك.
لن يبحث الروبوت فعليًا في المنتدى بطريقة مشابهة لكيفية البحث عن النص في المشاركات. الكلمات المفتاحية والتكنولوجيا ذات الصلة التي تحتاج إلى تعلمها لهذا هي قاعدة بيانات المتجهات و البحث عن أقرب جار.
لقد استخدمت الإصدار المجاني عبر الإنترنت عدة مرات، وكما لاحظت في إجابتي، لم أر شيئًا جيدًا مثلها، وقد بحثت كثيرًا على مر السنين عن طرق للحصول على نصوص ومعلومات أخرى من ملف PDF.
أريد إضافة بعض المعلومات حول هذا الأمر حيث قد يعتقد البعض أن المرجع (اسم الدليل، وتاريخ النشر، والقسم والفقرة) هو جزء من المعلومات المستخدمة مع RAG ولم أتصور الأمر بهذه الطريقة ولم أقدم بعض التفاصيل اللازمة. لقد تصورت استخدام البيانات الوصفية؛ بالنسبة لي، البيانات والبيانات الوصفية لها معانٍ واستخدامات مختلفة جدًا.
عندما سألت ChatGPT عن هذا، قدمت ردًا كان على غرار ما تصورته ولكن مع بعض التفاصيل الإضافية مثل Elasticsearch.
موجه
كيف يمكن للمرء استخدام RAG (توليد معزز بالاسترجاع) مع دليل PDF لمنتج والحصول على العنوان وتاريخ النشر ورقم الصفحة والفقرة من الدليل كمرجع للمعلومات المذكورة؟
إكمال
يتضمن استخدام التوليد المعزز بالاسترجاع (RAG) مع دليل PDF لاستخراج معلومات محددة مثل العنوان وتاريخ النشر ورقم الصفحة والفقرة عدة خطوات. يجمع RAG، الذي طورته Facebook AI، بين قوة الاسترجاع (جلب المستندات أو البيانات ذات الصلة) وتوليد اللغة، مما يمكّن النموذج من الرجوع إلى المعرفة الخارجية ودمجها. إليك نهج عام لاستخدام RAG مع دليل PDF:
تحويل دليل PDF إلى تنسيق نصي:
أولاً، تحتاج إلى تحويل دليل PDF إلى تنسيق نصي يمكن معالجته. يمكن استخدام أدوات مثل Adobe Acrobat أو pdftotext (جزء من مشروع Xpdf) أو مكتبات Python مثل PyPDF2 أو PDFMiner لهذا الغرض.
معالجة النص مسبقًا:
بمجرد حصولك على النص، قد تحتاج إلى معالجته مسبقًا. يتضمن ذلك إزالة التنسيق غير الضروري، والتعامل مع الأحرف الخاصة، وربما تقسيم النص إلى أقسام وصفحات وفقرات بعلامات قابلة للتعريف.
فهرسة الدليل:
لكي يعمل RAG بفعالية، يجب فهرسة محتوى الدليل. هذا يعني إنشاء قاعدة بيانات أو تنسيق منظم حيث يتم تخزين كل معلومة (مثل فقرة أو قسم) مع بياناتها الوصفية المقابلة (رقم الصفحة، رقم الفقرة، إلخ). يمكن استخدام Elasticsearch أو محرك بحث مشابه لهذا الغرض.
دمج RAG:
مع فهرسة دليلك، يمكنك الآن دمج RAG. يجمع RAG عادةً نموذج لغة قائم على المحولات (مثل BERT أو RoBERTa) للاسترجاع ونموذج تسلسل إلى تسلسل (مثل BART أو T5) للتوليد. ستحتاج إلى إعداد RAG للاستعلام عن دليلك المفهرس. قد يتضمن ذلك تخصيص مكون الاسترجاع للعمل مع محرك البحث الخاص بك.
الاستعلام عن النظام:
عند الاستعلام عن نظام RAG، يقوم مكون الاسترجاع أولاً بالعثور على الأقسام الأكثر صلة بالدليل بناءً على استعلامك. ثم يتم تمرير هذه المعلومات إلى مكون التوليد، الذي يصيغ استجابة.
استخراج معلومات المرجع:
للحصول على العنوان وتاريخ النشر ورقم الصفحة والفقرة، ستحتاج إلى التأكد من تضمين هذه التفاصيل إما في الأجزاء المسترجعة أو أن النظام يمكنه الرجوع إلى البيانات المفهرسة لجلب هذه البيانات الوصفية. قد يتطلب هذا منطقًا إضافيًا في نظامك.
المعالجة اللاحقة للمراجع:
بعد إنشاء الاستجابة، قد تحتاج إلى خطوة معالجة لاحقة لتنسيق المراجع بشكل صحيح، مع التأكد من تضمين العنوان وتاريخ النشر ورقم الصفحة ورقم الفقرة بدقة.
الضبط الدقيق والتقييم:
اعتمادًا على متطلباتك المحددة وتعقيد الدليل، قد تحتاج إلى ضبط نموذج RAG على أنواع مماثلة من المستندات أو الاستعلامات. قم بتقييم أداء النظام واضبط نهجك حسب الحاجة.
التكامل مع واجهة المستخدم:
أخيرًا، إذا كان هذا النظام مخصصًا للمستخدمين النهائيين، فادمجها مع واجهة سهلة الاستخدام حيث يمكن للمستخدمين إدخال الاستعلامات وتلقي الردود مع المعلومات المرجعية.
تذكر أن فعالية هذا النهج تعتمد بشكل كبير على جودة البيانات المفهرسة، وقدرات نموذج الاسترجاع، ومدى تدريب نموذج التوليد أو ضبطه بدقة لحالة الاستخدام الخاصة بك.
ملاحظة: بينما أستخدم ChatGPT لتوليد المعلومات، فإنني لا أنشر معلومات من ChatGPT إذا كنت أعتقد أنها خاطئة. بمعنى آخر، يمكن أن يكون ChatGPT مفيدًا ولكن يجب أن تعرف ما إذا كانت المعلومات المقدمة صحيحة أم لا. على الرغم من أنني لم أنفذ بالضبط ما يذكره ChatGPT هنا، إلا أن لدي خبرة كافية في هذا الأمر لدرجة أنني سأستخدم هذا أو انحرافًا عنه.
تتضمن إضافة Discourse Chatbot خطوة تقوم فيها بـ إنشاء التضمينات والتي تستخدم واجهة برمجة تطبيقات التضمينات من OpenAI. لا يبدو أن إضافة Discourse AI تقوم بذلك (لم تظهر أي نشاط للتضمينات على لوحة تحكم OpenAI) ولكنها لا تزال تعثر على منشورات في منتدانا. إذا لم تقم بإنشاء تضمينات للبحث دلاليًا، فكيف تبحث إضافة Discourse AI في المنتدى؟ هل تستخدم البحث النصي العادي؟ هل تقوم بحساب تضميناتها الخاصة؟
