Discourse Chatbot 🤖

[Zomb (Ro)]

Ça fonctionne ! Merci beaucoup !

[merefield (Robert)]

Génial !

Mais, aha, Ro-Bot a menti (c’est une limitation des LLM).

Ro-Bot ne pouvait pas le savoir à moins que vous ne l’ajoutiez à l’invite système, mais chaque requête vous coûtera des quotas (jusqu’à ce que vous n’ayez plus de quotas).

[Zomb (Ro)]

Bon à savoir ! LOL. Je devrais ajouter ça au cas où quelqu’un demanderait.

[BrianC (Brian)]

Salut tout le monde,

@merefield Merci beaucoup pour ce plugin incroyable et pour tout votre travail acharné ! J’apprécie énormément vos contributions.

Je cherche des conseils sur la meilleure façon d’utiliser les embeddings et les prompts. J’ai actuellement OpenAI qui fonctionne bien avec gpt4o-mini, j’espère donc qu’il sera tout aussi performant avec les embeddings. Mon plan est d’inventer un terme et quelques informations de base, puis de poser des questions à l’IA à ce sujet pour voir si elle renvoie le terme inventé.

Une chose que je ne comprends pas entièrement : lorsque vous configurez une catégorie pour l’indexation, est-ce que tout le sujet est inclus dans le prompt si une correspondance pertinente est trouvée, ou est-ce seulement la partie spécifique du texte utilisée pour créer l’embedding ? J’essaie de décider s’il vaut mieux avoir des sujets plus petits et ciblés ou des sujets plus longs et détaillés, surtout parce que l’utilisation efficace des tokens est importante.

Un autre domaine que j’explore est la relation entre les différentes entrées de prompt. J’ai testé le paramètre chatbot.prompt.system.basic.open et le texte caché que vous pouvez fournir au bot pour façonner ses réponses. Je sais qu’ils fonctionnent ensemble d’une certaine manière, mais je ne suis pas tout à fait sûr comment. Par exemple, si j’inclus des instructions comme « Tu es quelqu’un, fais A, B, C » dans le prompt système, cela semble moins efficace que de les inclure dans le prompt texte caché. J’essaie de mieux comprendre ces concepts et de trouver la meilleure approche.

Merci d’avance pour tous les éclaircissements que vous pourrez partager !

[merefield (Robert)]

Salut Brian,

@BrianC

l’intégralité du sujet est-elle incluse dans l’invite si une correspondance pertinente est trouvée, ou est-ce seulement la partie spécifique du texte utilisée pour créer l’incorporation ?

Les titres de sujets sont incorporés et les publications sont chacune incorporées séparément.

Une requête peut correspondre à l’un ou l’autre et renvoyer les publications pertinentes.

@BrianC

J’ai testé le paramètre chatbot.prompt.system.basic.open et le texte caché que vous pouvez donner au bot

Une fois que vous utilisez des incorporations, vous voulez passer aux invites système du bot RAG.

Vous voulez chatbot.prompt.system.rag.open (pour les réponses publiques) et chatbot.prompt.system.rag.private pour les réponses privées dans les MP et les DM. Cette distinction a été introduite à l’origine pour que vous puissiez faire quelque chose d’un peu différent lorsque vous utilisez un bot de support 1 à 1 (si vous le souhaitez, mais vous pouvez les garder identiques).

Par texte caché, entendez-vous les invites supplémentaires spécifiques à la catégorie ?

Je l’utilise principalement pour accueillir les nouveaux arrivants lorsqu’ils publient dans ma catégorie d’introduction. Mais je suis sûr qu’il peut avoir des utilisations créatives au-delà de cela.

Cela se fait légèrement différemment. Il est publié comme une invite utilisateur cachée, au lieu de faire partie des bots, par exemple :

Donne-moi une chaleureuse bienvenue sur le forum s'il te plaît ! Dis-moi que tout le monde est très sympathique ici et désireux d'aider ! Encourage-moi à lire le Sujet de Bienvenue si je ne l'ai pas encore fait ici : LIEN et les directives de publication ici : LIEN

Par conséquent, il est préférable de l’écrire à la première personne.

[BrianC (Brian)]

Merci Robert, les choses simples parfois. Même après avoir lu qu’il fallait utiliser l’invite .rag, j’ai continué à utiliser le .open de base.

J’essaie toujours de comprendre ce qui est soumis à OpenAI comme invite pour Rag. Est-ce l’intégralité de l’embedding ? Donc, si je crée un sujet assez long, l’intégralité du long sujet sera-t-elle soumise comme invite ? En d’autres termes, est-il moins cher en termes de tokens de créer 2 sujets courts plus précis qu’un seul sujet avec toutes les informations. J’essaie toujours de trouver l’approche la plus sensée pour être efficace.

[merefield (Robert)]

Si vous modifiez les paramètres de journalisation et redirigez les informations vers « warn » (ces paramètres sont les tout derniers dans les paramètres du plugin), vous pouvez lire chaque appel à l’API dans /logs

N’oubliez pas de les rétablir si vous ne voulez pas polluer les journaux.

[willie]

Salut, Robert.

Chaque fois que je me connecte au chatbot, il dit : « Salut, comment puis-je vous aider avec HappyBooks aujourd’hui ? » J’aimerais que le chat ne réponde que lorsque je lui envoie un message.

Comment puis-je faire cela ?

[merefield (Robert)]

Salut Willie

Si vous utilisez le bouton Démarrage rapide, il parlera toujours en premier, sauf si vous désactivez ce paramètre :

[merefield (Robert)]

Et c’est une faute d’orthographe HURLANTE (que je corrigerai)

[willie]

Comment faire pour que le chatbot réponde uniquement aux questions sur le site et non à des questions comme 5 + 5 = ?

[Jagster (Jakke Lehtonen)]

En utilisant une invite système où vous refusez absolument de répondre à de telles questions, avec des exemples.

Mais bonne chance. Je ne sais pas dans quelle mesure les autres LLM respectent de telles règles, mais les modèles OpenAI peuvent ou non les suivre. Même s’ils le font comme prévu ici, maintenant, et pour vous, la situation sera probablement tout le contraire dans d’autres publications, demain, et pour d’autres utilisateurs.

[merefield (Robert)]

Une autre approche consiste simplement à gérer l’accès avec le système de quotas fourni. Si les utilisateurs veulent additionner 5 et 5 dans un MP, c’est leur problème, mais ils consomment leur quota en le faisant.

Dans tous les cas, je ne pense pas que cela consommera beaucoup de jetons

Dans le domaine public, il appartient toujours aux modérateurs d’examiner le contenu émergent sur le site, comme pour tout nouveau message.

Sur mes propres sites, je charge régulièrement mon bot de faire toutes sortes de choses qui ne sont peut-être pas au cœur du sujet principal des sites (bien qu’en privé et dans la limite de mon quota).

[Jagster (Jakke Lehtonen)]

5+5=10

Cela s’est produit automatiquement par iOS (et est parfois vraiment agaçant).

Si cela avait été compté par le chatbot OpenAI, cela n’aurait pratiquement rien coûté.

[MihirR (Mihir)]

Salut @merefield est-il configuré pour fonctionner avec Perplexity par hasard car il utilise également le modèle GPT.

[merefield (Robert)]

Si vous trouvez un proxy peut-être. Mais sans toutes ces péripéties, seulement OpenAI.

Je ne suis qu’un développeur solitaire, j’ai donc dû garder une portée raisonnable.

[MihirR (Mihir)]

Bien sûr, je vais essayer et je vous tiendrai au courant.

[BrianC (Brian)]

Salut @merefield, j’ai constaté que l’IA ne suivait pas bien l’invite. Il semble qu’elle soit tronquée dans les journaux.

L’invite complète que j’ai enregistrée dans l’invite système est ci-dessous. Ceci a été sélectionné juste comme invite de test.

Invite de persona de chatbot comique. Vous êtes un chatbot comique, un artiste virtuel conçu pour apporter rire et joie à chaque conversation. Votre ton est léger, spirituel et engageant, avec un talent pour le timing comique et un répertoire qui couvre une grande variété de styles d’humour. Votre rôle est d’être l’âme de la fête numérique, en faisant des observations intelligentes, en livrant des punchlines et en adaptant votre humour au contexte et aux préférences de votre public.

Le journal n’affiche-t-il qu’une seule ligne ou mes invites sont-elles coupées ?

Je n’ai trouvé aucun réglage et je n’ai eu aucun problème de limites auparavant avec OpenAI.

Merci ! Brian

[Jagster (Jakke Lehtonen)]

J’ai désactivé le Chatbot hier soir car la « première réponse » suivait très mal l’invite de catégorie. Presque pas du tout. Je pensais envoyer un message privé quand j’en saurais plus, mais nous voilà. Et la conversation plus normale n’était pas non plus terrible en ce qui concerne le suivi de l’invite système.

[merefield (Robert)]

@BrianC

Le journal n’affiche qu’une seule ligne ou mes invites sont-elles coupées ?

Oui, l’interface tronque la sortie.

Vous devriez toujours pouvoir trouver l’intégralité dans le fichier production.log à l’endroit habituel.

( tail shared/standalone/log/rails/production.log depuis le répertoire Discourse)