Discourse Chatbot 🤖

[exlabs (Daniel)]

@merefield Merci !

Comment diable avez-vous débogué cela si rapidement ?

Je vais supprimer Zendesk… simple

[merefield (Robert)]

Expérience amère

[exlabs (Daniel)]

Bonjour à tous,

J’ai maintenant un compte OpenAI. Dois-je créer un « Assistant » ? Je me demande juste s’il y a des étapes à suivre pour intégrer l’IA au plugin ?

Cordialement,

[merefield (Robert)]

Non, tout ce dont vous avez besoin est un jeton. Vous devrez peut-être créditer votre compte auprès d’OpenAI pour accéder aux modèles plus avancés et à des limites de débit plus élevées.

Toutes les choses relatives à l’API sont gérées par le plugin.

(Au fait, fait amusant - Chatbot ne prend pas explicitement en charge l’API Assistants car il implémente son propre système de conversation et de « pensée intérieure » sur mesure utilisant uniquement l’API Chat Completions et l’API Embeddings. C’est génial car l’API Assistants a la réputation d’être dépensière en jetons et de vous coûter beaucoup d’argent - Chatbot est conçu pour être économe !)

[exlabs (Daniel)]

Wow, ça fait beaucoup plus que ce que je pensais.

Pourriez-vous m’expliquer ce qu’est un token dans le monde de ChatGPT ? Je paie actuellement pour ChatGPT Premium, cela coûte 20 USD/mois. Mon objectif était de permettre à nos utilisateurs de Discourse d’accéder à l’IA que j’ai entraînée, sur chatgpt.com.

J’espère que cela a du sens et que le cas d’utilisation est clair !

[Jagster (Jakke Lehtonen)]

C’est comme de l’argent. Vous pouvez considérer les jetons comme des mots ou des parties de mots. Lorsque vous posez une question, cela coûte X jetons. Lorsque OpenAI traite votre question, cela utilise plus de jetons. Et enfin, lorsque votre réponse est créée, cela coûte un certain nombre de jetons.

Selon le modèle utilisé et la conversation, vous devez payer pour cette utilisation de jetons, parfois plus, parfois moins.

[Jagster (Jakke Lehtonen)]

La capacité d’utiliser o1 a beaucoup changé mon utilisation de l’IA (et merci… pas à Dieu, mais aux compétences de codage de Robert, je peux limiter son utilisation uniquement pour moi). Mais la série o1 n’utilise pas d’invite système, j’ai donc dû ajouter des instructions, comme la façon d’afficher les mathématiques, etc., dans mon invite.

Ce serait plus facile si nous avions un texte standard à ajouter automatiquement après l’invite réelle, alias le post. Discourse a, en quelque sorte, cette capacité, mais soit je ne peux pas l’utiliser, soit j’essaie de l’utiliser mal. Il devrait apparaître dans chaque catégorie et message privé lorsque le Chatbot est mentionné ou fait partie d’un message privé. Et seulement lorsque o1 ou o1-mini est utilisé

La série o1 n’est pas encore prête, elle pourrait donc changer à un moment donné dans la façon dont elle peut utiliser les outils, etc. Donc, de cette façon, je ne demande pas une nouvelle fonctionnalité, mais je discute peut-être des options. Et la série o1 ne sera jamais une solution de masse, elle est trop spécialisée (et chère), donc la demande où un utilisateur doit juste se souvenir d’ajouter ces règles supplémentaires peut être justifiée.

Hors sujet, mais les modèles GPT ont appris les mathématiques lors de la publication de o1.

[merefield (Robert)]

Oui, nous ne pouvons pas trop nous concentrer sur la personnalisation pour compenser les incohérences d’OpenAI.

Je soupçonne fortement que des outils et même des fonctionnalités de prompt système seront disponibles lorsque o1 sortira de la préversion.

Je ne suis pas convaincu que Chatbot soit l’endroit idéal pour implémenter un système de « snippets », bien que je me souvienne que l’un des membres de l’équipe l’ait créé, laissez-moi le trouver et mettre à jour le post…

[merefield (Robert)]

Voici :\n\nInsertable, centrally maintained text/markdown snippets - #2 by Johani

[exlabs (Daniel)]

Merci @Jagster pour ces informations très claires. Je pense que je voulais dire autre chose, peut-être ? J’essaie d’intégrer ce plugin avec OpenAI en utilisant ceci,

. J’essaie juste d’obtenir des informations de base sur la façon de connecter les choses.

[Jagster (Jakke Lehtonen)]

Il s’agit simplement d’une clé d’API que vous générerez pour obtenir l’accès. Rien de plus, votre mot de passe, pourrait-on dire.

[merefield (Robert)]

Ah, je comprends maintenant la confusion.

Oui, il y a un token (ou une clé API, que vous devez obtenir d’OpenAI) et il y a des tokens textuels qui représentent des parties de mots. Ces derniers sont traités par le LLM. Le premier sert à vous authentifier auprès de l’API.

Voici un guide assez bon sur la terminologie de The Verge :

AI is confusing — here’s your cheat sheet

[Amicable]

Je fais tourner Llama localement et je suis très proche d’y parvenir sur une instance Discourse locale. Le chatbot discute :lunettes de soleil: mais j’ai du mal à obtenir l’intégration. J’ai mon utilisateur de référence au niveau de confiance 1. La tâche Rake rake chatbot:refresh_embeddings[1] échoue avec un problème d’authentification.

Faraday::UnauthorizedError: le serveur a répondu avec le statut 401 (Faraday::UnauthorizedError)

Dans le champ du jeton OpenAI du chatbot, j’ai collé l’URL que Llama m’a donnée

Auriez-vous des suggestions sur la manière dont je devrais m’authentifier correctement ?

[merefield (Robert)]

Super que vous ayez essayé !

@Amicable

Le chatbot discute :lunettes de soleil: mais j’ai du mal à obtenir l’intégration.

Content qu’il discute :sourire:
Je ne sais pas s’il est possible d’utiliser le Chatbot avec des intégrations localement.

J’accepterais une bonne PR pour ajouter le support.

J’ai trouvé ceci :

Embedding models · Ollama Blog

Donc, cela pourrait être possible avec le bon modèle et le code et les paramètres supplémentaires pertinents dans Chatbot. Vous auriez probablement besoin d’un paramètre de modèle d’intégration personnalisé qui n’existe pas encore.

Il y a déjà ceci cependant :

chatbot open ai embeddings model custom url

qui a été principalement implémenté pour aider à supporter Azure mais peut être réutilisé de la même manière que les Chat Completions peuvent pointer vers le service ollama local.

J’apprécie que cela limite actuellement l’utilité du bot localement.

@Amicable

Auriez-vous des suggestions sur la façon dont je devrais m’authentifier correctement ?

C’est le jeton envoyé au point de terminaison. C’est simplement un champ de texte. Je doute fort qu’une URL ici fonctionne. Il existe des paramètres d’URL personnalisés pour les points de terminaison de chat completions plus bas :

par exemple chatbot open ai model custom url high trust

Si vous créez une fork et apportez les ajouts pertinents qui sont en ligne avec ce qui existe déjà, exploitez ce qui est déjà disponible, mais ajoutez le minimum nécessaire pour obtenir le support des intégrations locales avec ollama, tout en conservant le comportement existant avec Open AI et Azure, j’examinerais certainement une PR en vue de la fusion.

[Amicable]

@merefield

J’ai trouvé ceci :

Embedding models · Ollama Blog

Il pourrait donc être possible avec le bon modèle et le code et les paramètres supplémentaires appropriés dans Chatbot.

Prochainement
D’autres fonctionnalités seront bientôt disponibles pour prendre en charge les flux de travail impliquant des embeddings :
…
Compatibilité avec l’API OpenAI : prise en charge du point de terminaison compatible OpenAI /v1/embeddings

Étant donné que prochainement est généralement très rapide dans ce domaine en évolution rapide, est-ce quelque chose qui vaut la peine d’attendre pour résoudre mon cas d’utilisation ?

Notre instance est une mine d’informations remontant à 20 ans, mais les fuites sont également une préoccupation majeure, d’où le souhait de tests locaux.

[Amicable]

Je pense avoir trouvé une PR Ollama qui semble résoudre la compatibilité des points de terminaison de l’API. Je dois mieux comprendre cela, mais suis-je sur la bonne voie ?

[merefield (Robert)]

bien, actuellement, il n’y a pas de paramètre pour un modèle d’intégration personnalisé, c’est donc un obstacle majeur.

lors de l’exécution en local, vous pourriez essayer en codant en dur le modèle sur celui que vous avez téléchargé pour ollama.

en y réfléchissant davantage, l’autre problème que vous rencontrerez est que la définition de la table d’intégration a des dimensions définies selon la norme du petit modèle open AI, ce qui est ÉNORME… peut-être pourriez-vous réfléchir à la manière de surmonter cela…

[merefield (Robert)]

Chatbot 1.2. introduit la collecte de champs utilisateur alimentée par l’IA comme fonctionnalité expérimentale.

Si un utilisateur a des champs utilisateur facultatifs actuellement vides, l’activation de ce paramètre amènera le bot à commencer à demander à l’utilisateur les informations. Il progressera à travers les champs utilisateur en suspens jusqu’à ce qu’ils soient complétés, puis reviendra au comportement normal.

(Désolé pour la lenteur de la réponse - ceci a été enregistré en développement)

NB Cette fonctionnalité ne prend en charge que :

• Texte
• Listes déroulantes
• Confirmations

La sélection multiple n’est pas encore prise en charge.

Les champs doivent être facultatifs.

L’ordre des champs utilisateur détermine la priorité.

[merefield (Robert)]

Chatbot 1.3 est sorti

• NOUVEAUTÉ : ajout d’une option pour gérer les quotas par jeton
  • Le nouveau paramètre chatbot_quota_basis vous permet d’activer cette option, sinon elle reste basée sur le nombre de requêtes.
  • La seule différence par défaut est que le quota décompte à partir du quota maximum de départ (qui est toujours basé sur les mêmes paramètres de niveau de confiance).
• NOUVEAUTÉ : inclusion du coût des appels API comme DALL-E dans la consommation utilisateur
  • Basé uniquement sur les jetons
  • Divers nouveaux paramètres pour ajuster le coût en jetons des fonctionnalités de l’API
• NOUVEAUTÉ : ajout d’une fonction permettant à l’utilisateur de vérifier son quota restant

FEATURE: add option to manage quotas by token

Chatbot a toujours permis d’appliquer un quota d’utilisation.

Aujourd’hui, cela devient plus sophistiqué !

Chatbot peut désormais suivre et appliquer un quota d’utilisation par jeton.

Vous pouvez tarifer les appels aux API pour décourager leur surutilisation, afin que vous puissiez vous inquiéter moins de donner accès aux gens à la génération d’images, par exemple.

Le suivi des jetons est une option. Si vous passez au suivi par jeton, assurez-vous d’augmenter le quota de chaque niveau de confiance, car les valeurs devront être plusieurs ordres de grandeur supérieures. Expérimentez.

Cependant, le suivi par requête a légèrement changé. Il sera désormais réinitialisé à votre nombre maximum de requêtes autorisées et comptera à rebours jusqu’à zéro.

Vous pourriez envisager d’exécuter le travail de réinitialisation globale des quotas une fois de manière unique pour vous assurer que tout le monde commence avec un quota complet. C’est une opération unique !

Dans Sidekiq, à /sidekiq/scheduler :

Appuyez sur le bouton déclencheur.

Dans les deux cas, les utilisateurs peuvent désormais demander quel quota il leur reste :

NB : problème connu : si cette question est posée pour la première fois avant que le travail de réinitialisation n’ait été exécuté, la réponse peut être un peu étrange ! Indépendamment de l’exécution du travail de réinitialisation, la deuxième fois que cette question est posée, elle devrait fonctionner correctement.

[Epoch]

Salut Robert,

J’apprécie tout le travail que tu as investi dans le bot, cependant, je rencontre l’erreur suivante dans les journaux lorsque j’essaie de l’invoquer dans le chat.

Des idées sans désinstaller/réinstaller ?