Faire fonctionner Discourse AI avec Ollama localement

Soutien
5

Cool. Existe-t-il un guide que nous pouvons suivre sur la façon de l’implémenter ?

Je suis plus intéressé par la résumé et d’autres fonctions que par le chatbot.

ETA : Cette configuration ne fonctionne pas :

L'image montre un écran de configuration pour un modèle d'IA nommé « olllama » hébergé par OpenAI, avec des champs remplis pour l'ID du modèle, le fournisseur, l'URL et la clé API, ainsi que des options pour la tokenisation des invites et l'activation de la visualisation. (Légendé par l'IA)
L'image montre un écran de configuration pour un modèle d'IA nommé « olllama » hébergé par OpenAI, avec des champs remplis pour l'ID du modèle, le fournisseur, l'URL et la clé API, ainsi que des options pour la tokenisation des invites et l'activation de la visualisation. (Légendé par l'IA)482×1114 56.2 KB

(J’ai masqué l’adresse IP de mon hôte ici).

Ce qui se passe, c’est que j’obtiens une erreur de serveur interne lorsque je clique sur « Run Test ».

Sur /logs, je vois :

NameError (variable ou méthode locale non définie `tokenizer' pour une instance de DiscourseAi::Completions::Dialects::ChatGpt)
app/controllers/application_controller.rb:427:in `block in with_resolved_locale'
app/controllers/application_controller.rb:427:in `with_resolved_locale'
lib/middleware/omniauth_bypass_middleware.rb:35:in `call'
lib/middleware/csp_script_nonce_injector.rb:12:in `call'
lib/middleware/anonymous_cache.rb:409:in `call'
lib/middleware/csp_script_nonce_injector.rb:12:in `call'
config/initializers/008-rack-cors.rb:14:in `call'
config/initializers/100-quiet_logger.rb:20:in `call'
config/initializers/100-silence_logger.rb:29:in `call'
lib/middleware/enforce_hostname.rb:24:in `call'
lib/middleware/processing_request.rb:12:in `call'
lib/middleware/request_tracker.rb:385:in `call'

Cela se produit quel que soit le tokenizer que je sélectionne. Je teste ceci sur 3.5.0beta1-dev (c1ee4e120e).

1 « J'aime »