Haciendo que Discourse AI funcione con ollama localmente

Soporte
5

Genial. ¿Hay alguna guía que podamos seguir sobre cómo implementarlo?

Me interesan más la resumen y otras funciones que el chatbot.

ETA: Esta configuración no funciona:

La imagen muestra una pantalla de configuración para un modelo de IA llamado "olllama" alojado por OpenAI, con campos completados para el ID del modelo, el proveedor, la URL y la clave API, así como opciones para tokenizar indicaciones y habilitar la visualización. (Subtitulado por IA)
La imagen muestra una pantalla de configuración para un modelo de IA llamado "olllama" alojado por OpenAI, con campos completados para el ID del modelo, el proveedor, la URL y la clave API, así como opciones para tokenizar indicaciones y habilitar la visualización. (Subtitulado por IA)482×1114 56.2 KB

(Aquí he redactado la dirección IP de mi host).

Lo que sucede es que obtengo un Error Interno del Servidor cuando hago clic en “Ejecutar prueba”.

En /logs, veo:

NameError (variable o método local no definido `tokenizer' para una instancia de DiscourseAi::Completions::Dialects::ChatGpt)
app/controllers/application_controller.rb:427:in `block in with_resolved_locale'
app/controllers/application_controller.rb:427:in `with_resolved_locale'
lib/middleware/omniauth_bypass_middleware.rb:35:in `call'
lib/middleware/csp_script_nonce_injector.rb:12:in `call'
lib/middleware/anonymous_cache.rb:409:in `call'
lib/middleware/csp_script_nonce_injector.rb:12:in `call'
config/initializers/008-rack-cors.rb:14:in `call'
config/initializers/100-quiet_logger.rb:20:in `call'
config/initializers/100-silence_logger.rb:29:in `call'
lib/middleware/enforce_hostname.rb:24:in `call'
lib/middleware/processing_request.rb:12:in `call'
lib/middleware/request_tracker.rb:385:in `call'

Esto sucede independientemente del tokenizador que seleccione. Estoy probando esto en 3.5.0beta1-dev (c1ee4e120e).

1 me gusta