Far funzionare Discourse AI con Ollama localmente

Supporto
5

Fantastico. Esiste una guida che possiamo seguire su come implementarlo?

Sono più interessato alla sintesi e ad altre funzioni che al chatbot.

ETA: Questa configurazione non funziona:

L'immagine mostra una schermata di configurazione per un modello AI chiamato "olllama" ospitato da OpenAI, con campi compilati per ID modello, provider, URL e chiave API, nonché opzioni per la tokenizzazione dei prompt e l'abilitazione della visualizzazione. (Didascalia dell'IA)
L'immagine mostra una schermata di configurazione per un modello AI chiamato "olllama" ospitato da OpenAI, con campi compilati per ID modello, provider, URL e chiave API, nonché opzioni per la tokenizzazione dei prompt e l'abilitazione della visualizzazione. (Didascalia dell'IA)482×1114 56.2 KB

(Ho oscurato l’indirizzo IP del mio host qui).

Quello che succede è che ricevo un Internal Server Error quando clicco su “Run Test”.

Su /logs, vedo:

NameError (variabile locale o metodo `tokenizer' non definito per un'istanza di DiscourseAi::Completions::Dialects::ChatGpt)
app/controllers/application_controller.rb:427:in `block in with_resolved_locale'
app/controllers/application_controller.rb:427:in `with_resolved_locale'
lib/middleware/omniauth_bypass_middleware.rb:35:in `call'
lib/middleware/csp_script_nonce_injector.rb:12:in `call'
lib/middleware/anonymous_cache.rb:409:in `call'
lib/middleware/csp_script_nonce_injector.rb:12:in `call'
config/initializers/008-rack-cors.rb:14:in `call'
config/initializers/100-quiet_logger.rb:20:in `call'
config/initializers/100-silence_logger.rb:29:in `call'
lib/middleware/enforce_hostname.rb:24:in `call'
lib/middleware/processing_request.rb:12:in `call'
lib/middleware/request_tracker.rb:385:in `call'

Questo accade indipendentemente dal tokenizer che seleziono. Sto testando questo su 3.5.0beta1-dev (c1ee4e120e).

1 Mi Piace