Настройка работы Discourse AI с Ollama локально

Поддержка
5

Круто. Есть где-то руководство, которому мы можем следовать, чтобы реализовать это?

Меня больше интересуют суммаризация и другие функции, чем чат-бот.

ETA: Эта конфигурация не работает:

На изображении показан экран конфигурации для модели ИИ под названием "olllama", размещенной OpenAI, с заполненными полями для ID модели, провайдера, URL и API-ключа, а также опциями для токенизации подсказок и включения визуализации. (Подпись сгенерирована ИИ)
На изображении показан экран конфигурации для модели ИИ под названием "olllama", размещенной OpenAI, с заполненными полями для ID модели, провайдера, URL и API-ключа, а также опциями для токенизации подсказок и включения визуализации. (Подпись сгенерирована ИИ)482×1114 56.2 KB

(Здесь я скрыл IP-адрес моего хоста).

Что происходит: при нажатии кнопки “Run Test” я получаю ошибку Internal Server Error.

В /logs я вижу:

NameError (undefined local variable or method `tokenizer' for an instance of DiscourseAi::Completions::Dialects::ChatGpt)
app/controllers/application_controller.rb:427:in `block in with_resolved_locale'
app/controllers/application_controller.rb:427:in `with_resolved_locale'
lib/middleware/omniauth_bypass_middleware.rb:35:in `call'
lib/content_security_policy/middleware.rb:12:in `call'
lib/middleware/anonymous_cache.rb:409:in `call'
lib/middleware/csp_script_nonce_injector.rb:12:in `call'
config/initializers/008-rack-cors.rb:14:in `call'
config/initializers/100-quiet_logger.rb:20:in `call'
config/initializers/100-silence_logger.rb:29:in `call'
lib/middleware/enforce_hostname.rb:24:in `call'
lib/middleware/processing_request.rb:12:in `call'
lib/middleware/request_tracker.rb:385:in `call'

Это происходит независимо от выбранного токенизатора. Я тестирую это на версии 3.5.0beta1-dev (c1ee4e120e).