GPT 3.5 turbo по-прежнему не работает для периодических отчетов по ИИ

Внести вклад Ошибка
1

Всем привет, я обновил свой плагин, но GPT 3.5 turbo всё ещё не работает

Сообщение (3 копии)

Ошибка при запуске отчёта LLM! : DiscourseAi::Completions::Llm::UNKNOWN_MODEL : DiscourseAi::Completions::Llm::UNKNOWN_MODEL

Трассировка стека

/var/www/discourse/plugins/discourse-ai/lib/completions/dialects/dialect.rb:27:in `dialect_for'
/var/www/discourse/plugins/discourse-ai/lib/completions/llm.rb:64:in `proxy'
/var/www/discourse/plugins/discourse-ai/lib/automation/report_runner.rb:67:in `initialize'
/var/www/discourse/plugins/discourse-ai/lib/automation/report_runner.rb:33:in `new'
/var/www/discourse/plugins/discourse-ai/lib/automation/report_runner.rb:33:in `run!'
/var/www/discourse/plugins/discourse-ai/discourse_automation/llm_report.rb:75:in `block (2 levels) in <main>'
/var/www/discourse/plugins/discourse-automation/app/models/discourse_automation/automation.rb:135:in `trigger!'
/var/www/discourse/plugins/discourse-automation/app/jobs/regular/discourse_automation_trigger.rb:13:in `execute'
/var/www/discourse/app/jobs/base.rb:297:in `block (2 levels) in perform'
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/rails_multisite-5.0.0/lib/rails_multisite/connection_management.rb:82:in `with_connection'
1 лайк
2

Привет @whitewaterdeu :wave: — похоже, ваш скрипт автоматизации всё ещё использует неверное имя модели (gpt-3-5-turbo). Не могли бы вы обновить имя модели в настройках скрипта на gpt-3.5-turbo?

3

спасибо :kissing_heart:, я переключился на gpt-3.5-turbo, и это сработало, но появилась другая ошибка

кажется, мне нужно уменьшить количество токенов, отправляемых в OpenAI, но я не знаю, как это сделать

Message

DiscourseAi::Completions::Endpoints::OpenAi: status: 400 - body: {
  "error": {
    "message": "Максимальная длина контекста этой модели составляет 4097 токенов. Однако ваши сообщения содержат 5605 токенов. Пожалуйста, уменьшите длину сообщений.",
    "type": "invalid_request_error",
    "param": "messages",
    "code": "context_length_exceeded"
  }
}


Backtrace

/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/base.rb:91:in `block (2 levels) in perform_completion!'
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/net-http-0.4.1/lib/net/http.rb:2353:in `block in transport_request'
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/net-http-0.4.1/lib/net/http/response.rb:320:in `reading_body'
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/net-http-0.4.1/lib/net/http.rb:2352:in `transport_request'
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/net-http-0.4.1/lib/net/http.rb:2306:in `request'
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/rack-mini-profiler-3.3.0/lib/patches/net_patches.rb:19:in `block in request_with_mini_profiler'
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/rack-mini-profiler-3.3.0/lib/mini_profiler/profiling_methods.rb:50:in `step'
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/rack-mini-profiler-3.3.0/lib/patches/net_patches.rb:18:in `request_with_mini_profiler'
/var/www/discourse/plugins/discourse-ai/lib/completions/endpoints/base.rb:89:in `block in perform_completion!'
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/net-http-0.4.1/lib/net/http.rb:1570:in `start'
4

Вы не можете этого сделать. Мы должны автоматически обрезать содержимое, чтобы оно помещалось в контекстное окно. Это, должно быть, ошибка в нашем коде.

Пока мы разбираемся с этой проблемой, вы можете переключиться на gpt-4, у которого контекстное окно в два раза больше.

3 лайка
6

Закрыто как устаревшее: GPT-3.5 больше не следует использовать, подавляющее большинство моделей теперь поставляются с очень большим контекстным окном.