AI:embeddings:backfill - OpenAIのExcessive Tokensによる400エラーへの対応

piffy · 2024 年 1 月 21 日午前 2:37

OpenAI の埋め込みを使用して、この Rake タスクを実行しようとしています。

エラーメッセージが表示されます

[:/var/www/discourse# rake ai:embeddings:backfill --trace
** Invoke ai:embeddings:backfill (first_time)
** Invoke environment (first_time)
** Execute environment
** Execute ai:embeddings:backfill
.rake aborted!
Net::HTTPBadResponse: Net::HTTPBadResponse (Net::HTTPBadResponse)
/var/www/discourse/plugins/discourse-ai/lib/inference/open_ai_embeddings.rb:27:in `perform!’
/var/www/discourse/plugins/discourse-ai/lib/embeddings/vector_representations/text_embedding_ada_002.rb:36:in `vector_from’
/var/www/discourse/plugins/discourse-ai/lib/embeddings/vector_representations/base.rb:144:in `generate_representation_from’
/var/www/discourse/plugins/discourse-ai/lib/tasks/modules/embeddings/database.rake:19:in `block (2 levels) in ’
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/activerecord-7.0.8/lib/active_record/relation/batches.rb:71:in `each’
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/activerecord-7.0.8/lib/active_record/relation/batches.rb:71:in `block in find_each’
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/activerecord-7.0.8/lib/active_record/relation/batches.rb:138:in `block in find_in_batches’
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/activerecord-7.0.8/lib/active_record/relation/batches.rb:245:in `block in in_batches’
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/activerecord-7.0.8/lib/active_record/relation/batches.rb:229:in `loop’
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/activerecord-7.0.8/lib/active_record/relation/batches.rb:229:in `in_batches’
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/activerecord-7.0.8/lib/active_record/relation/batches.rb:137:in `find_in_batches’
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/activerecord-7.0.8/lib/active_record/relation/batches.rb:70:in `find_each’
/var/www/discourse/plugins/discourse-ai/lib/tasks/modules/embeddings/database.rake:17:in `block in ’
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/rake-13.1.0/lib/rake/task.rb:281:in `block in execute’
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/rake-13.1.0/lib/rake/task.rb:281:in `each’
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/rake-13.1.0/lib/rake/task.rb:281:in `execute’
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/rake-13.1.0/lib/rake/task.rb:219:in `block in invoke_with_call_chain’
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/rake-13.1.0/lib/rake/task.rb:199:in `synchronize’
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/rake-13.1.0/lib/rake/task.rb:199:in `invoke_with_call_chain’
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/rake-13.1.0/lib/rake/task.rb:188:in `invoke’
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/rake-13.1.0/lib/rake/application.rb:182:in `invoke_task’
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/rake-13.1.0/lib/rake/application.rb:138:in `block (2 levels) in top_level’
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/rake-13.1.0/lib/rake/application.rb:138:in `each’
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/rake-13.1.0/lib/rake/application.rb:138:in `block in top_level’
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/rake-13.1.0/lib/rake/application.rb:147:in `run_with_threads’
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/rake-13.1.0/lib/rake/application.rb:132:in `top_level’
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/rake-13.1.0/lib/rake/application.rb:83:in `block in run’
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/rake-13.1.0/lib/rake/application.rb:208:in `standard_exception_handling’
/var/www/discourse/vendor/bundle/ruby/3.2.0/gems/rake-13.1.0/lib/rake/application.rb:80:in `run’
bin/rake:13:in `<top (required)>’
/usr/local/lib/ruby/gems/3.2.0/gems/bundler-2.5.3/lib/bundler/cli/exec.rb:58:in `load’
/usr/local/lib/ruby/gems/3.2.0/gems/bundler-2.5.3/lib/bundler/cli/exec.rb:58:in `kernel_load’
/usr/local/lib/ruby/gems/3.2.0/gems/bundler-2.5.3/lib/bundler/cli/exec.rb:23:in `run’
/usr/local/lib/ruby/gems/3.2.0/gems/bundler-2.5.3/lib/bundler/cli.rb:451:in `exec’
/usr/local/lib/ruby/gems/3.2.0/gems/bundler-2.5.3/lib/bundler/vendor/thor/lib/thor/command.rb:28:in `run’
/usr/local/lib/ruby/gems/3.2.0/gems/bundler-2.5.3/lib/bundler/vendor/thor/lib/thor/invocation.rb:127:in `invoke_command’
/usr/local/lib/ruby/gems/3.2.0/gems/bundler-2.5.3/lib/bundler/vendor/thor/lib/thor.rb:527:in `dispatch’
/usr/local/lib/ruby/gems/3.2.0/gems/bundler-2.5.3/lib/bundler/cli.rb:34:in `dispatch’
/usr/local/lib/ruby/gems/3.2.0/gems/bundler-2.5.3/lib/bundler/vendor/thor/lib/thor/base.rb:584:in `start’
/usr/local/lib/ruby/gems/3.2.0/gems/bundler-2.5.3/lib/bundler/cli.rb:28:in `start’
/usr/local/lib/ruby/gems/3.2.0/gems/bundler-2.5.3/exe/bundle:28:in `block in <top (required)>’
/usr/local/lib/ruby/gems/3.2.0/gems/bundler-2.5.3/lib/bundler/friendly_errors.rb:117:in `with_friendly_errors’
/usr/local/lib/ruby/gems/3.2.0/gems/bundler-2.5.3/exe/bundle:20:in `<top (required)>’
/usr/local/bin/bundle:25:in `load’
/usr/local/bin/bundle:25:in `’
Tasks: TOP => ai:embeddings:backfill

読む必要はありません。問題は解決しました。

HTTPBadResponse が次の行からスローされています。

github.com/discourse/discourse-ai

lib/inference/open_ai_embeddings.rb

4b4aedb50


      
                  response =
                    Faraday.post(
                      SiteSetting.ai_openai_embeddings_url,
                      { model: model, input: content }.to_json,
                      headers,
                    )
                  if response.status != 200
                    Rails.logger.warn(
                      "OpenAI Embeddings failed with status: #{response.status} body: #{response.body}",
                    )
                    raise Net::HTTPBadResponse
                  end
          
                  JSON.parse(response.body, symbolize_names: true)
                end
              end
            end
          end

/logs ページには次のように表示されます。

OpenAI Embeddings failed with status: 400 body: {
  "error": {
    "message": "This model's maximum context length is 8192 tokens, however you requested 8506 tokens (8506 in your prompt; 0 for the completion). Please reduce your prompt; or completion length.",
    "type": "invalid_request_error",
    "param": null,
    "code": null
  }
}

基本的に、単語が多すぎるようです。「プロンプト」と「完了」の違いがこの文脈ではわかりません。いずれにしても、これはバックフィルを妨げています。

サイト設定で最大投稿制限を変更しましたが、これは非常に長い投稿が原因である可能性がありますか？この場合でも、投稿コンテンツは切り捨てられるか、またはその投稿はスキップされると予想されますか？いずれにしても、バックフィルプロセス全体がブロックされています。

Falco · 2024 年 1 月 21 日午前 4:52

レポートありがとうございます。月曜日に確認します。

Falco · 2024 年 1 月 23 日午後 6:06

OpenAIトークナイザーを使用して送信前にコンテンツを切り捨てているため、これは予期しないエラーです。

問題のテキストを共有していただけますか？

piffy · 2024 年 1 月 23 日午後 6:26

スタックトレースと400エラーしか見えません。リクエストが何であったかを確認できる場所はありますか？そうでなければ、問題を引き起こしているテキストが何であるか分かりません。

Falco · 2024 年 1 月 23 日午後 6:34

rake タスクを実行しているので、ファイルを編集して、18 行目と 19 行目の間に puts t.id を追加してトピック ID を出力できますか。

github.com/discourse/discourse-ai

lib/tasks/modules/embeddings/database.rake

main


      
          .where("#{topics_table_name}.topic_id IS NULL")
          .where("category_id IN (?)", public_categories)

piffy · 2024 年 1 月 23 日午後 7:16

ご指導ありがとうございます。とんでもないエッジケースを見つけたと思います。

問題はザルゴテキストでした。

つまり、この類のものです。

この「ハローワールド」は、すべてのジャンクが付いた状態で607文字になります。

image776×486 19 KB

そのうちのいくつかが投稿されていたので、削除しました。バックフィルは続行できました。おそらく優先度の高い問題ではありませんが、私のフォーラムにこのような投稿をしているのは私だけではないはずです。

Falco · 2024 年 1 月 23 日午後 7:20

それは興味深いですね。OpenAIのトークナイザーに問題が発生し、カウントが間違っているのだと思います。

sam · 2024 年 1 月 29 日午前 5:32

これは公式のトークナイザーのバグである可能性があります！

私たちのカウントは完全に一致しています！

また…トークンカウントを見ると、ザルゴテキストはほとんど価値がないのにトークン数を膨張させるため、AIにとって非常に強力な攻撃であることがわかります。

@piffy、https://platform.openai.com/tokenizer に正確なテキストを貼り付けて、トークンカウントがAPIの言うことと一致するかどうかを確認していただけますか？OpenAIの再現手順があるかもしれません。

piffy · 2024 年 1 月 29 日午前 5:47

上記は、「編集」をクリックしたときに表示される生の投稿コンテンツです。

より詳しい状況を説明すると、これはトピックが埋め込まれなかった際の不具合であり、トピック全体がどのように埋め込まれるかの実装詳細は不明です。しかし、この投稿を削除したところ、問題が解決したことはお伝えできます。

このスレッドに投稿すると問題が再発する可能性があるため、元のメッセージはチャットでお送りできます。

Falco · 2024 年 3 月 15 日午後 2:15

修正済み

トピック		返信	表示
AI embeddings backfill rake aborted Support ai	4	524	2024 年 1 月 30 日
Embedding of post is not being properly truncated in discourse-ai plugin Bug ai	5	407	2023 年 8 月 20 日
"Net::HTTPBadResponse" errors on Gemini Embeddings Bug ai , related-topics	14	489	2024 年 2 月 29 日
Something bad with embeddings (related topics getting too costly) Bug ai , related-topics	21	191	2025 年 1 月 5 日
Warning of embedding `input must have less than 8192 tokens` with discourse ai Support ai	5	88	2025 年 11 月 3 日

AI:embeddings:backfill - OpenAIのExcessive Tokensによる400エラーへの対応

関連トピック