Warnung vor Einbettung von `input must have less than 8192 tokens` mit Discourse AI

Unterstützung
1

Gibt es ein Tool, um Eingabetexte in Chunks aufzuteilen?
Oder welche Embedding-API unterstützt mehr als 8192 Tokens?

Nachricht (15 Kopien gemeldet)

OpenAI Embeddings fehlgeschlagen mit Status: 413 body: {"code":20042,"message":"input must have less than 8192 tokens","data":null}

Backtrace

/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activesupport-8.0.3/lib/active_support/broadcast_logger.rb:218:in `block in dispatch'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activesupport-8.0.3/lib/active_support/broadcast_logger.rb:217:in `map'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activesupport-8.0.3/lib/active_support/broadcast_logger.rb:217:in `dispatch'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activesupport-8.0.3/lib/active_support/broadcast_logger.rb:129:in `warn'
/var/www/discourse/plugins/discourse-ai/lib/inference/open_ai_embeddings.rb:34:in `perform!'
/var/www/discourse/plugins/discourse-ai/lib/embeddings/vector.rb:45:in `block (2 levels) in gen_bulk_reprensentations'
/var/www/discourse/lib/scheduler/thread_pool.rb:118:in `block (2 levels) in wrap_block'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rails_multisite-7.0.0/lib/rails_multisite/connection_management/null_instance.rb:49:in `with_connection'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rails_multisite-7.0.0/lib/rails_multisite/connection_management.rb:17:in `with_connection'
/var/www/discourse/lib/scheduler/thread_pool.rb:118:in `block in wrap_block'
/var/www/discourse/lib/scheduler/thread_pool.rb:163:in `thread_loop'
/var/www/discourse/lib/scheduler/thread_pool.rb:174:in `block in spawn_thread'
2

Wenn Sie dasselbe Modell selbst hosten, kann es bis zu 32.000 Token aufnehmen.

Wenn das nicht in Frage kommt, müssen Sie das Embeddings-Modell so konfigurieren, dass die Eingaben auf das von Ihrem Anbieter maximal zulässige Limit beschränkt werden. Auf diese Weise teilt unser KI-Bot RAG hochgeladene Dateien in Chunks auf, und Related Topic / Search nimmt nur die ersten 8192 Token in jedem Thema auf.

1 „Gefällt mir“
3

Wie konfiguriere ich das Einbettungsmodell? In Discourse? Oder beim Modell-Anbieter?

4

Ich bin sicher, dass Qwen/Qwen3-Embedding-0.6B bis zu 32.000 Token unterstützt.
und ich habe die Sequenzlänge auf 32.000 eingestellt.

image
image1546×800 176 KB

image
image1536×1436 158 KB

aber es gibt immer noch viele Fehler beim Einbetten.

image
image2626×1286 430 KB

image
image2630×1396 406 KB

image
image2630×1286 344 KB

1 „Gefällt mir“
5

Das tut es, wenn Ihr API-Anbieter dies zulässt.

Wenn Ihr API-Anbieter es auf 8192 begrenzt, müssen Sie sich an deren Regeln halten.

1 „Gefällt mir“
6

ok, ich frage den API-Anbieter

1 „Gefällt mir“