Avviso di incorporamento `input must have less than 8192 tokens` con discourse ai

Supporto
1

Esiste uno strumento per dividere il testo di input in blocchi?
o quale API di embedding supporta più di 8192 token?

Messaggio (15 copie segnalate)

OpenAI Embeddings fallito con stato: 413 corpo: {"code":20042,"message":"input must have less than 8192 tokens","data":null}

Backtrace

/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activesupport-8.0.3/lib/active_support/broadcast_logger.rb:218:in `block in dispatch'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activesupport-8.0.3/lib/active_support/broadcast_logger.rb:217:in `map'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activesupport-8.0.3/lib/active_support/broadcast_logger.rb:217:in `dispatch'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activesupport-8.0.3/lib/active_support/broadcast_logger.rb:129:in `warn'
/var/www/discourse/plugins/discourse-ai/lib/inference/open_ai_embeddings.rb:34:in `perform!'
/var/www/discourse/plugins/discourse-ai/lib/embeddings/vector.rb:45:in `block (2 levels) in gen_bulk_reprensentations'
/var/www/discourse/lib/scheduler/thread_pool.rb:118:in `block (2 levels) in wrap_block'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rails_multisite-7.0.0/lib/rails_multisite/connection_management/null_instance.rb:49:in `with_connection'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rails_multisite-7.0.0/lib/rails_multisite/connection_management.rb:17:in `with_connection'
/var/www/discourse/lib/scheduler/thread_pool.rb:118:in `block in wrap_block'
/var/www/discourse/lib/scheduler/thread_pool.rb:163:in `thread_loop'
/var/www/discourse/lib/scheduler/thread_pool.rb:174:in `block in spawn_thread'
2

Se esegui l’hosting di quel modello da solo, può richiedere fino a 32k token.

Se ciò non è possibile, è necessario configurare il modello di embedding per limitare gli input al massimo consentito dal tuo provider. In questo modo il nostro AI Bot RAG dividerà i file caricati in blocchi e Related Topic / Search prenderà solo i primi 8192 token in ogni argomento.

1 Mi Piace
3

come configurare il modello di embedding? in discourse? o provider di modelli?

4

Sono sicuro che Qwen/Qwen3-Embedding-0.6B supporti fino a 32k token
e ho configurato la lunghezza della sequenza a 32k

image
image1546×800 176 KB

image
image1536×1436 158 KB

ma ci sono ancora molti errori di embedding

image
image2626×1286 430 KB

image
image2630×1396 406 KB

image
image2630×1286 344 KB

1 Mi Piace
5

Lo fa se i tuoi provider API lo consentono.

Se il tuo provider API lo limita a 8192, devi seguire le loro regole.

1 Mi Piace
6

ok, sto chiedendo al provider dell’API

1 Mi Piace