Avertissement d'intégration `input must have less than 8192 tokens` avec discourse ai

Soutien
1

Existe-t-il un outil pour diviser le texte d’entrée en morceaux ?
ou quelle API d’intégration prend en charge plus de 8192 jetons ?

Message (15 copies signalées)

OpenAI Embeddings a échoué avec le statut : 413 corps : {"code":20042,"message":"l'entrée doit avoir moins de 8192 jetons","data":null}

Trace

/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activesupport-8.0.3/lib/active_support/broadcast_logger.rb:218:in `block in dispatch'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activesupport-8.0.3/lib/active_support/broadcast_logger.rb:217:in `map'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activesupport-8.0.3/lib/active_support/broadcast_logger.rb:217:in `dispatch'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activesupport-8.0.3/lib/active_support/broadcast_logger.rb:129:in `warn'
/var/www/discourse/plugins/discourse-ai/lib/inference/open_ai_embeddings.rb:34:in `perform!'
/var/www/discourse/plugins/discourse-ai/lib/embeddings/vector.rb:45:in `block (2 levels) in gen_bulk_reprensentations'
/var/www/discourse/lib/scheduler/thread_pool.rb:118:in `block (2 levels) in wrap_block'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rails_multisite-7.0.0/lib/rails_multisite/connection_management/null_instance.rb:49:in `with_connection'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rails_multisite-7.0.0/lib/rails_multisite/connection_management.rb:17:in `with_connection'
/var/www/discourse/lib/scheduler/thread_pool.rb:118:in `block in wrap_block'
/var/www/discourse/lib/scheduler/thread_pool.rb:163:in `thread_loop'
/var/www/discourse/lib/scheduler/thread_pool.rb:174:in `block in spawn_thread'
2

Si vous auto-hébergez ce même modèle, cela peut prendre jusqu’à 32k tokens.

Si cela est hors de portée, vous devez configurer le modèle d’embeddings pour limiter les entrées au maximum autorisé par votre fournisseur. De cette façon, notre bot IA RAG divisera les fichiers téléchargés en morceaux, et Related Topic / Search ne prendra que les 8192 premiers tokens de chaque sujet.

1 « J'aime »
3

comment configurer le modèle d’intégration ? dans discourse ? ou le fournisseur de modèles ?

4

je suis sûr que Qwen/Qwen3-Embedding-0.6B prend en charge jusqu’à 32k tokens
et j’ai configuré une longueur de séquence de 32k

image
image1546×800 176 KB

image
image1536×1436 158 KB

mais il y a toujours beaucoup d’erreurs d’embedding

image
image2626×1286 430 KB

image
image2630×1396 406 KB

image
image2630×1286 344 KB

1 « J'aime »
5

C’est le cas si vos fournisseurs d’API le permettent.

Si votre fournisseur d’API le limite à 8192, vous devez suivre ses règles.

1 « J'aime »
6

ok, je demande au fournisseur de l’API

1 « J'aime »