Advertencia al incrustar `input must have less than 8192 tokens` con discourse ai

Si auto-alojas ese mismo modelo, puede ocupar hasta 32 000 tokens.

Si eso está fuera de discusión, entonces necesitas configurar el modelo de embeddings para limitar las entradas al máximo permitido en tu proveedor. De esta manera, nuestro Bot de IA RAG dividirá los archivos cargados en fragmentos, y Related Topic / Search tomará solo los primeros 8192 tokens de cada tema.

1 me gusta