如果您自行托管相同的模型,最多可容纳 32k 个 token。
如果这不可行,那么您需要配置嵌入模型,将输入限制在您的提供商允许的最大值内。这样,我们的 AI Bot RAG 将把上传的文件分割成块,而“相关主题/搜索”将只取每个主题的前 8192 个 token。
如果您自行托管相同的模型,最多可容纳 32k 个 token。
如果这不可行,那么您需要配置嵌入模型,将输入限制在您的提供商允许的最大值内。这样,我们的 AI Bot RAG 将把上传的文件分割成块,而“相关主题/搜索”将只取每个主题的前 8192 个 token。