Скорее всего, это вопрос от новичка, но я хочу узнать, может ли объем информации в конфигурации персонажа повлиять на стоимость использования LLM, таких как Claude или OpenAI?
Я имею в виду, если я загружу много текстовых и PDF-файлов, приведет ли это к значительному увеличению количества токенов запроса, так что каждый запрос с использованием этого персонажа будет дороже, чем запрос с персонажем, у которого нет множества файлов (или который ищет меньше тем на форуме)?
Увеличение стоимости контролируется следующими двумя настройками в Persona:
При использовании персоны с файлами будут использоваться дополнительные токены по формуле:
$
Upload\ chunk\ tokens * Search\ conversation\ chunks
$
Вы можете настроить эти параметры, чтобы контролировать соотношение стоимости и качества.
Спасибо большое. У кого-нибудь есть опыт работы с этими значениями? Я понятия не имею.
PDF-файл на 30 страниц, вероятно, содержит около 7500 слов. Это можно примерно экстраполировать до 20000 токенов.
Если исходить из этого, что будет означать установка параметра Upload chunk tokens со значением, например, 2000? Будет ли система «читать и учитывать только 10% PDF-файла» при формировании ответа?
Оставляйте значения по умолчанию, если у вас нет веской причины их изменить. Настройки по умолчанию в Discourse подходят для большинства случаев использования.