tpetrov
(Toni Petrov)
12.Сентябрь.2024 10:53:13
1
Когда я устанавливаю «Макс. количество постов в контексте»
на определённое число, то при достижении этого количества постов в переписке в ЛС бот просто перестаёт отвечать.
Это ожидаемое поведение данной настройки? Если да, то почему не уведомить пользователя о достижении порога, а просто прекратить ответы?
Jagster
(Jakke Flemming)
12.Сентябрь.2024 11:03:04
2
Так не работает. Он «запоминает» множество ответов и использует их для сохранения контекста, а затем как основу для новых ответов.
Скорее всего, вы используете слишком много токенов или что-то подобное, и из-за этого он просто перестает выполнять ваш запрос.
Думаю, в логах ошибок должно быть что-то об этом.
tpetrov
(Toni Petrov)
13.Сентябрь.2024 11:16:53
3
Да, я тоже так подумал, прочитав описание.
Но до вчерашнего дня, если я достигал лимита постов, всё просто зависало.
Сегодня, когда я попробовал, всё работает как ожидалось — зависаний нет, и количество постов остаётся в указанном лимите. Похоже, проблема исправлена
sam
(Sam Saffron)
13.Сентябрь.2024 23:21:37
4
Странная проблема, но да, это просто устанавливает размер контекста.
Интересно, не скрывается ли здесь какая-то ошибка при обновлении.
Также я хочу добавить стратегию «суммаризация», которая позволит работать с огромными контекстами при небольшом количестве токенов (для каждых N токенов выполнять суммаризацию для извлечения ключевой информации).