У нас есть много тем, которые превышают типичную длину контекста (скажем, 128k), и тогда возникают проблемы. Вы рассматривали возможность создания резюме на основе только самых популярных постов? Начните с самого популярного поста, добавьте следующий по популярности и продолжайте, пока не будет достигнута целевая длина контекста, а затем передайте полученный текст GPT? По крайней мере, для нашего форума «лайки» являются очень хорошим индикатором «наибольшей релевантности».
Именно так это работает в длинных темах: мы используем 50 самых понравившихся постов в теме.
Хм, кажется, что суммирование зависает на длинных темах, поэтому я предположил, что это связано с длиной контента. Есть какие-то советы по отладке этого? Я использую gpt-o4. Я не вижу способа просмотреть конкретные API-запросы в своей панели управления OpenAI.
Вы можете просмотреть запросы в таблице ai_api_audit_logs.
Что касается зависания в процессе суммирования, то недавно у нас были проблемы с фронтендом в этой области, поэтому, пожалуйста, обновите свой сайт до последней версии.
Я нашел это в журналах ошибок:
Запрос слишком велик для gpt-4o в организации org-xxxxxxxxxxxxxxxxx по количеству токенов в минуту (TPM): лимит 30000, запрошено 45906.
Чтобы увеличить свои лимиты, я полагаю, мне нужно фактически потратить 50 долларов (а не просто заложить их в бюджет) и подождать примерно месяц плюс 7 дней:
На данный момент я потратил только 2,00 доллара, и платеж еще не требуется. Также я не вижу, как ограничить количество токенов в Discourse. Поэтому пока я не понимаю, как использовать суммаризацию для длинных тем.
Ох, значит, проблема в том, что у вас ограниченный аккаунт OpenAI, который накладывает лимит на токенов в минуту, что влияет на использование AI-суммаризации в Discourse.
Это очень обидно. Я бы посмотрел в сторону альтернативных провайдеров, таких как Anthropic, AWS, Azure, Google Cloud или даже провайдеров API Llama. Насколько я знаю, есть провайдеры с бесплатным тарифом, которые предлагают более высокий лимит, чем у вас.
Я перешёл с использования 4o на 4o-mini для суммаризации, и это, похоже, работает для моих самых длинных тем. Похоже, у OpenAI разные лимиты для разных GPT.