Temos muitos tópicos que excedem os comprimentos de contexto típicos (digamos, 128 mil) e coisas ruins acontecem. Você considerou resumir com base apenas nas postagens mais curtidas? Comece com a postagem mais curtida, adicione a próxima mais curtida e continue até que o comprimento de contexto alvo seja atingido, em seguida, passe o texto resultante para o GPT? Pelo menos para o nosso fórum, “curtidas” são um bom indicador de “mais relevante”.
É assim que funciona em tópicos longos, usamos as 50 postagens mais curtidas no tópico.
1 curtida
Hmm, o resumo parece travar em tópicos longos, então assumi que estava relacionado ao comprimento do conteúdo. Alguma dica para depurar isso? Estou usando gpt-o4. Não vejo como visualizar solicitações de API específicas no meu painel da OpenAI.
Você pode ver as solicitações na tabela ai_api_audit_logs.
Em relação à interrupção durante a sumarização, tivemos alguns bugs no front-end recentemente, então, por favor, atualize seu site para a versão mais recente.
2 curtidas
Encontrei isto nos logs de erro:
Request too large for gpt-4o in organization org-xxxxxxxxxxxxxxxxx on tokens per min (TPM): Limit 30000, Requested 45906.
Para aumentar meus limites, acredito que tenho que gastar US$ 50 (não apenas orçar) e esperar cerca de um mês mais 7 dias:
Até agora, gastei apenas US$ 2,00 e nenhum pagamento venceu ainda. Também não vejo como limitar os tokens no Discourse. Portanto, não vejo como usar a sumarização para tópicos longos neste momento.
Ahhh, então o problema é que você tem uma conta OpenAI restrita que limita seus tokens por minuto, o que afeta o uso da IA para sumarização no Discourse.
Que chato. Eu daria uma olhada em provedores alternativos, como Anthropic, AWS, Azure, Google Cloud ou até mesmo provedores da API Llama. Acredito que existam provedores com um nível gratuito que lhe darão um limite maior do que esse.
2 curtidas
Mudei de 4o para 4o-mini para sumarização, e isso parece funcionar nos meus tópicos mais longos. Aparentemente, a OpenAI tem limites diferentes para os diferentes GPTs.
2 curtidas