Tenemos muchos temas que exceden las longitudes de contexto típicas (digamos 128k) y suceden cosas malas. ¿Has considerado resumir basándote solo en las publicaciones con más “me gusta”? Empieza con la publicación con más “me gusta”, añade la siguiente con más “me gusta” y continúa hasta alcanzar la longitud de contexto deseada, luego pasa el texto resultante a GPT. Al menos para nuestro foro, los “me gusta” son un muy buen indicador de “lo más relevante”.
Así es como funciona en temas largos, usamos las 50 publicaciones más populares del tema.
1 me gusta
Hmm, el resumen parece detenerse en temas largos, así que supuse que estaba relacionado con la longitud del contenido. ¿Algún consejo para depurar esto? Estoy usando gpt-o4. No veo una forma de ver solicitudes de API específicas en mi panel de OpenAI.
Puedes ver las solicitudes en la tabla ai_api_audit_logs.
Con respecto a la interrupción a mitad de la resumen, recientemente tuvimos algunos errores en el front-end en ese aspecto, así que actualiza tu sitio a la última versión.
2 Me gusta
Encontré esto en los registros de errores:
Request too large for gpt-4o in organization org-xxxxxxxxxxxxxxxxx on tokens per min (TPM): Limit 30000, Requested 45906.
Para aumentar mis límites, creo que tengo que gastar $50 (no solo presupuestarlos) y esperar aproximadamente un mes más 7 días:
Hasta ahora solo he gastado $2.00 y aún no hay ningún pago pendiente. Tampoco veo cómo limitar los tokens en Discourse. Así que no veo cómo usar la resumen para temas largos en este momento.
Vaya, así que el problema es que tienes una cuenta de OpenAI restringida que te limita en tokens por minuto, lo que afecta el uso de la IA para resumir en Discourse.
Es una lástima. Te sugiero que busques proveedores alternativos, como Anthropic, AWS, Azure, Google Cloud o incluso proveedores de la API de Llama. Creo que hay proveedores con un nivel gratuito que te darán un límite mayor que ese.
2 Me gusta
Cambié de usar 4o a 4o-mini para resumir, y eso parece funcionar en mis temas más largos. Aparentemente, OpenAI tiene diferentes límites para los diferentes GPT.
2 Me gusta