Nous avons de nombreux sujets qui dépassent les longueurs de contexte typiques (disons 128k) et de mauvaises choses se produisent. Avez-vous envisagé de résumer en vous basant uniquement sur les publications les plus appréciées ? Commencez par la publication la plus appréciée, ajoutez la suivante la plus appréciée, et continuez jusqu’à ce que la longueur de contexte cible soit atteinte, puis passez le texte résultant au GPT ? Pour notre forum au moins, les « likes » sont un très bon indicateur de « la plus pertinente ».
C’est ainsi que cela fonctionne sur les longs sujets, nous utilisons les 50 publications les plus appréciées du sujet.
1 « J'aime »
Hmm, la résumé semble bloquer sur de longs sujets, j’ai donc supposé que c’était lié à la longueur du contenu. Avez-vous des conseils pour déboguer cela ? J’utilise gpt-o4. Je ne vois aucun moyen de visualiser les requêtes API spécifiques sur mon tableau de bord OpenAI.
Vous pouvez voir les requêtes dans la table ai_api_audit_logs.
Concernant le blocage en cours de résumé, nous avons récemment eu des bugs côté client à ce sujet, veuillez donc mettre à jour votre site vers la dernière version.
2 « J'aime »
J’ai trouvé ceci dans les journaux d’erreurs :
Request too large for gpt-4o in organization org-xxxxxxxxxxxxxxxxx on tokens per min (TPM): Limit 30000, Requested 45906.
Pour augmenter mes limites, je crois que je dois réellement dépenser 50 $ (pas seulement le budgétiser) et attendre environ un mois plus 7 jours :
Jusqu’à présent, je n’ai dépensé que 2,00 $ et aucun paiement n’est encore dû. Je ne vois pas non plus comment limiter les jetons dans Discourse. Je ne vois donc pas comment utiliser la résumé pour les longs sujets à ce stade.
Ohhh, le problème est donc que vous avez un compte OpenAI restreint qui vous limite en tokens par minute, ce qui affecte l’utilisation de la résumé IA sur Discourse.
C’est vraiment dommage. Je vous suggérerais de regarder du côté des fournisseurs alternatifs, comme Anthropic, AWS, Azure, Google Cloud ou même les fournisseurs d’API Llama. Je pense qu’il existe des fournisseurs avec un niveau gratuit qui vous donneront une limite plus élevée que celle-ci.
2 « J'aime »
J’ai remplacé 4o par 4o-mini pour la résumé, et cela semble fonctionner sur mes sujets les plus longs. Apparemment, OpenAI a des limites différentes pour les différents GPT.
2 « J'aime »