Abbiamo molti argomenti che superano le lunghezze di contesto tipiche (diciamo 128k) e accadono cose brutte. Hai considerato di riassumere basandoti solo sui post più apprezzati? Inizia con il post più apprezzato, aggiungi il successivo più apprezzato e continua fino a raggiungere la lunghezza di contesto desiderata, quindi passa il testo risultante al GPT? Almeno per il nostro forum, i “mi piace” sono un ottimo proxy per “il più rilevante”.
È così che funziona su argomenti lunghi, usiamo i primi 50 post più apprezzati nell’argomento.
1 Mi Piace
Hmm, la sintesi sembra bloccarsi su argomenti lunghi, quindi ho ipotizzato che fosse correlato alla lunghezza del contenuto. Hai qualche suggerimento per il debug? Sto usando gpt-o4. Non vedo un modo per visualizzare richieste API specifiche nella mia dashboard OpenAI.
Puoi vedere le richieste nella tabella ai_api_audit_logs.
Per quanto riguarda il blocco a metà riassunto, abbiamo avuto di recente alcuni bug nel front end, quindi aggiorna il tuo sito all’ultima versione.
2 Mi Piace
Ho trovato questo nei log degli errori:
Request too large for gpt-4o in organization org-xxxxxxxxxxxxxxxxx on tokens per min (TPM): Limit 30000, Requested 45906.
Per aumentare i miei limiti, credo di dover effettivamente spendere $50 (non solo metterli a budget) e aspettare circa un mese più 7 giorni:
Finora ho speso solo $2.00 e non è ancora dovuto alcun pagamento. Inoltre, non vedo come limitare i token in Discourse. Quindi, al momento, non vedo come utilizzare la sintesi per argomenti lunghi.
Ohhh quindi il problema è che hai un account OpenAI con restrizioni che ti limita sui token al minuto, il che influisce sull’utilizzo della sintesi AI su Discourse.
È un vero peccato. Ti suggerirei di valutare fornitori alternativi, come Anthropic, AWS, Azure, Google Cloud o anche fornitori di API Llama. Credo ci siano fornitori con un livello gratuito che ti daranno un limite più alto di questo.
2 Mi Piace
Sono passato dall’uso di 4o a 4o-mini per la sintesi, e questo sembra funzionare sui miei argomenti più lunghi. Apparentemente OpenAI ha limiti diversi per i diversi GPT.
2 Mi Piace