Resumir tópico com cargas de IA indefinidamente, Payload JSON inválido recebido

Bug
1

Olá, recentemente notei que a função Resumo do Tópico no meu fórum aparentemente parou de funcionar completamente, com solicitações para gerar um resumo de tópico ficando pendentes indefinidamente. É notável que as outras ferramentas de IA no site estão funcionando corretamente, como Resumos de Gists e Auxiliar de Composição de IA.

Abaixo está uma imagem da janela de Resumo do Tópico aparentemente travada:

Uma tela preta exibe o texto "Resumo do Tópico", com blocos de espaço reservado abaixo e uma legenda "Resumindo tópico usando IA...". (Legenda por IA)
Uma tela preta exibe o texto "Resumo do Tópico", com blocos de espaço reservado abaixo e uma legenda "Resumindo tópico usando IA...". (Legenda por IA)507×227 7.05 KB

Aqui está uma entrada de log que parece estar relacionada:

Esta imagem mostra a saída de um terminal ou console para gerar URLs de trabalhos usando a API GPT-3.5 da OpenAI, onde os status de solicitação bem-sucedidos são destacados em verde e os erros em vermelho. (Legenda por IA)
Esta imagem mostra a saída de um terminal ou console para gerar URLs de trabalhos usando a API GPT-3.5 da OpenAI, onde os status de solicitação bem-sucedidos são destacados em verde e os erros em vermelho. (Legenda por IA)1919×911 60.4 KB

DiscourseAi::Completions::Endpoints::Gemini: status: 400 - body: {
  "error": {
    "code": 400,
    "message": "Valor inválido em 'generation_config.response_schema.type' (type.googleapis.com/google.ai.generativelanguage.v1beta.Type), \\\"json_schema\\\"\\nCarga útil JSON inválida recebida. Nome desconhecido \\\"json_schema\\\" em 'generation_config.response_schema': Não foi possível encontrar o campo.",
    "status": "INVALID_ARGUMENT",
    "details": [
      {
        "@type": "type.googleapis.com/google.rpc.BadRequest",
        "fieldViolations": [
          {
            "field": "generation_config.response_schema.type",
            "description": "Valor inválido em 'generation_config.response_schema.type' (type.googleapis.com/google.ai.generativelanguage.v1beta.Type), \\\"json_schema\\\""
          },
          {
            "field": "generation_config.response_schema",
            "description": "Carga útil JSON inválida recebida. Nome desconhecido \\\"json_schema\\\" em 'generation_config.response_schema': Não foi possível encontrar o campo."
          }
        ]
      }
    ]
  }
}

Alguém mais já encontrou esse problema ou tem alguma ideia de como resolvê-lo? Agradeço antecipadamente.

3

Qual modelo você está usando?

1 curtida
4

Estou usando o Gemini 2.0 Flash, plano gratuito.

1 curtida
5

Você pode tentar definir o provedor como “OpenAI” e o endpoint como https://generativelanguage.googleapis.com/v1beta/chat/completions?

1 curtida
6

Segui os passos que você deu e posso confirmar que o LLM agora está funcionando como esperado. Obrigado!

1 curtida
7

Muito feliz que foi resolvido, mas ainda acho que há um bug aqui que devemos resolver @Falco / @Roman

As coisas talvez devessem ter um fallback se, por qualquer motivo, um modelo disser que retornará JSON, mas não o fizer. Esta é uma área que devemos avaliar.

1 curtida
8

Ah, com certeza, eu queria ajudar a isolar isso para a API do Google em vez do modelo para que possamos trabalhar em uma correção esta semana.

4 curtidas
10

O erro do Gemini foi corrigido em:

Ele esperava um formato ligeiramente diferente para o esquema JSON. Além disso, agora trataremos a conclusão como texto simples se o modelo não retornar JSON válido quando solicitado.

5 curtidas
11

Este tópico foi fechado automaticamente após 2 dias. Novas respostas não são mais permitidas.