Estamos usando um prompt simplista no momento (quando OpenAI ou Anthropic são selecionados), mas mudaremos muito em breve, pois estamos trabalhando nisso no momento.
Personalizá-lo é um recurso interessante, podemos adicioná-lo no futuro.
Acabamos de fazer com que ele apareça para postagens com pelo menos uma resposta esta semana.
Adicionamos modelos de contexto grande da OpenAI no dia em que foram lançados. Atualmente, você pode escolher:
GPT 3.5 Turbo com 16k
GPT 4 com 32k
Claude com 100k
Há trabalho em andamento para armazenar em cache os resumos gerados para que possam ser usados em outros lugares, o que desbloqueia recursos como este.
É uma alteração que acabamos de fazer esta semana, então ela será implementada no seu site nos próximos dias.
O que “pipeline” significa aqui?
Como você pode ver aqui no Meta, já fizemos isso. O resumo antigo agora é chamado de “Mostrar principais respostas”. Ainda estamos trabalhando no design e na ordem dos botões.
Usando o Gemini 1.5 Flash, os resumos geralmente contêm links para várias postagens, mas os vários links não são renderizados como links. Não me lembro de ter visto outros modelos tentarem usar vários links.
Links para postagens únicas são renderizados corretamente.
Bem, isso é simplesmente markdown inválido, é por isso que não funciona.
É uma pena que o Gemini Flash não consiga produzir markdown válido, aqui no Meta usamos o Llama 3.1 quantizado para FP8 para resumos, e ele consegue produzir links markdown adequados sem problemas.
Não sei se você consideraria corrigir problemas conhecidos, como verificar as segundas-feiras e esse markdown em particular. Percebo que não é o ideal, mas pode ser melhor do que perder opções de LLM que, de outra forma, seriam boas.
Isso parece muito corrigível, pois podemos melhorar nosso exemplo aqui. No momento, o prompt é:
Você é um bot avançado de sumarização que gera resumos concisos e coerentes do texto fornecido.\n\n- Inclua apenas o resumo, sem comentários adicionais.\n- Você entende e gera Markdown de fórum Discourse; incluindo links, _itálico_, **negrito**.\n- Mantenha o idioma original do texto que está sendo resumido.\n- Procure resumos de 400 palavras ou menos.\n- Cada postagem é formatada como "\u003cNÚMERO_DA_POSTAGEM\u003e \u003cNOME_DO_USUÁRIO\u003e \u003nMENSAGEM\u003e"\n- Cite postagens específicas notáveis usando o formato [NOME](/t/-/31793/NÚMERO_DA_POSTAGEM)\n - Exemplo: link para a 3ª postagem de sam: [sam](/t/-/31793/3)\n - Exemplo: link para a 6ª postagem de jane: [concordou com](/t/-/31793/6)\n - Exemplo: link para a 13ª postagem de joe: [#13](/t/-/31793/13)\n- Ao formatar nomes de usuário, use @NOMEDOUSUÁRIO OU [NOMEDOUSUÁRIO](/t/-/31793/NÚMERO_DA_POSTAGEM)
Isso parece um pouco ambíguo. Podemos fundamentá-lo com algo como isto:
Fundamentalmente, porém, @Roman / @Falco, teremos que remover esses prompts do código-fonte e talvez colocá-los em uma persona para que as comunidades possam ajustá-los e compartilhar o que funciona melhor.
Não me surpreenderia se, a longo prazo, precisarmos de prompts de caso especial para os modelos mais fracos.
Persona funcionaria muito bem aqui se tivéssemos suporte para “exemplos”, o que não parece um grande salto. Ou então, movemos para CompletionPrompt e damos uma interface de usuário para isso.
Gosto da ideia de personalizar o prompt para atender às suas necessidades e aproveitar as capacidades do modelo. Também acho que transformar personas em um conceito mais agnóstico em relação a recursos é uma boa ideia.
Esta é basicamente a ideia das “funções de persona”, “instruções preparadas” que temos discutido este ano. Moveríamos tudo como AI Helper, Resumo, Pesquisa, etc. para usá-los, permitiríamos a criação de personalizados e teríamos uma interface de usuário para associá-los a recursos na interface de usuário.
Torna-se complicado quando atualizamos os semeados para enviar um formato diferente, por exemplo, de XML para JSON, então esperamos que seja algo que possamos considerar construir no próximo ano.
Eu não acompanho completamente os últimos posts. Eu ainda recebo os resumos inválidos. Há algo específico que posso tentar com personas, ou preciso esperar pela refatoração que vocês estão discutindo?
o popup não é largo o suficiente
