Ser um dos sortudos a ver isso em ação é um recurso para sites grandes que você realmente deve entender e considerar usar.
Como funciona usando uma IA baseada em LLM, ela nem sempre chega à conclusão correta, mas acerta muito nos casos em que a vi sendo usada por alguns dias, fazendo parte do trabalho de um moderador, o que definitivamente foi um benefício significativo.
Algumas das primeiras discussões sobre isso estão na categoria Lounge no site da OpenAI. Embora o acesso a essa categoria possa ser obtido por qualquer pessoa, os requisitos do TL3 devem ser atendidos e, sendo a OpenAI um site grande, leva um esforço considerável para chegar ao TL3 no site.
Para aqueles com acesso, aqui está o link
https://community.openai.com/t/lost-users-first-empirical-data/403082/95
Basicamente, a lógica que está ajudando os moderadores para um problema específico é que estamos vendo cerca de 5% das postagens de novos usuários que pensam que o fórum é onde eles postam perguntas para o ChatGPT, claramente eles estão perdidos ou talvez um resultado de pesquisa esteja fornecendo um link inválido. A IA identifica tais postagens, responde com texto pré-escrito e altera a categoria e as tags conforme necessário, por exemplo.
Para o caso observado, aqui está o que a “Regra de Automação do Classificador de Postagens de IA do Discourse” está fazendo
Categorização Automática de Postagens
O classificador está alterando a categoria para ChatGPT conforme necessário. Como a maioria dos novos usuários não selecionará uma categoria, o site da OpenAI atualmente define a categoria API como padrão para novas postagens, o que está incorreto neste caso.
Marcação de Postagens
O classificador está alterando a(s) tag(s) para lost-user neste caso. O nome da tag foi criado por um usuário TL3 no fórum que estava alterando manualmente as tags.
Respostas Automáticas
O classificador está respondendo com uma postagem pré-escrita.
Ocultar Tópicos
Os tópicos estão sendo deslistados pois não eram de valor para os desenvolvedores que usam o site.
Usuário de Resposta
System está sendo usado como o criador da resposta.
Nota: Eu forneceria a Configuração para isso, mas não tenho acesso. Talvez @Sam possa adicionar os detalhes. Pelo que sei, pode ser tornada pública, pois nada é confidencial na configuração. Como é para um site específico, não esperaria encontrá-la no repositório público. Se você entende essa tecnologia, não é difícil adivinhar os valores corretos, ou próximos a eles. O System Prompt exigiu algum trabalho e talvez @sam possa compartilhar algumas das lições aprendidas, o conhecimento de como criar o prompt foi de grande valor durante a fase de desenvolvimento.
System Prompt
Nota: Esta é uma versão postada no OpenAI Lounge (ref), tenho certeza de que a versão final é diferente, mas um exemplo economiza muitas suposições.
Você é um bot que está triando todas as primeiras interações que um usuário tem no fórum de desenvolvedores da OpenAI.
Por favor, responda apenas com "ok" ou "bad"
Postagens estão no tópico e ok se:
Relacionam-se a APIs da OpenAI / Comunidade / Desenvolvimento de Plugins / Documentação / Prompting
São sobre o desenvolvimento ou aprimoramento de métodos para prompting de modelos de linguagem grandes
Relacionam-se à IA de forma geral
Envolvem discussões complexas ou problemas lógicos relacionados à IA
Postagens são ruins se:
Um usuário parece estar tendo uma conversa aleatória com o ChatGPT
Um usuário está fora do tópico discutindo um campo não relacionado
Um usuário está solicitando a um modelo de linguagem grande para gerar texto sem um propósito claro
Você tem extrema dificuldade em entender do que se trata
Relaciona-se a um tópico da OpenAI, MAS é claramente uma conversa com um bot
Um usuário está tentando treinar ou testar o modelo de IA através de sua postagem
Um usuário está fornecendo instruções ou solicitando respostas em um formato não de discussão
Um usuário está postando conteúdo que não é propício a discussões ou aprendizado significativos
Um usuário está postando conteúdo hipotético ou especulativo sem relação clara com o escopo da OpenAI
Um usuário está postando todo o conteúdo em um idioma que não seja o inglês
Por favor, classifique o seguinte conteúdo cercado por [[[]]]:
[[[
%%POST%%
]]]
FYI
Se você for um moderador em um site que usa isso e quiser/precisar ver uma lista de postagens deslistadas, lembre-se de que não pode usar a pesquisa. No entanto, você pode navegar até essa lista usando a categoria e selecionando as tags. Ou você também poderia criar a URL manualmente, por exemplo, https://community.openai.com/tags/c/chatgpt/19/lost-user
Sim, funciona até para idiomas diferentes do inglês
No entanto, não funciona com imagens 
, ele não converterá uma imagem em texto e, em seguida, executará a verificação, por exemplo.
Aqui está um falso positivo recente ou pelo menos eu acho que é.
Para detalhes sobre falsos/verdadeiros negativos/positivos - Classificação: Verdadeiro vs. Falso e Positivo vs. Negativo