Uma IA pode ser útil ao analisar e processar tópicos longos.
Aqui está o meu modelo de procedimento atual para usar os dados de um tópico no contexto de um modelo de linguagem de IA:
- Baixar todas as postagens de discussão de um tópico.
- Extração dos dados relevantes.
- Carregar os dados relevantes para um modelo de linguagem de IA.
- Consultas relacionadas a dados para o modelo de linguagem de IA.
Download de todas as contribuições de discussão para um tópico:
- Isso é possível através do programa CLI ‘discourse-reader’.
- Necessário:
- Solicitação única de uma chave de API de usuário.
- Autorização da chave de API nas configurações de usuário (do fórum).
Solicitação única de uma chave de API de usuário:
- Isso é possível através do programa CLI ‘discourse-user-api-key’.
- O fluxo de trabalho exato é descrito na ajuda do programa.
O download de um tópico resulta em um arquivo JSON complexo:
{
"meta_data": ...,
"post_data": [ ... ]
}
Exemplo:
# baixar tópico do fórum
discourse-reader -forum="meta.discourse.org" -topic=210780 -output="210780.json" -userapikey="107dc02b7fad3bc217b6f0c121fdc805"
Extração dos dados relevantes:
- Isso é possível através do programa CLI ‘jq’.
- Alterações nos dados JSON também são possíveis.
Exemplo:
# filtrar dados desnecessários
# metadados
jq '.meta_data | {title, created_by:.details.created_by.username, created_at, id, posts_count, last_posted_at}' 210780.json > 210780.compact.json
# dados de postagem
jq '.post_data[] | .post_stream.posts[] | {post_number, username, created_at, reply_to_post_number, post:.cooked, reactions, accepted_answer}' 210780.json >> 210780.compact.json
Carregar os dados relevantes para um modelo de linguagem de IA.
Consultas relacionadas a dados para o modelo de linguagem de IA.
- Um programa CLI simples será desenvolvido em breve para esse fim.
- Inicialmente, a interface do navegador de um modelo de linguagem de IA pode ser usada.
Os programas mencionados podem ser encontrados no GitHub.
E aqui está um exemplo de uso para o tópico 210780 deste fórum:
https://meta.discourse.org/t/matrix-protocol-for-chat/210780/
IA - Google Gemini 2.0 (exp)
Prompt para Gemini:
Crie uma lista com o número de postagens por usuário.
Crie um breve resumo da discussão.
Qual é o resultado da discussão?
Quais são os próximos passos?
Resposta do Gemini:
Postagens por Usuário:
- mattdm: 4
- david: 1
- sam: 4
- AquaL1te: 2
- seong: 1
- Stephen: 1
- satonotdead: 1
- user12: 1
- attj: 1
- Falco: 3
- halfshot: 2
- merefield: 2
- anarcat: 1
- dan: 1
- rokejulianlockhart: 3
- volanar: 4
- mcdanlj: 1
- jimkleiber: 2
- sunjam: 6
- dubwoc: 1
- davy: 2
- Lhc_fl: 1
- Thomas_Rother: 12
- thoka: 2
- mcwumbly: 4
- joshsimmons: 2
- hellekin: 5
- kOS: 1
Resumo da Discussão:
A discussão gira em torno da ideia de integrar o protocolo Matrix com o chat do Discourse. A sugestão inicial é tornar as salas de chat do Discourse salas Matrix, o que seria mais integrado do que uma ponte. Os participantes veem o apelo disso, com muitos expressando forte apoio ao Matrix como um padrão aberto e federado. No entanto, surgem preocupações sobre os usuários terem menos probabilidade de se engajar na “zona lenta” (tópicos) se usarem clientes Matrix não-Discourse. Outros apontam que ter chat e fóruns em plataformas diferentes também é uma barreira. A discussão também aborda o potencial de federar instâncias do Discourse via Matrix, bem como o uso do ActivityPub.
O desenvolvimento de um plugin de ponte Matrix para o chat do Discourse é notado, e suas capacidades são delineadas. No entanto, a falta de criptografia de ponta a ponta no chat do Discourse também é discutida. As complexidades de mapeamento de usuários, proxies e o esforço geral necessário são destacados como desafios significativos. Há consenso sobre os benefícios da interoperabilidade entre o chat do Discourse e o Matrix, especialmente dada a crescente adoção do Matrix por grandes organizações.
Resultado da Discussão:
Embora haja muito entusiasmo e apoio à ideia de uma integração Matrix com o chat do Discourse, a discussão destaca desafios significativos, incluindo:
- Gerenciamento de usuários: Mapear usuários entre os dois sistemas é complexo.
- Dificuldades técnicas: Implementar uma ponte robusta é uma tarefa substancial e pode exigir um conjunto de habilidades específico.
- Restrições de recursos: A CDCK não priorizou isso, devido a recursos limitados e ainda não viu um caso de negócios convincente.
- Desafios de financiamento: A oportunidade de buscar financiamento do Fundo Soberano Alemão já passou.
O código da ponte existente é visto como um bom ponto de partida, mas é considerado em estágio alfa, não bem documentado e requer mais desenvolvimento. Não há um compromisso claro da CDCK em priorizar essa integração, a menos que financiamento externo seja garantido ou os clientes priorizem a solicitação e patrocinem o desenvolvimento. A discussão conclui sem um caminho claro a seguir ou compromisso com a implementação.
Próximos Passos:
- Encontrar um Desenvolvedor Qualificado: A maior barreira é a necessidade de um desenvolvedor com experiência em Matrix e Discourse.
- Patrocínio do Cliente: Um caso de negócios para justificar o desenvolvimento não foi feito; um cliente pode precisar patrocinar o esforço.
- Engajamento com a Matrix Foundation: Engajar mais com a Matrix Foundation para obter assistência, orientação técnica e potenciais oportunidades de financiamento.
- Avaliação do código existente: Revisar o código existente para avaliar o desenvolvimento necessário para um status beta e se essa é uma abordagem sustentável.
- Iniciativa Comunitária: Explorar a possibilidade da comunidade desenvolver um plugin de terceiros.
- Crowdfunding: Avaliar o potencial de crowdfunding.
- Discussão OFFDEM: Discutir mais oportunidades de financiamento na próxima OFFDEM.