Experimentando os novos modelos de IA

Olá :waving_hand:

Criei este tópico para compartilhar experiências com os novos modelos de IA usados no Discourse.

Configurei o grok-2-1212 há alguns dias para resumos de tópicos. Funciona muito bem. A detecção de idioma e a qualidade são boas o suficiente. Tentei também com um bot de IA, mas na maioria das vezes falhou, acho que ele ainda não consegue lidar bem com as ferramentas.

Também experimentei o Gemini Flash 2 para o bot de IA. Ele funciona rápido e adiciona ótimas respostas, no entanto, às vezes parece que ele não consegue lidar bem com as ferramentas e quebra a resposta. Às vezes é um problema simples de formatação de markdowns, às vezes ele não consegue pesquisar. Na maioria das vezes, meu fórum diz que não encontrou nada no fórum, mas eu sei que há mais tópicos sobre esse assunto…

4 curtidas

Para o problema de busca, você acha que pode estar relacionado ao fato de a IA não indexar totalmente o conteúdo do fórum ou pode haver uma incompatibilidade na compreensão da consulta?

2 curtidas

Não tenho ideia. Na maioria das vezes, ele procura por nada “” ou falha com tempo limite… mas às vezes faz a pesquisa corretamente e vincula os tópicos corretos. Seria bom, eu acho, mas ainda é fortemente experimental.

1 curtida

Você já tentou as ferramentas xml? Descobri que no grok elas funcionam muito bem

3 curtidas

Obrigado, eu tentei agora. Sim, parece melhor, o problema está acontecendo principalmente agora quando crio uma nova conversa. Começa em inglês algo como: Estou procurando… em nome do site… e para de responder. Às vezes, continua a resposta após a frase em inglês Estou procurando… no idioma húngaro correto e adiciona uma boa resposta. No entanto, se eu responder à resposta do grok depois disso na conversa, funcionará muito bem.

2 curtidas

Isso é muito interessante, eu gostaria de permitir exemplos de “grounding” como uma opção para personas, isso poderia resolver totalmente isso.

2 curtidas

Bingo! Mas você acha que isso vai diminuir a velocidade, especialmente com muitos dados? Isso pode afetar os tempos de resposta para consultas de IA ou resultados de pesquisa, ou está tudo bem?

1 curtida

O grande problema dos exemplos é a “contaminação”

O modelo aprende a forma, mas também pode pensar erroneamente que um usuário disse algo que não disse.

Idealmente, elaborar cuidadosamente mensagens do sistema pode resolver o problema, essa seria minha primeira opção.

Exemplos em uma mensagem do sistema podem levar a menos vazamento, pois pode ficar mais claro para um modelo que é apenas um exemplo.

Uma coisa mínima que eu recomendaria, Don, é escrever sua mensagem do sistema em húngaro, isso pode ajudar.

Talvez até tentar dar um ou dois exemplos de ferramentas XML na mensagem do sistema?

4 curtidas

Isso soa muito bem, obrigado por compartilhar : )

Eu tentei, mas o mesmo resultado com grok-2-1212, então mudei para grok-beta e funcionou perfeitamente, mas também funciona com a mensagem do sistema em inglês…

4 curtidas