Probando los nuevos modelos de IA

Hola :waving_hand:

Creo este tema para compartir experiencias con los nuevos modelos de IA que se utilizan en Discourse.

Hace unos días configuré grok-2-1212 para resúmenes de temas. Funciona muy bien. La detección del idioma y la calidad son suficientes. También lo probé con un bot de IA, pero la mayoría de las veces falló, supongo que aún no puede manejar bien las herramientas.

También probé Gemini Flash 2 para el bot de IA. Funciona rápido y da buenas respuestas, sin embargo, a veces parece que no puede manejar bien las herramientas y arruina la respuesta. A veces es un simple problema de formato de markdown, a veces no puede buscar. En mi foro, la mayoría de las veces dice que no encontró nada en el foro, pero sé que hay más temas sobre ese tema…

4 Me gusta

En cuanto al problema de búsqueda, ¿crees que podría estar relacionado con que la IA no indexa completamente el contenido del foro o podría haber una falta de coincidencia en la comprensión de la consulta?

2 Me gusta

No tengo ni idea. La mayor parte del tiempo busca nada “” o falla con tiempo de espera agotado… pero a veces realiza la búsqueda correctamente y enlaza los temas correctos. Creo que sería bueno, pero todavía es muy experimental.

1 me gusta

¿Has probado las herramientas xml? En grok me funcionan bastante bien.

3 Me gusta

Gracias, lo he probado ahora. Sí, parece mejor, el problema ocurre principalmente ahora cuando creo una nueva conversación. Empieza en inglés algo como: I am searching for…in sitename… y deja de responder. A veces continúa la respuesta después de la frase en inglés I am searching… en el idioma húngaro correcto y añade una buena respuesta. Sin embargo, si respondo a la respuesta de grok después de eso en la conversación, funcionará perfectamente.

2 Me gusta

Esto es realmente interesante, me gustaría permitir ejemplos de “grounding” como una opción para los personas, podría resolver esto por completo.

2 Me gusta

¡Bingo! Pero, ¿crees que ralentizará las cosas, especialmente con muchos datos? ¿Podría afectar los tiempos de respuesta de las consultas de IA o los resultados de búsqueda, o todo está bien?

1 me gusta

El gran problema de los ejemplos es la “contaminación”

El modelo aprende la forma, pero también puede pensar erróneamente que un usuario dijo algo que no dijo.

Idealmente, elaborar cuidadosamente los mensajes del sistema puede hacer el truco, esa sería mi primera opción.

Los ejemplos en un mensaje del sistema pueden provocar menos fugas, ya que puede ser más claro para un modelo que es solo un ejemplo.

Algo mínimo que te recomendaría, Don, es escribir tu mensaje del sistema en húngaro, podría ayudar.

¿Quizás incluso intentar dar uno o dos ejemplos de herramientas XML en el mensaje del sistema?

4 Me gusta

Esto suena realmente bien, gracias por compartir : )

Lo intenté pero obtuve el mismo resultado con grok-2-1212, luego lo cambié a grok-beta y funciona perfecto, pero también funciona con el mensaje del sistema en inglés…

4 Me gusta