¡Lo he conseguido! ¡Muchas gracias!
2 Me gusta
¡Genial!
Pero, ajá, Ro-Bot mintió (esta es una limitación de los LLM).
Ro-Bot no podría saber esto a menos que lo agregues a la indicación del sistema, pero cada consulta te costará cuota (hasta que te quedes sin cuota).
2 Me gusta
¡Bueno saberlo! LOL. Debería añadir eso en caso de que alguien pregunte. 
1 me gusta
Hola a todos,
@merefield ¡Muchas gracias por el increíble plugin y por todo tu arduo trabajo! Realmente aprecio tus contribuciones.
Estoy buscando orientación sobre cómo usar mejor los embeddings y los prompts. Actualmente tengo OpenAI funcionando bien con gpt4o-mini, así que espero que funcione igual de bien con los embeddings. Mi plan es inventar un término y algo de información de fondo, y luego preguntar a la IA al respecto para ver si devuelve el término inventado.
Una cosa que no tengo del todo clara: cuando configuras una categoría para indexar, ¿se incluye todo el tema en el prompt si se encuentra una coincidencia relevante, o solo la parte específica del texto utilizada para crear el embedding? Estoy tratando de decidir si es mejor tener temas más pequeños y enfocados o más largos y detallados, especialmente porque el uso eficiente de tokens es importante.
Otra área que estoy explorando es la relación entre las diferentes entradas del prompt. He estado probando la configuración chatbot.prompt.system.basic.open y el texto oculto que puedes proporcionar al bot para moldear sus respuestas. Sé que funcionan juntos de alguna manera, pero no estoy del todo seguro de cómo. Por ejemplo, si incluyo instrucciones como “Eres alguien, por favor haz A, B, C” en el prompt del sistema, parece menos efectivo que incluirlas en el prompt de texto oculto. Estoy tratando de comprender mejor estos conceptos y determinar el mejor enfoque.
¡Gracias de antemano por cualquier información que puedan compartir!
Hey Brian,
Los títulos de los temas se incrustan y las publicaciones se incrustan por separado.
Una consulta puede coincidir con cualquiera de los dos y devolver las publicaciones relevantes.
Una vez que uses embeddings, querrás cambiar a los prompts del sistema del bot RAG.
Quieres chatbot.prompt.system.rag.open (para respuestas públicas) y chatbot.prompt.system.rag.private para respuestas privadas en PM y DM. Esa distinción se introdujo originalmente para que puedas hacer algo un poco diferente cuando usas un bot de soporte 1 a 1 (si así lo deseas, pero puedes mantenerlos idénticos).
¿Por texto oculto te refieres a los prompts adicionales específicos de la categoría?
Principalmente lo uso para dar la bienvenida a la gente cuando publican en mi categoría de introducción. Pero estoy seguro de que puede tener usos creativos más allá de eso.
Esto se hace de manera un poco diferente. Se publica como un prompt de usuario oculto, en lugar de parte de los bots, por ejemplo:
¡Dame una cálida bienvenida al foro, por favor! Dime que todo el mundo es muy amable aquí y está deseando ayudar. ¡Anímame a leer el Tema de Bienvenida si aún no lo he hecho aquí: LINK y las directrices de publicación aquí: LINK!
Como resultado, es mejor escribirlo en primera persona.
Gracias Robert, a veces las cosas sencillas. Incluso después de leer que se debe usar el prompt .rag, seguí usando el basic.open.
Todavía estoy tratando de entender qué se envía a OpenAI como prompt para Rag. ¿Es toda la incrustación? Entonces, si creo un tema que es bastante largo, ¿se enviará todo el prompt largo como prompt? En otras palabras, ¿es más barato en cuanto a tokens crear 2 temas cortos que sean más precisos que un tema con toda la información? Todavía estoy tratando de encontrar el enfoque más sensato para ser eficiente.
Si cambia la configuración de registro y desvía la información a advertir (estas configuraciones son las últimas en la configuración del complemento), puede leer cada llamada a la API en /logs
Recuerde cambiarlas de nuevo si no desea contaminar los registros.
Hola, Robert.
Cada vez que inicio sesión en el chatbot, dice: “Hola, ¿en qué puedo ayudarte hoy con HappyBooks?”. Me gustaría que el chat solo respondiera cuando le escribo.
¿Cómo puedo hacer eso?
1 me gusta
Hola Willie
Si usas el botón de Inicio rápido, siempre hablará primero a menos que desactives esta configuración:
1 me gusta
Y ese es un error de ortografía AÚLLA (que arreglaré) 
2 Me gusta
¿Cómo hago para que el chatbot solo responda preguntas sobre el sitio y no preguntas como 5 + 5 = ?
Usando un prompt del sistema donde niegas rotundamente responder a tales preguntas, con ejemplos.
Pero buena suerte con eso. No sé qué tan bien otros LLM se adhieren a tales reglas, pero los modelos de OpenAI pueden seguirlas o no. Incluso si lo hacen como se pretende aquí, ahora y para ti, la situación probablemente será completamente opuesta en otras publicaciones, mañana y para otros usuarios.
2 Me gusta
Un enfoque alternativo es simplemente administrar el acceso con el sistema de cuotas proporcionado. Si los usuarios quieren sumar 5 y 5 en un mensaje privado, depende de ellos, pero consumen su cuota al hacerlo.
En cualquier caso, no creo que eso consuma muchos tokens
En público, todavía depende de los moderadores revisar el contenido emergente en el sitio, como con cualquier publicación nueva.
En mis propios sitios, le encargo regularmente a mi bot que haga todo tipo de cosas que quizás no sean centrales para el tema principal de los sitios 
(aunque sea en privado y dentro de mi cuota).
1 me gusta
5+5=10
Eso sucedió automáticamente en iOS (y es realmente molesto a veces).
Si eso lo contara el chatbot de OpenAI, prácticamente no costaría nada.
2 Me gusta
Oye @merefield, ¿está configurado para funcionar con Perplexity por casualidad, ya que también utiliza el modelo GPT?
Si puedes encontrar un proxy, quizás. Pero sin todas esas tonterías, solo OpenAI.
Soy solo un desarrollador solitario, así que tuve que mantener el alcance sensato.
1 me gusta
Claro, lo intentaré y te mantendré informado al respecto.
Hola @merefield, noté que la IA no estaba siguiendo bien la indicación. Parece que se está truncando en los registros.
La indicación completa que guardé en la indicación del sistema se encuentra a continuación. Esta se seleccionó solo como una indicación de prueba.
Indicación de Persona de Chatbot Comediante. Eres un chatbot comediante, un animador virtual diseñado para brindar risas y alegría a cada conversación. Tu tono es alegre, ingenioso y atractivo, con un don para el tiempo cómico y un repertorio que abarca una amplia variedad de estilos de humor. Tu papel es ser el alma de la fiesta digital, haciendo observaciones inteligentes, entregando remates y adaptando tu humor al contexto y las preferencias de tu audiencia.
¿El registro solo muestra 1 línea o mis indicaciones se están cortando?
No encontré ninguna configuración y no he tenido problemas con los límites previamente con OpenAI.
¡Gracias! Brian
Desactivé el Chatbot anoche porque la “primera respuesta” siguió muy mal la indicación de la categoría. Casi nada. Estaba pensando en enviar un mensaje privado cuando sepa algo más robusto, pero aquí estamos. Y la conversación más normal tampoco fue muy buena en cuanto a seguir la indicación del sistema.
Sí, la interfaz trunca la salida.
Aún deberías poder encontrar la versión completa en el archivo production.log en el lugar habitual.
(ejecuta tail shared/standalone/log/rails/production.log desde el directorio de Discourse)
1 me gusta