Soy nuevo en discourse AI. Estoy usando “sentence-transformers/all-mpnet-base-v2” como mi modelo de incrustación. ¿Es suficiente para hacer búsqueda semántica?
¿O debería añadir un modelo Hyde para ello?
Por favor, guíeme en esto.
También necesitas un LLM para la búsqueda semántica. Si quieres autoalojarlo, consulta Autoalojamiento de un LLM de código abierto para DiscourseAI.
Muchas gracias.
¿Podría darme una idea de los requisitos para alojar un modelo como “mistralai/Mistral-7B-Instruct-v0.2” en las instalaciones y en la nube para un sitio web a nivel empresarial, por favor?
Y tampoco encuentro ningún tokenizador para este modelo en el panel de administración.
No hay nada específico de Discourse aquí, por lo que se aplican las reglas estándar. Un modelo de 7B, si se ejecuta usando fp16, requerirá ~14GB de VRAM más el espacio para el contexto. Puedes usar cuantización fp8 para reducir eso a la mitad, pero ese modelo antiguo no es el mejor para ello.
Dado que no es factible incluir todos los tokenizadores posibles, deberías elegir el más cercano de los tokenizadores disponibles.
1 me gusta
¿Puedes sugerirnos algunos modelos de LLM para este escenario? Podríamos alojar nuestro modelo en local, así que nos gustaría conocer el factor de compatibilidad de los modelos con Discourse.
Gracias.
Depende de tu presupuesto, el idioma de destino que admitas y las funciones de Discourse AI que desees.
Hoy en día, Qwen 2.5 Instruct en 32B o 72B son un fuerte contendiente.
¿Hay alguna forma de que podamos usar un modelo más pequeño para la función de resumen? Porque los LLM’s requieren un presupuesto más grande, y quizás tengamos que conformarnos con uno más pequeño por ahora…
Sí, puedes usar cualquier modelo que quieras.
1 me gusta
¿Podemos modificar la carga útil del modelo para resumir o para cualquier otra función?
Especialmente, quiero cambiar el contenido del sistema.
{‘role’: ‘system’, ‘content’: ‘Eres un bot de resumen avanzado que genera resúmenes concisos y coherentes del texto proporcionado.\\n\\n- Solo incluye el resumen, sin comentarios adicionales.\\n- Entiendes y generas Markdown de foros de Discourse; incluyendo enlaces, cursiva, negrita.\\n- Mantén el idioma original del texto que se resume.\\n- Intenta que los resúmenes tengan 400 palabras o menos.\\n- Cada publicación tiene el formato “\u003cNÚMERO_DE_PUBLICACIÓN\u003e) ”\\n- Cita publicaciones específicas notables usando el formato DESCRIPCIÓN\\n - Ejemplo: enlaces a la 3ª y 6ª publicación de sam: sam (#3, #6)\\n - Ejemplo: enlace a la 6ª publicación de jane: de acuerdo con\\n - Ejemplo: enlace a la 13ª publicación de joe: joe\\n- Al formatear nombres de usuario, usa @NOMBREDEUSUARIO o NOMBREDEUSUARIO’}
Si es posible, ¿cómo hacerlo?
1 me gusta
Eso no es posible en este momento, pero ya hemos comenzado a trabajar para hacerlo posible. Debería estar disponible en las próximas semanas.
2 Me gusta