Me pongo en contacto con usted para preguntar sobre la función de contenido relacionado en Discourse. He notado que se basa en IA externa. ¿Por qué se eligió este enfoque en lugar de desarrollar un sistema interno basado en etiquetas o categorías que pudiera ofrecer directamente contenido relevante? He visto una opción para sugerir temas de la misma categoría, pero nada para las etiquetas.
¿Existe un plugin o componente oficial de Discourse que proporcione esta funcionalidad? Me gustaría agradecerle su trabajo diario y la constante innovación que aporta a la plataforma.
Nota: No soy empleado de Discourse ni de OpenAI, sino un moderador de categoría en el foro de OpenAI (creadores de ChatGPT y GPT 4) y he estado utilizando muchas de las funciones de IA de Discourse incluso durante el desarrollo.
Los medios que usted señala son búsquedas sintácticas, esta es una búsqueda semántica y utiliza embeddings en lugar de palabras clave.
Una búsqueda en Google de cómo funciona la búsqueda semántica revela muchos artículos, aquí hay uno que creo que a muchos aquí les gustará
Sobre el uso de recursos externos, ¿puedes ejecutar tu LLM localmente si quieres?:
¿Pero has hecho esto para algún proyecto?
¡Requiere que poseas o alquiles hardware particularmente impresionante!
Prueba los modelos de lenguaje más pequeños (que podrías considerar alojar) tú mismo y mira qué tan impresionado estás:
Tu experiencia puede variar, pero en mi opinión, necesitarías considerar alojar un modelo con al menos 70 mil millones de parámetros, lo que será bastante costoso de autoalojar.
Como referencia, se supone que GPT 3.5 es un modelo de 175 mil millones de parámetros y GPT 4 tiene casi 2 billones (dicen)
Escribí este plugin:
Y tiene una función de etiquetado de IA. En mi experiencia, necesitas GPT 4 Turbo para que funcione bien (¡y funciona muy bien entonces!).
Si tuvieras la intención de autoalojar algo tan potente como esos, necesitarías bolsillos muy profundos.
Es por eso que el uso de una API externa de LLM sigue siendo una opción atractiva de pago por uso, especialmente porque solo pagas por las llamadas que realizas, no por una infraestructura costosa que pasa tiempo inactiva sin usarse.
Por supuesto, si la privacidad es una preocupación importante y suficiente, esto podría cambiar los cálculos.
@EricGT@merefield Gracias por su pronta respuesta y la información proporcionada. Entiendo y valoro la innovación que la IA aporta a la plataforma Discourse. Sin embargo, me preocupan los estrictos requisitos de protección de datos en Europa, especialmente en Francia con el RGPD. Consultar a un abogado para garantizar el cumplimiento de nuestra política de privacidad podría ser bastante costoso.
Por eso me preguntaba si existe algún plugin de Discourse que ofrezca funcionalidad de contenido relacionado sin necesidad de IA externa.
Además, me gustaría compartir mi experiencia personal con usted: Dudé mucho en lanzar mi foro de Discourse, temiendo no hacerlo bien a pesar de las guías disponibles. La llegada de ChatGPT cambió las reglas del juego para mí. Es increíble cómo ha cambiado mi vida: con su ayuda, he podido emprender proyectos que antes no me habría atrevido a hacer. Es una revolución que me abre nuevas perspectivas y me permite avanzar con confianza.
Gracias de nuevo por todo el trabajo que hacen y su continuo apoyo.
Como se mencionó, los complementos de IA pueden usar servicios externos o puede crear su propio sistema de nube personal que realice las mismas tareas. Sin embargo, ejecutar su propio servicio de IA es costoso, requiere mantenimiento adicional y no le brinda resultados comparables a los servicios externos.
Todo esto es una limitación de la tecnología de IA en sí misma, que es tan difícil de mantener y ejecutar, no es algo que Discourse pueda hacer al respecto. Los complementos de Discourse son agnósticos en cuanto a si está utilizando un servicio externo o uno “interno”.
