Puede que quiera -querré- el servicio, pero aún es pronto para el foro que tengo en mente, así que todavía no hay suficientes datos para analizar.
Dado que estás experimentando con esta tecnología, ¿puedes decirnos qué papel juegan las etiquetas en el entrenamiento de la IA? Puse mucho esfuerzo en agrupar el corpus de uno de mis foros para generar etiquetas que luego pudieran usarse para categorizar y etiquetar temas. Si bien la categorización fue muy bien, la implementación de etiquetas es problemática debido a la gran cantidad de términos involucrados. No hay una forma práctica de presentarlos todos.
Pensaría que la IA podría usar esos términos para mejorar sus propios resultados.
Hoy en día no hay entrenamiento de modelos en Discourse. Todos los modelos que utilizan actualmente cualquiera de los módulos ya están entrenados.
Las etiquetas pueden ser útiles para agregar contexto en las indicaciones para funciones como sugerencias de etiquetas y temas relacionados, pero ninguna de las dos se utiliza en este momento.
Discourse AI ahora almacenará los embeddings en la misma instancia de base de datos que usamos para todo lo demás. Esto hace que sea mucho más fácil de instalar y mantener, e importaremos automáticamente los embeddings de la base de datos antigua cuando actualices. Después de eso, podrás dar de baja la base de datos antigua.
Ah, esto explica los problemas que ahora tengo con mi configuración:
I, [2023-07-18T09:29:11.218667 #1] INFO -- : cd /var/www/discourse & su discourse -c 'bundle exec rake db:migrate'
------------------------------DISCOURSE AI ERROR----------------------------------
Discourse AI requiere la extensión pgvector en la base de datos PostgreSQL.
Ejecuta un `./launcher rebuild app` para solucionarlo en una instalación estándar.
Alternativamente, puedes eliminar Discourse AI para reconstruir.
------------------------------DISCOURSE AI ERROR----------------------------------
Mi base de datos es un servidor sin servidor RDS Aurora v2 y, por lo tanto, no puede usar la extensión pgvector. ¿Hay alguna posibilidad de configurar el comportamiento anterior?
¿Estás usando serverless para la base de datos principal de Discourse o solo para la de embeddings? Discourse AI ahora almacena los embeddings en la base de datos principal y requiere que la extensión pgvector esté habilitada allí. Está disponible en RDS PostgreSQL 13.11 y superior. No usamos Aurora en producción, solo RDS PostgreSQL, así que eso es lo único que puedo recomendarte.
RDS es un SaaS de AWS, no se puede empaquetar en una imagen de Docker.
Discourse AI funciona con la versión de PostgreSQL que empaquetamos en nuestra imagen de Docker, con Amazon RDS o con cualquier instancia de PostgreSQL con la extensión instalada.
Hola
¿Puedo usar “Llama 2” de código abierto de Meta para recomendar publicaciones a mis usuarios?
¿Alguien ha tenido experiencia con este instrumento?
Gracias
¿Te refieres a recomendar “Temas relacionados”? En ese caso, no, todavía no. Aún no existen modelos de incrustación basados en Llama 2.
Vale la pena mencionar que los que enviamos (uno de código abierto y otro de la API de OpenAI) son realmente buenos y más que suficientes para potenciar la función de Temas relacionados.
En este momento no, ya que eso requeriría mantener dos repositorios separados, uno con el código de la aplicación y otro con las herramientas internas para compilar imágenes y enviarlas a nuestros repositorios internos, y realmente no he podido encontrar tiempo para configurarlo correctamente.
El código de la API es completamente visible dentro de la imagen del contenedor, aunque no sea la mejor manera de revisarlo, al menos está todo ahí.
¿Alguien podría compartir los requisitos exactos mínimos y recomendados del servidor para un foro con visitantes estándar? Honestamente, quiero intentarlo, pero no sé por dónde empezar ya que no hay requisitos claros del servidor.
En mi foro, 200-250 usuarios en línea y un promedio de 300 publicaciones se crean diariamente. Así que no se puede llamar demasiado, por eso dije estándar. Entiendo lo que quieres decir, pero planeo alquilar un nuevo servidor porque el servidor en la nube que estoy usando ahora no permite muchas actualizaciones. Gracias por tu respuesta
Por ejemplo, si solo quieres jugar con embeddings, un droplet de $6 haciéndolo en CPU será suficiente y eso te dará acceso a la función de Temas Similares.
Ahora, si quieres AIHelper y AIBot, puedes:
Pagar por llamada en OpenAI, y el costo dependerá de tu uso.
Ejecutar un LLM de código abierto en un servidor propio para privacidad. Un modelo como Llama2-70B-Chat necesitará un servidor que cueste entre 10k y 25k al mes.
Ejecutar un LLM de código abierto en un servicio de pago por hora. Puedes ejecutar una versión cuantificada de Llama2 en los endpoints de HuggingFace por $6.50 la hora y se dormirá automáticamente después de 15 minutos sin solicitudes.
El área de ML/Ops se mueve rápido, las GPUs son muy escasas y se lanzan nuevos modelos todos los días. Es difícil predecir, todos estamos experimentando.
