La primera razón fue en realidad principalmente que no sabía realmente qué características puede hacer Discourse AI. He visto algo de eso en Meta, pero en realidad no lo sabía de otra manera.
Pero esto ya está respondido para mí con esta página
Si no hubiera visto eso, no sabría lo que podría hacer.
Podría ser el caso de muchas otras personas también, pero no lo sé.
La mera mención de la “IA” desanima a la mayoría de las personas de nuestra comunidad y polariza al resto. En nuestro caso, pagar dinero a las grandes empresas que llevan los big data al siguiente nivel con niveles de consumo de energía disparatados y vigilancia global va… en contra de todos nuestros valores.
El código abierto y el autoalojamiento podrían mitigar esto, pero de nuevo… Las principales funciones para las que lo usaríamos son una mejor búsqueda y mejores sugerencias. ¿Y realmente necesitamos depender de la “IA” para eso? ¿No hay mejoras en las bases de datos de contenido y en los algoritmos de búsqueda y sugerencias que funcionen localmente por el mismo coste y consumo de energía, sin convertirnos en un actor activo del gran juego de la IA?
Nada me impide usar Discourse AI; de hecho, creo que ahora es una de las partes más fantásticas de toda la aplicación.
Sin embargo, como educador e investigador/ingeniero de IA, me gustaría ofrecer mi humilde perspectiva sobre este asunto, ya que trabajo en estrecha colaboración con personas fuera de esta proverbial “burbuja de IA”. En mi experiencia, las personas dudan en usar/implementar IA por tres razones principales:
No pueden manejar las notorias alucinaciones de los LLM;
Simplemente no encuentran un caso de uso adecuado para justificar su participación en él;
Generalmente tienen una incomprensión de sus capacidades y se decepcionan.
En realidad, todos estos dilemas se pueden mitigar con una ingeniería de prompts decente junto con educación sobre el tema, por lo que no es una falla por parte de Discourse en absoluto. Quizás, sin embargo, si la empresa creara un curso intensivo de “IA para principiantes” específico para el plugin Discourse AI, entonces quizás la tasa de adopción y la comodidad crecerían. La IA tiene mucho revuelo ahora, por lo que muchas personas quieren usarla, incluso si no saben cómo o para qué.
No obstante, mi intuición me dice que este conjunto de características impulsará la popularidad de Discourse en el futuro cercano, ya que es simplemente ingenioso y está muy bien integrado en el sistema. ¡Un trabajo realmente bueno!
Me parece una redacción bastante extraña, y lo señalo no como una crítica, sino porque se hace eco del título del hilo: “¿Qué te impide probar Discourse AI?”
En ambos casos, parece que se da por sentado que la IA es obviamente algo bueno y valioso, y que de alguna manera alguien no lo está viendo.
Pero yo lo veo de otra manera: la “IA” de hoy es una burbuja de tecnologías fascinantes, muy atractivas para quienes gustan de las novedades por sí mismas, y posiblemente de valor aquí y allá, pero de ninguna manera intrínsecamente valiosas por derecho propio.
La pregunta tiene que ser sobre cuáles son los beneficios: ¿qué hará las cosas mejor, en este caso mejor para los miembros del foro o quizás para los administradores del foro?
Lo que me lleva a
O, dicho de otra manera, la pura falta de fiabilidad de las ofertas actuales. A pesar de que a veces ayudan, resumiendo o sugiriendo, con demasiada frecuencia se equivocan. ¿Un resumen poco fiable? ¿Un análisis de sentimientos poco fiable? ¡Eso solo puede empeorar la experiencia!
Tengo un poco de simpatía por alguien que está empleado para impulsar la IA, o empleado para integrarla en un producto: esa es la naturaleza del empleo, a veces los roles están equivocados.
Pero realmente no veo la presunción de que esto sea algo grandioso que ayudará a todos los foros. Algunos foros, tal vez. Díganos dónde se supone que está el valor, e incluya los costos de que ese valor se entregue de manera poco fiable.
Mi punto es que la IA puede mejorar muchísimas cosas y, en mi experiencia, algunos de mis clientes quieren mejorar su negocio u operaciones de alguna manera pero no saben exactamente cómo hacerlo. No creo en absoluto que todos deban intentar usar la IA, ya que eso es simplemente caer en la trampa de la exageración actual.
Definitivamente no es intrínsecamente valiosa, lo cual no he insinuado. Como con la mayoría de las tecnologías, puede ser utilizada en exceso y subentregar, o simplemente ser mal utilizada.
Aún no he experimentado esta “gran falta de fiabilidad”. ¿Quizás depende de lo que estés intentando lograr? Las tareas muy generales y complejas todavía pueden llevar a resultados poco fiables, eso es cierto. De nuevo, un conocimiento adecuado sobre la ingeniería de prompts y las aplicaciones de esta tecnología son imprescindibles para mitigar esto, así que mi punto sigue siendo válido.
Agradezco tu simpatía, sin embargo, no la necesito . Soy autónomo, sin necesidad de intentar “promocionar” la IA a personas que no la necesitan, y es realmente bastante presuntuoso de tu parte asumir que alguien o su trabajo está equivocado simplemente como resultado de una opinión mayormente infundada sobre un tema que parece serte ajeno, a juzgar por cómo escribes sobre él.
He desarrollado sistemas de IA que detectan y segmentan automáticamente tumores cerebrales y proporcionan análisis de riesgo de tratamiento. No creo que los pacientes que se benefician de tales avances consideren que tal función está “equivocada”. Algunos investigamos la IA para el beneficio de la humanidad y no solo para ganar dinero rápido.
De nuevo, no presumí que ayudaría a todos los foros y más bien creo que podría ser imprudente que los administradores la adopten “solo porque sí”, sin ningún conocimiento del dominio y sin un objetivo final en mente.
Nota al margen:
Te animo humildemente a ser un poco menos discriminatorio y un poco más informado en tus futuras respuestas sobre el tema de la IA, o al menos a no sacar las respuestas de otra persona de contexto y luego acusarlos de estar equivocados y tratar de ofrecer tus simpatías
EDITAR:
Olvidé añadir que si Discourse añadiera más opciones de personalización (por ejemplo, la capacidad de hacer una ingeniería de prompts adecuada para el resumidor de temas) mitigaría muchos riesgos. Ya se están moviendo en esta dirección a través de los perfiles y la capacidad de elegir qué modelos usar, etc.
Disculpas, he estado dándole vueltas a este hilo desde que empezó, y usé tu contribución como punto de partida. No quiero decir nada específico o personal en mis observaciones.
Para mí, usar IA en el discurso, como @Saif está interesado en saber, necesitaría conocer la propuesta de valor. En este momento mi foro está funcionando bien y los costos están bajo control. Para añadir algo, que tiene un costo monetario, necesitaría saber cuál es el beneficio. No es que nada me impida probar la IA.
Desactivé Akismet y estoy probando Discourse AI Spam y Persona internamente. Mi LLM es Google Gemini Flash 2.0.
Mi pregunta es: ¿aprenderá con las interacciones y el aprendizaje profundo con retroalimentación humana? Porque solo la versión pro permite la opción de almacenar datos en caché.
Lo estoy usando, pero vigilo los costos de cerca. Mi mayor preocupación es el uso descontrolado de tokens, al menos hasta que pueda ejecutar las cosas el tiempo suficiente para tener una idea de cuál debería ser mi uso promedio de tokens. La capacidad de establecer límites de costos es buena, pero no me sentiré personalmente cómodo hasta que sepa cuál es el uso normal de la comunidad, y eso solo lleva tiempo.
Los problemas de confianza del usuario son enormes. No importa qué mensaje prepare o qué diga como administrador del sitio: existe la percepción inquebrantable de que los LLM utilizan contenido generado por el usuario para entrenar y que cualquier uso por parte del sistema Discourse significa “vender” datos del usuario sin “permiso”. Este es un problema que, en mi experiencia, es sistémico entre muchos comentaristas y es imposible de erradicar, porque la gente “sabe” lo que las empresas de IA “realmente están haciendo”. Habilitar la clasificación basada en IA en un foro y decir que lo estás haciendo significa enfrentarse potencialmente a una avalancha de quejas de “¡NO DOY CONSENTIMIENTO PARA QUE ENVÍES MIS DATOS A ALGUNA EMPRESA TECNOLÓGICA DE IA PARA QUE GANEN DINERO CON MIS PALABRAS!”. No a todos les preocupa este tipo de cosas, pero a los que sí, están enojados y al mismo tiempo totalmente desinteresados en la discusión. No tengo una buena respuesta aquí.
Me siento algo incómodo al poner el estado de la detección de spam de mi foro en cómo se sienten docenas de empresas diferentes en un momento dado. Seamos honestos aquí: la detección de spam por IA, la clasificación por IA y todas las demás funciones de IA son básicamente decir “Oye, hagamos que este sea el problema de la IA” y luego tratar de codificar lo que queremos que haga a través de la ingeniería de prompts. Funciona, pero el proceso es molestamente no determinista. Básicamente, tienes que esperar que las cosas sigan funcionando como están funcionando. No me gusta esto. No me gusta nada, y me da ansiedad. Me gusta que mis herramientas sean deterministas. Los LLM son lo opuesto polar de lo determinista, y estamos confiando parte de la funcionalidad del foro a lo que demonios OpenAI et al decidan lanzar.
Dicho esto, estoy utilizando tanto el antispam de IA como la clasificación de foros de IA. Es útil. Pero trato de permanecer consciente del hecho de que estas soluciones deben ser monitoreadas continuamente para su eficacia.
¿Quién paga los costos de cómputo asociados con el plugin?
La generación de tokens no es gratuita, y alquilar una GPU en la nube cuesta alrededor de $250/mes para el plan más barato (NVIDIA T4 de Google Cloud).
Creo que la mayoría de la gente está utilizando un plan de pago con uno de los proveedores de servicios de IA más grandes (hay una lista de modelos compatibles aquí en la documentación).
Desafortunadamente, no conozco ninguna opción asequible para quienes autoalojan, todo lo que conozco basado en GPU está en el rango de precios que mencionaste y sospecho que la inferencia basada en CPU será demasiado lenta, incluso en máquinas más potentes.
Discourse AI autoalojado te permite conectarte a diferentes modelos comerciales a través de API. Estoy descubriendo que mi gasto en triaje de IA, más antispam de IA, más algunos resúmenes nocturnos de IA es de aproximadamente $0.03/mes con Gemini Flash 2.0.
Creo que tenemos un entendimiento diferente de “IA autoalojada” aquí. Para mí, eso implica conectarse a un modelo/servicio que se ejecuta localmente. Lo que describes es posible, pero en la práctica, la parte local es solo un proxy, y los datos saldrán de tu servidor/se transferirán al proveedor de la API. Para muchas personas estará bien, pero para mí/nuestra comunidad, eso no es una opción.