Discourse AI - Embeddings

[Falco]

@Overgrow

¿Entiendo correctamente que el backfill es cuando ocurre la vectorización?

Sí.

@Overgrow

Al cambiar entre modelos, ¿es necesario recalcular los vectores?

Sí, cada modelo produce representaciones vectoriales diferentes.

@Overgrow

Sería útil saber cómo se comparan los costos de usar la pila de API de OpenAI con la inversión en un servidor con GPU y una solución de código abierto.

Básicamente, es una llamada por tema, por lo que es muy fácil de calcular.

@Overgrow

¿Existe una fórmula o alguna forma de estimar el número de tokens utilizados?

Si la mayoría de tus temas son largos, se truncarán a 8k tokens, de lo contrario, usarán la longitud de tu tema.

@Overgrow

Solo estamos usando la API para vectorizar publicaciones, no para calcular distancias vectoriales, ¿verdad?

Sí.

@Overgrow

Supongo que tanto para temas relacionados como para la búsqueda impulsada por IA, todas las publicaciones deben vectorizarse solo una vez, por lo que puedo calcular el número total de palabras en la tabla de publicaciones y derivar el número de tokens necesarios. El mismo proceso se aplicaría a la adición diaria de publicaciones. Estoy descuidando las frases de búsqueda por ahora.

Ambos funcionan a nivel de tema, por lo que uno por tema.

[satonotdead]

@falco

Los dejé fuera sin querer, ya que la tarea de rake cayó en desuso y solo debe ser utilizada en raras ocasiones por operadores experimentados que pueden instalarla fácilmente de forma externa.

¿Puedo saber cómo agregar correctamente las gemas sin bifurcar el plugin con la PR sugerida?

Estoy probando la función de escalado a cero en HuggingFace y solo necesito usar la tarea de rake para rellenar las incrustaciones.

[jlcoo (Jiang Long)]

¿Por qué devuelve el código de error 418 cuando uso la búsqueda completa de incrustaciones de Discourse AI en DiscourseAi::Embeddings::EmbeddingsController#search como JSON? ¿Podrías ayudarme?