Discourse AI - Embeddings

[Falco]

@Overgrow

¿Entiendo correctamente que el backfill es cuando ocurre la vectorización?

Sí.

@Overgrow

Al cambiar entre modelos, ¿es necesario recalcular los vectores?

Sí, cada modelo produce representaciones vectoriales diferentes.

@Overgrow

Sería útil saber cómo se comparan los costos de usar la pila de API de OpenAI con la inversión en un servidor con GPU y una solución de código abierto.

Básicamente, es una llamada por tema, por lo que es muy fácil de calcular.

@Overgrow

¿Existe una fórmula o alguna forma de estimar el número de tokens utilizados?

Si la mayoría de tus temas son largos, se truncarán a 8k tokens, de lo contrario, usarán la longitud de tu tema.

@Overgrow

Solo estamos usando la API para vectorizar publicaciones, no para calcular distancias vectoriales, ¿verdad?

Sí.

@Overgrow

Supongo que tanto para temas relacionados como para la búsqueda impulsada por IA, todas las publicaciones deben vectorizarse solo una vez, por lo que puedo calcular el número total de palabras en la tabla de publicaciones y derivar el número de tokens necesarios. El mismo proceso se aplicaría a la adición diaria de publicaciones. Estoy descuidando las frases de búsqueda por ahora.

Ambos funcionan a nivel de tema, por lo que uno por tema.