Algo malo con las embeddings (temas relacionados siendo demasiado costosos)

Don · 4 Diciembre, 2024 11:40

Hola

Uso text-embedding-3-large para ai embeddings model y algo va mal con él. Es decir, tengo que recargar mi cuenta de OpenAI dos veces desde el (30 de noviembre), lo cual es una locura porque debería ser suficiente para meses… ¿Ha cambiado algo relacionado con temas? Quizás rellena siempre temas que ya están hechos o no lo sé.

Genera ~ 24 millones de tokens de entrada / día

Antes (30 de noviembre) era ~ 60 - 220k

Falco · 4 Diciembre, 2024 15:40

Por favor, comparte los valores de todos los ajustes de embeddings:

ai_embeddings_enabled
ai_embeddings_discourse_service_api_endpoint
ai_embeddings_discourse_service_api_endpoint_srv
ai_embeddings_discourse_service_api_key
ai_embeddings_model
ai_embeddings_per_post_enabled
ai_embeddings_generate_for_pms
ai_embeddings_semantic_related_topics_enabled
ai_embeddings_semantic_related_topics
ai_embeddings_semantic_related_include_closed_topics
ai_embeddings_backfill_batch_size
ai_embeddings_semantic_search_enabled
ai_embeddings_semantic_search_hyde_model
ai_embeddings_semantic_search_hyde_model_allowed_seeded_models
ai_embeddings_semantic_quick_search_enabled

Don · 4 Diciembre, 2024 15:51

ai_embeddings_enabled: true
ai_embeddings_discourse_service_api_endpoint: ""
ai_embeddings_discourse_service_api_endpoint_srv: ""
ai_embeddings_discourse_service_api_key: ""
ai_embeddings_model: text-embedding-3-large
ai_embeddings_per_post_enabled: false
ai_embeddings_generate_for_pms: false
ai_embeddings_semantic_related_topics_enabled: true
ai_embeddings_semantic_related_topics: 5
ai_embeddings_semantic_related_include_closed_topics: true
ai_embeddings_backfill_batch_size: 250
ai_embeddings_semantic_search_enabled: true
ai_embeddings_semantic_search_hyde_model: Gemini 1.5 Flash
ai_embeddings_semantic_search_hyde_model_allowed_seeded_models: ""
ai_embeddings_semantic_quick_search_enabled: false

Falco · 4 Diciembre, 2024 15:55

¿Cuántos embeddings tienes?

SELECT COUNT(*) FROM ai_topic_embeddings WHERE model_id = 7;

¿Cuántos temas tienes?

SELECT COUNT(*) FROM topics WHERE deleted_at IS NULL AND archetype = 'regular';

Don · 4 Diciembre, 2024 16:14

¿Cuántas incrustaciones tienes?
5964

¿Cuántos temas tienes?
5563

Jagster · 4 Diciembre, 2024 16:22

Revisé el mío. Explotó el 27.11. y antes de eso eran menos de 100k tokens al día, pero luego aumentó a 7 millones y aumenta cada día y ayer estuvo cerca de los 20 millones.

Edición: Octubre, el costo de los embeddings fue de 46 centavos. Ahora, diciembre, cerca de cuatro días: casi 6 dólares.

Sí. Desactivé los embeddings.

Falco · 4 Diciembre, 2024 18:57

24 millones al día es todo tu foro, eso parece tener errores. A menos que reciba actualizaciones en todos esos temas todos los días, eso es ciertamente un error.

Falco · 4 Diciembre, 2024 19:44

Una cosa que puede estar relacionada es que solíamos omitir la llamada a la API de embeddings cuando el resumen del tema no cambiaba, pero hemos revertido esto en gen_bulk_reprensentations @Roman.

@Don, ¿sabes cuántas solicitudes de embeddings estás haciendo al día?

Jagster · 4 Diciembre, 2024 20:05

No soy Don, pero mis solicitudes de API han aumentado de 80-100 a 3825.

Don · 4 Diciembre, 2024 20:15

Generalmente ~150 - 200 solicitudes / día

pero a finales de noviembre aumentó.

Roman · 4 Diciembre, 2024 20:51

Lo siento mucho, esto fue un error en el nuevo código que agregamos para rellenar incrustaciones más rápido. Debería solucionarse con:

Por favor, házmelo saber si las cosas no vuelven a la normalidad.

Falco · 4 Diciembre, 2024 20:59

Dado el límite de 250 por hora, tenemos un límite estricto de 6k por día. Estos números todavía están dentro del límite.

Sin embargo, si solo se activan por nuestra “actualización de una muestra aleatoria” de temas, debería limitarse al 10% de eso, lo que, en el peor de los casos, serían 600 solicitudes.

@Roman ¿no se está aplicando este límite aquí de alguna manera? ¿O el problema está en otro lugar?

github.com/discourse/discourse-ai

app/jobs/scheduled/embeddings_backfill.rb

main


      
          
          # Then, we'll try to backfill embeddings for topics that have outdated
          # embeddings, be it model or strategy version
          relation = topics.where(<<~SQL).limit(limit - rebaked)
              #{table_name}.model_version < #{vector_def.version}
              OR
              #{table_name}.strategy_version < #{vector_def.strategy_version}

Roman · 4 Diciembre, 2024 21:09

Sí, creo que el error que corregí reveló otro que la verificación de resumen estaba ocultando.

Creo que el error está aquí:

github.com/discourse/discourse-ai

app/jobs/scheduled/embeddings_backfill.rb

main


      
              .where("#{table_name}.updated_at < ?", 6.hours.ago)
              .where("#{table_name}.updated_at < topics.updated_at")
              .limit((limit - rebaked) / 10)
          
          populate_topic_embeddings(vector, relation, force: true)
          
          next unless SiteSetting.ai_embeddings_per_post_enabled
          
          # Now for posts
          table_name = DiscourseAi::Embeddings::Schema::POSTS_TABLE
          posts_batch_size = 1000
          
          posts =
            Post
              .joins(
                "LEFT JOIN #{table_name} ON #{table_name}.post_id = posts.id AND #{table_name}.model_id = #{vector_def.id}",
              )
              .where(deleted_at: nil)
              .where(post_type: Post.types[:regular])
          
          # First, we'll try to backfill embeddings for posts that have none

Lo cambié de find_each a find_in_batches la semana pasada (el primero usa lotes internamente), y dado que ambos dependen de limit para especificar el tamaño del lote, se ignora el límite original de limit - rebaked. Deberíamos usar pluck + each_slice en su lugar.

Don · 4 Diciembre, 2024 23:37

Gracias por la corrección

He actualizado mi sitio pero parece que hay un problema en /logs. No estoy seguro si está relacionado con esto…

Mensaje

Excepción de trabajo: ERROR: sintaxis de entrada no válida para el tipo halfvec: "[NULL]"
LÍNEA 2: ...1, 1, 'e358a54a79f71861a4ebd17ecebbad6932fc1f9a', '[NULL]', ...
                                                             ^


Rastreo

/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rack-mini-profiler-3.3.1/lib/patches/db/pg.rb:110:in `exec'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rack-mini-profiler-3.3.1/lib/patches/db/pg.rb:110:in `async_exec'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/mini_sql-1.6.0/lib/mini_sql/postgres/connection.rb:217:in `run'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/mini_sql-1.6.0/lib/mini_sql/active_record_postgres/connection.rb:38:in `block in run'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/mini_sql-1.6.0/lib/mini_sql/active_record_postgres/connection.rb:34:in `block in with_lock'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/activesupport-7.2.2/lib/active_support/concurrency/null_lock.rb:9:in `synchronize'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/mini_sql-1.6.0/lib/mini_sql/active_record_postgres/connection.rb:34:in `with_lock'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/mini_sql-1.6.0/lib/mini_sql/active_record_postgres/connection.rb:38:in `run'
/var/www/discourse/lib/mini_sql_multisite_connection.rb:109:in `run'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/mini_sql-1.6.0/lib/mini_sql/postgres/connection.rb:196:in `exec'
/var/www/discourse/plugins/discourse-ai/lib/embeddings/vector_representations/base.rb:423:in `save_to_db'
/var/www/discourse/plugins/discourse-ai/lib/embeddings/vector_representations/base.rb:86:in `block in gen_bulk_reprensentations'
/var/www/discourse/plugins/discourse-ai/lib/embeddings/vector_representations/base.rb:86:in `each'
/var/www/discourse/plugins/discourse-ai/lib/embeddings/vector_representations/base.rb:86:in `gen_bulk_reprensentations'
/var/www/discourse/plugins/discourse-ai/app/jobs/scheduled/embeddings_backfill.rb:131:in `block in populate_topic_embeddings'
/var/www/discourse/plugins/discourse-ai/app/jobs/scheduled/embeddings_backfill.rb:130:in `each'
/var/www/discourse/plugins/discourse-ai/app/jobs/scheduled/embeddings_backfill.rb:130:in `each_slice'
/var/www/discourse/plugins/discourse-ai/app/jobs/scheduled/embeddings_backfill.rb:130:in `populate_topic_embeddings'
/var/www/discourse/plugins/discourse-ai/app/jobs/scheduled/embeddings_backfill.rb:36:in `execute'
/var/www/discourse/app/jobs/base.rb:308:in `block (2 levels) in perform'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rails_multisite-6.1.0/lib/rails_multisite/connection_management/null_instance.rb:49:in `with_connection'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/rails_multisite-6.1.0/lib/rails_multisite/connection_management.rb:21:in `with_connection'
/var/www/discourse/app/jobs/base.rb:295:in `block in perform'
/var/www/discourse/app/jobs/base.rb:291:in `each'
/var/www/discourse/app/jobs/base.rb:291:in `perform'
/var/www/discourse/app/jobs/base.rb:362:in `perform'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/mini_scheduler-0.17.0/lib/mini_scheduler/manager.rb:137:in `process_queue'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/mini_scheduler-0.17.0/lib/mini_scheduler/manager.rb:77:in `worker_loop'
/var/www/discourse/vendor/bundle/ruby/3.3.0/gems/mini_scheduler-0.17.0/lib/mini_scheduler/manager.rb:63:in `block (2 levels) in ensure_worker_threads'

Roman · 4 Diciembre, 2024 23:51

A primera vista, no parece relacionado. Parece que falló al generar el embedding y está intentando insertar NULL. ¿Podría ser que OpenAI esté devolviendo un error? ¿Quizás algo relacionado con las cuotas?

¿Puedes ejecutar esto desde una consola?

DiscourseAi::Embeddings::VectorRepresentations::Base
          .find_representation(SiteSetting.ai_embeddings_model)
          .new(DiscourseAi::Embeddings::Strategies::Truncation.new)
          .vector_from("this is a test")
          .present?

Debería registrar el error en tus registros si genera un Net::HTTPBadResponse.

Don · 5 Diciembre, 2024 00:02

Volví a la consola: truet? y nada en /logs.

Quizás esto sea un retraso de OpenAI porque recargué mi cuenta hace una hora y probablemente este proceso no sea instantáneo…

Roman · 5 Diciembre, 2024 01:00

Eso significa que puede generar embeddings entonces. ¿Persisten estos errores? Deberías ver estos errores cada cinco minutos si es así.

Ejecuté algunas pruebas en mi instancia local contra nuestro servicio de embeddings autoalojado y confirmé que el rellenado funciona bajo las siguientes condiciones:

No hay embeddings.
El digest está desactualizado y el updated_at de los embeddings es anterior a 6 horas.
El digest no está desactualizado y el updated_at de los embeddings es anterior a 6 horas (en este caso no se actualiza).

Don · 5 Diciembre, 2024 06:21

No, ya no veo esos errores en /logs, todo funciona ahora. Gracias

Falco · 5 Diciembre, 2024 19:12

Hemos fusionado otra corrección hace 5 horas, por favor actualiza de nuevo.

Después de eso, por favor, házmelo saber cómo se ve la tasa.

cc @Jagster.

Jagster · 5 Diciembre, 2024 19:16

No sé nada sobre límites, pero la cantidad de solicitudes de API, etc. volvió a la normalidad después de la corrección anterior. Así que gracias, chicos, por su rápida reacción.

Tema		Respuestas	Vistas
"Net::HTTPBadResponse" errors on Gemini Embeddings Bug ai , related-topics	14	489	29 Febrero 2024
OpenAI embedding related topics stops working Support ai , related-topics	4	400	9 Abril 2024
Ai:embeddings:backfill - Handling OpenAI's 400 Error for Excessive Tokens in Embeddings Bug ai	10	869	15 Marzo 2024
Problem with the new Discourse AI "related / similar topics"-function Support ai , related-topics	5	901	21 Agosto 2023
Embedding error with 3.6.0 beta 2 Bug ai	4	104	12 Noviembre 2025

Algo malo con las embeddings (temas relacionados siendo demasiado costosos)

Temas relacionados