Ativei o “AI embeddings enabled” ontem à noite e o preenchimento de dados estava ocorrendo em segundo plano. Hoje, ativei o “AI embeddings semantic search enabled” e a CPU disparou para 100 constantemente com um grande acúmulo na fila do sidekiq. A busca parou de funcionar completamente no servidor.
Desativei a busca semântica e o servidor voltou ao normal de CPU em minutos, com toda a fila limpa.
Então, existe uma maneira de fazer isso de forma diferente ou isso é o esperado?
Eu adoraria saber mais sobre o seu perfil de “hardware” se você for auto-hospedeiro; pensei em fazer o mesmo nos meus servidores, mas não tenho certeza do impacto. Isso me diz anedoticamente que devo esperar ou elaborar um plano melhor.
Que aquele momento em que Jobs::GenerateEmbeddings deve levar segundos para ser executado, é porque você está fazendo uma chamada de API para um serviço de incorporação (embedding) para obter os dados. Esse gráfico é normal, ele apenas mostra que algo está demorando, outra GPU na nuvem está realmente fazendo o trabalho.
O aumento da CPU é muito inesperado, talvez sua configuração de PG tenha começado extremamente sobrecarregada e inserir cerca de 1000 números seguidos seja o suficiente para prejudicá-la.
Precisamos de muito mais dados aqui para ajudar no diagnóstico, quais são as especificações do servidor? O que os gráficos de CPU reais estão mostrando, qual processo está consumindo CPU, qual serviço de incorporação você está usando, etc…
Vejo que você compartilhou apenas um gráfico de duração do trabalho do sidekick, e ele mostra que, após ativar os embeddings, o Discourse estava preenchendo-os corretamente.
Você pode compartilhar mais informações sobre sua configuração? Qual é o provedor de embeddings? É uma API de terceiros ou você também está auto-hospedando? Quantos tópicos você tem? Quais são as especificações do banco de dados?
Estou em um servidor com 16 GB de Memória / 4 vCPUs Intel. Usando Open AI text-embedding-3-small.
A utilização da CPU geralmente fica em torno de 50% ou menos. Foi assim que ficou quando ativei a busca semântica. Existem cerca de 2,5M de posts e 250K tópicos. Eu não ativei os embeddings para PM, caso contrário, adicionaria mais 1M de posts e 100K tópicos.
