Como evitar rate limiting ao importar um monte de dados?

Dev
,
1

Estou tentando criar um monte de tópicos + posts automaticamente. No entanto, continuo sendo atingido por limites de taxa.

Primeiro, tentei fazer isso usando a API. Meu script rapidamente atingiu erros 429. Tentei ajustar os limites de taxa como administrador (veja a captura de tela), mas não está claro qual é a abordagem correta aqui, ou se isso é uma tarefa impossível.

Em seguida, tentei usar um script ruby com rails r <script> de dentro do container. No entanto, aqui novamente, estou vendo An error occurred RateLimiter::LimitExceeded. Fiquei surpreso com isso, por que o método ruby está sujeito a limites de taxa?

De qualquer forma, há alguma maneira de evitar isso? Qual é a maneira correta de importar dados em massa? Pensei em usar SQL diretamente, mas preferiria uma API de nível mais alto para não ter que me preocupar em perder campos no banco de dados ao criar um item.

Agradeço antecipadamente.

rate-limits
rate-limits994×469 44.9 KB

2

Como isso se parece?

Você deve usar o rails para importar os dados, não a API.

Você pode dar uma olhada nos scripts de importação, mas pode precisar de algo mais simples.

3 
def add_all()
  limit = 2000
  translations = Dir["/shared/translations/vagrant-data/translations/*.txt"]
  ps = Dir["/shared/translations/vagrant-data/paragraphs/*.txt"]

  # RateLimiter.new.disable_rate_limits!

  translations.each_with_index do |t,i|
    p = ps[i]

    tr_text = File.read(t)
    p_text = File.read(p)
   

    description = "#{p_text}\n\nTraduzido como:\n\n#{tr_text}"
    title = " o livro (parágrafo ##{i+1})"
    if (i < limit)
      begin
        puts "Adicionando tópico #{tr_text}"
        topic = Topic.create!( title: title, category_id: 5, user_id: 3 )
        Post.create!( topic_id: topic.id, raw: description, user_id: 3, skip_validation: true )
      rescue Exception => e
        puts "Ocorreu um erro #{e}"
      end
    end
  end
end

add_all()
4

E isso gera um erro de limite de taxa? Eu pensaria que isso funcionaria bem.

5

Sim, veja minha postagem anterior. Ela entra no bloco rescue com esse erro.

1 curtida
6

Eu me pergunto se meu servidor está em um estado estranho. Eu mexi com os limites de taxa na captura de tela, definindo-os como zero e talvez -1. Agora estou recebendo esses erros de limite de taxa em todos os lugares. É estranho, no entanto, algumas das requisições passam, então de 1500 registros que quero criar, três ou quatro chegam ao banco de dados. Talvez eu vá apagar o banco de dados e atualizar e ver se isso o conserta. Não tenho certeza de como verificar o estado do banco de dados e capturar o bug, se houver.

1 curtida
7

Como esta instância foi criada? Qual versão está em execução?

1 curtida
8 
#### Instalado

### 3.1.0.beta5

( [ 5584fb1e3b ](https://github.com/discourse/discourse/commits/5584fb1e3b7a29d7ee5d7e43520191081dd10a16) )

Acabei de fazer a instalação regular do Docker. Nada de especial.

9

É possível desativar temporariamente os limites de taxa enquanto estou importando e depois restaurá-los mais tarde? No momento, sou o único que usará a API (não pretendo deixar meus usuários usarem a API). Portanto, eu poderia até desativar permanentemente os limites de taxa, se isso for possível.

10

Nunca vi limites de taxa em execução no Rails. Não tenho nenhuma pista.

1 curtida
11

@pfaffman Aposto que estraguei alguma coisa ao alterar os limites de taxa e agora o sistema está em um estado estranho e esses erros não são realmente o problema, é outra coisa. Vou criar o servidor novamente e ver se meu script funciona desta vez e depois reportarei.

2 curtidas
12

Infelizmente, recriar o servidor não resolveu as coisas. :frowning:

Eu deletei o diretório postgres_data dentro de shared e então executei ./launcher rebuild app e obtive uma nova instância do aplicativo.

Meu script agora cria o usuário e a categoria pertencente ao usuário, e então tenta criar tópicos dentro dessa categoria. Mas, ele imediatamente atinge o erro de limite de taxa: An error occurred RateLimiter::LimitExceeded

Estou realmente confuso, pois parece que os scripts rails r não deveriam estar sujeitos aos problemas de limite de taxa, certo? Eu vejo código nos modelos que indicam que o código de limitação de taxa é executado, mas não sei como desativá-lo nem como verificar se isso só deve acontecer quando uma solicitação chega via API.

Alguma outra sugestão? Acho que ir diretamente via psql é agora minha melhor aposta, o que é decepcionante porque o script rails r é muito mais limpo e fácil de usar.

13

Eu consertei!

O poder dos testes é provado bem aqui. Eu fui para este arquivo:

Que mostrou este método RateLimiter.enable. Eu pensei, por que não tentar RateLimiter.disable.

Chega de erros de limite de taxa!

4 curtidas
14

Bom trabalho! Nunca vi nada assim antes.

15

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.