Comment éviter la limitation de débit lors de l'importation d'un tas de données ?

Dev
,
1

J’essaie de créer un tas de sujets + publications automatiquement. Cependant, je suis constamment confronté à des limites de débit.

J’ai d’abord essayé cela en utilisant l’API. Mon script a rapidement rencontré des erreurs 429. J’ai essayé d’ajuster les limites de débit en tant qu’administrateur (voir capture d’écran), mais je ne suis pas sûr de la bonne approche ici, ou si c’est une mission impossible.

Ensuite, j’ai essayé d’utiliser un script ruby avec rails r <script> depuis l’intérieur du conteneur. Cependant, ici encore, je vois An error occurred RateLimiter::LimitExceeded. J’ai été surpris par cela, pourquoi la méthode ruby est-elle soumise à des limites de débit ?

Quoi qu’il en soit, y a-t-il un moyen d’éviter cela ? Quelle est la bonne façon d’importer des données en masse ? J’ai pensé à utiliser SQL directement, mais je préférerais une API de plus haut niveau pour ne pas avoir à me soucier des champs manquants dans la base de données lorsque je crée un élément.

Merci d’avance.

rate-limits
rate-limits994×469 44.9 KB

2

À quoi cela ressemble-t-il ?

Vous devriez utiliser Rails pour importer les données, pas l’API.

Vous pourriez examiner les scripts d’importation, mais vous pourriez avoir besoin de quelque chose de plus simple.

3 
def add_all()
  limit = 2000
  translations = Dir["/shared/translations/vagrant-data/translations/*.txt"]
  ps = Dir["/shared/translations/vagrant-data/paragraphs/*.txt"]

  # RateLimiter.new.disable_rate_limits!

  translations.each_with_index do |t,i|
    p = ps[i]

    tr_text = File.read(t)
    p_text = File.read(p)
   

    description = "#{p_text}\n\nTraduit comme :\n\n#{tr_text}"
    title = " le livre (paragraphe ##{i+1})"
    if (i < limit)
      begin
        puts "Ajout du sujet #{tr_text}"
        topic = Topic.create!( title: title, category_id: 5, user_id: 3 )
        Post.create!( topic_id: topic.id, raw: description, user_id: 3, skip_validation: true )
      rescue Exception => e
        puts "Une erreur s'est produite #{e}"
      end
    end
  end
end

add_all()
4

Et cela génère une erreur de limite de débit ? Je pensais que cela fonctionnerait très bien.

5

Oui, voir mon message précédent. Il entre dans le bloc de secours avec cette erreur.

1 « J'aime »
6

Je me demande si mon serveur est dans un état étrange. J’ai joué avec les limites de débit dans la capture d’écran, en les réglant sur zéro et peut-être -1. Maintenant, j’obtiens ces erreurs de limite de débit partout. C’est étrange cependant, certaines des requêtes passent, donc sur 1500 enregistrements que je veux créer, trois ou quatre parviennent à la base de données. Je vais peut-être supprimer la base de données, la rafraîchir et voir si cela la corrige. Je ne sais pas comment vérifier l’état de la base de données et capturer le bug s’il y en a un.

1 « J'aime »
7

Comment cette instance a-t-elle été construite ? Quelle version utilise-t-elle ?

1 « J'aime »
8 
#### Installé

### 3.1.0.beta5

( [ 5584fb1e3b ](https://github.com/discourse/discourse/commits/5584fb1e3b7a29d7ee5d7e43520191081dd10a16) )

Je viens de faire l’installation Docker habituelle. Rien de spécial.

9

Est-il possible de désactiver temporairement les limites de débit pendant mon importation, puis de les rétablir plus tard ? Pour l’instant, je suis le seul à utiliser l’API (je n’envisage pas de laisser mes utilisateurs utiliser l’API). Je pourrais donc même désactiver définitivement les limites de débit si cela est possible.

10

Je n’ai jamais vu de limites de débit fonctionner dans Rails. Je n’ai aucune idée.

1 « J'aime »
11

@pfaffman Je parie que j’ai tout gâché en modifiant les limites de débit et que maintenant le système est dans un état étrange et que ces erreurs ne sont pas vraiment le problème, c’est autre chose. Je vais recréer le serveur et voir si mon script fonctionne cette fois-ci, puis je ferai un rapport.

2 « J'aime »
12

Malheureusement, la recréation du serveur n’a pas résolu le problème. :frowning:

J’ai supprimé le répertoire postgres_data dans shared, puis j’ai exécuté ./launcher rebuild app et j’ai obtenu une nouvelle instance de l’application.

Mon script crée maintenant l’utilisateur et la catégorie appartenant à l’utilisateur, puis tente de créer des sujets dans cette catégorie. Mais, il rencontre immédiatement l’erreur de limite de débit : An error occurred RateLimiter::LimitExceeded

Je suis vraiment bloqué car il semble que les scripts rails r ne devraient pas être soumis aux problèmes de limite de débit, n’est-ce pas ? Je vois du code dans les modèles qui indique que le code de limitation de débit est exécuté, mais je ne sais pas comment le désactiver ni comment vérifier que cela ne se produit que lorsqu’une requête arrive via l’API.

D’autres suggestions ? Je pense que passer directement par psql est maintenant ma meilleure option, ce qui est décevant car le script rails r est beaucoup plus propre et plus facile à utiliser.

13

Je l’ai réparé !

La puissance des tests est prouvée ici même. Je suis allé dans ce fichier :

qui montrait cette méthode RateLimiter.enable. Je me suis dit, pourquoi ne pas essayer RateLimiter.disable.

Plus d’erreurs de limitation de débit !

4 « J'aime »
14

Beau travail ! Je n’ai jamais vu ça auparavant.

15

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.