Y a-t-il un moyen de désactiver temporairement le RateLimiter pour la création en masse par l'administrateur ?

Dev
1

So here is my issue. I have a requirement to essentially seed a Discourse production instance with around 200 posts at a time from a plugin admin action. These posts will be ‘created by’ 1 of 10 different regular users. The reason it’s a plugin action is because the users of this particular instance have a team of moderators they want to train up, and wanted some test posts to train them on, and the ability to seed more when they need them.

I got this working fine by passing skip_validations: true to PostCreator.new, however now there’s a requirement that some of the created posts are also flagged.

I’m using PostActionCreator.create to flag some of these posts, but now I’m getting hit by the rate limiter here: https://github.com/discourse/discourse/blob/ad7a13921f2af8c792530c84386b64911c8e7ea2/lib/post_action_creator.rb#L69

I first attempted to disable the RateLimiter but that was causing my action to crash the server process eventually, possibly when I was trying to turn it back on, and then I realised it probably wasn’t a good idea anyway.

So my question is, is there a better way to bypass the rate limiter when running some arbitrary code i.e. something like:

RateLimiter.bypass do
# run some code not affected by the rate limiter
end

Or do I need to basically just need to copy most of what the PostActionCreator is doing but leave out the troublesome line?

Any help would be greatly appreciated! I’m still absorbing a lot of the Discourse code so I’m aware I’ve probably missed something that makes this a lot easier!

1 « J'aime »
2

What I’d likely do is run a script in the Rails console. Have you checked out: Global rate limits and throttling in Discourse? It looks like you can change those rate limits.

2 « J'aime »
3

This isn’t really a path I want to go down as I want it to initiated by users rather than them relying on me to run a script in the console.

3 « J'aime »
4

Did you look at the link about changing the rate limits?

5

Avez-vous trouvé une solution ? Modifier le fichier yaml n’est pas idéal car cela nécessite une reconstruction. Je ne suis pas assez familier avec rails/discourse pour savoir comment le désactiver temporairement dans la console.

6

Quel est votre cas d’utilisation ? Quel problème essayez-vous de résoudre pour lequel les limites de débit vous font obstacle ?

7

J’essaie d’importer 60 000 utilisateurs via l’API aussi rapidement que possible sans reconstruire. J’ai également essayé sur une installation de test d’augmenter la limite de l’API ADMIN via YAML, mais cela n’a pas semblé fonctionner, mais peut-être que j’ai mal fait quelque chose. (J’exécute les importations sur le conteneur, donc la limitation HTTP ne devrait pas s’appliquer).

8

Ce n’est pas très utile, mais ce que je ferais, c’est créer les utilisateurs dans Rails plutôt que via l’API. discourse/script/import_scripts/csv_importer.rb at main · discourse/discourse · GitHub pourrait être un début.

Mais vous pouvez entrer dans le conteneur et modifier /var/www/discourse/config/discourse.conf et y définir ces variables, puis faire un sv restart unicorn (ou peut-être sv reload unicorn). Vous voudrez probablement faire quelque chose comme apt-get update; apt-get install -y vim pour avoir un éditeur.

2 « J'aime »
9

Étrange. Lorsque j’affiche le fichier de configuration, la nouvelle limite est déjà définie. La mise à jour YAML a donc fonctionné :

max_admin_api_reqs_per_key_per_minute = '6000'

Mais cela ne semble pas fonctionner. Il y a toujours une limitation de 60 par minute. Lorsque je limite les requêtes à 60 par minute, la plupart passent, mais en raison de la gigue, quelques-unes déclenchent toujours le limiteur de débit :

{'success': True, 'active': True, 'message': 'Your account is activated and ready to use.', 'user_id': 3596}
{'success': False, 'message': ' New registrations are not allowed from your IP address (maximum limit reached). Contact a staff member.', 'errors': {'ip_address': ['New registrations are not allowed from your IP address (maximum limit reached). Contact a staff member.']}, 'values': {'name': None, 'username': 'asdfd', 'email': 'user@domain.com'}, 'is_developer': False}
{'success': True, 'active': True, 'message': 'Your account is activated and ready to use.', 'user_id': 3597}
10

Je me demande si c’est un problème avec les guillemets ?

Vous pourriez vérifier SiteSettings.max_admin_api_reqs_per_key_per_minute et voir s’il s’agit d’un entier.

1 « J'aime »
11

dans default_current_user_provider.rb (le seul fichier que j’ai trouvé qui semblait faire référence à cette valeur, il contient :

limit = GlobalSetting.max_admin_api_reqs_per_minute.to_i

donc il semble bien le convertir. J’ai même essayé de le remplacer par un nombre dans le code.

1 « J'aime »
12

Zut. Je le craignais.

1 « J'aime »
13

Je pense que c’est lié à une autre limite : je pense que c’est la limite d’enregistrements maximum à partir d’une adresse IP qui est atteinte, mais je ne comprends pas pourquoi elle ne bloque pas définitivement après l’avoir atteinte. S’agit-il potentiellement d’un bug dans cette limite anti-spam ?

14

Si ces utilisateurs ont tous la même adresse IP, alors je parie que vous avez raison. Je pense que la solution est de modifier ce paramètre ou de donner aux gens des adresses IP bidon comme 127.0.0.x (ou peut-être utiliser IPv6 pour faciliter les choses ?)

1 « J'aime »
15

Je pense qu’il détecte d’où la requête est faite (ordinateur hôte) mais je peux contourner cela en ajoutant un utilisateur TL2 sur la même adresse IP (ou en ajustant la limite d’IP).

16

L’API utilisateur est très lente, cependant.

17

C’est pourquoi je recommande de le faire en rails. Il fera probablement environ 500/minute.

1 « J'aime »
18

Oui, je vais essayer ça. Mais je ne suis pas sûr de la façon dont je suis censé exécuter le script, où dois-je le copier et comment l’exécuter (une fois que j’aurai mis le CSV aux bons endroits) ?

19

Vous pouvez consulter les autres rubriques « Comment faire » pour les autres. Ils fonctionnent tous de la même manière.

1 « J'aime »
20

Pour faire suite à l’effort de compréhension des scripts et de Ruby, etc., et compte tenu des performances probables, j’ai choisi une autre voie et j’ai contourné toutes les limites en écrivant directement dans la base de données en utilisant SQL. De cette façon, j’ai pu effectuer plusieurs milliers d’insertions par seconde.

Il y avait un sujet demandant quelles tables étaient nécessaires, il est maintenant fermé, donc je réponds ici que j’ai modifié les tables suivantes pour insérer les utilisateurs :

user_avatars
user_emails
user_profiles
user_search_data
user_stats
users
1 « J'aime »