Gibt es eine Möglichkeit, IP-Adressen von anonymen Benutzern / Gästen anzuzeigen?
Und/oder die Anzahl der Verbindungen von jedem?
Meine Website erhält seit einigen Stunden Hunderte von Seitenaufrufen pro Minute, die Prozessorauslastung ist ebenfalls auf 100% ausgelastet.
Haben Sie Ihre Nginx-Logs (oder was auch immer Sie verwenden) überprüft? Das sind Bots und Hacker. Sie tun nichts mit IPs. Diese ändern sich nach ein paar Versuchen (IPs sind sowieso nutzlos, sie ändern sich sowieso immer). Sie sollten Geo-Blocking einführen (nur wenige Websites sind wirklich global) und viele User Agents auf Server-Ebene sperren; zumindest alle völlig unnötigen und gierigen SEO-Scraper, Bots, die sich als IE5.x usw. identifizieren.
Wenn Sie eine Standardinstallation durchgeführt haben, sollte eine Ratenbegrenzung vorhanden sein (und ein Teil davon befindet sich in Rails). Wie haben Sie die Installation vorgenommen?
Wie funktioniert diese Ratenbegrenzung eigentlich (nein, ich habe nicht nach der Antwort gesucht). Greift sie nach einer bestimmten Anzahl von Anfragen in einem bestimmten Zeitraum pro IP-Adresse?
Jedenfalls, wenn eine DDoS-ähnliche Situation eintritt, zum Beispiel wenn eine URL in einer dummen Liste erwähnt wird, dann beginnt eine Flut von IPs aus China, Pakistan, Iran, Irak, Vietnam und Russland, plus viele von großen VPS-Diensten, hauptsächlich aus den USA, Frankreich und Deutschland. Wenn sie es dreimal versuchen und die IP wechseln, hilft die Ratenbegrenzung nicht allzu sehr.
Ich hatte irgendwann viele dumme Suchanfragen. Und viele bedeutet, dass ein 5-USD-Droplet von DigitalOcean abstürzte und ich fast keine Anfragen von Menschen hatte.
Das ist mehr oder weniger eine Angelegenheit des Webservers, nicht von Discourse. Diese Klopfer sollten vor einer App ausschalten. Ich weiß, dass meine Situation/Lösungen viel einfacher sind als die des OP oder der meisten Webmaster hier, weil ich aus Finnland komme und mein Forum rein Finnisch ist – daher ist ein weltweites Verbot für mich möglich (naja, Finnen außerhalb Finnlands sehen das anders 
).
Aber unabhängig von der Ratenbegrenzung sollten zumindest falsche User Agents sofort gestoppt werden.
Wie sieht es mit SSH-Knockern aus? Die fressen auch Ressourcen.
Wenn Sie Probleme mit DDoS haben, würde ich Cloudflare empfehlen (was ich fast nie tue). Stellen Sie sicher, dass Sie die Cloudflare-Vorlage verwenden und dann die Optimierungen deaktivieren (oder sorgfältig lesen, wie Sie diese konfigurieren).
Es ist kein echter DDoS. Aber wenn es viele Anfragen desselben Typs gibt, verhalten sie sich wie ein DDoS, das Ergebnis ist dasselbe. Ich verwende Varnish und Fail2ban plus Geo-Blocking und diese erledigen die Arbeit für mich.
Ja, ich habe eine Standardinstallation vorgenommen.
Mein erster Gedanke war, dass ich einfach “slashdotted” wurde, aber 24 Stunden später werde ich immer noch bombardiert.
Die schnelle vorübergehende Lösung war, die Haustür zu schließen und die Website auf “Login erforderlich” zu setzen. Das hat funktioniert, die CPU-Auslastung sank innerhalb von 60 Sekunden von 100 % auf 3 %.
Sobald ich die Haustür wieder öffne, wird meine /search-Seite sofort mit Müll wie folgt bombardiert:
/search?q=dogs+order:latest&page=2
/search?q=cats+order:latest&page=2
/search?q=fly+order:latest&page=2
usw.
Dies geschieht innerhalb von 60 Sekunden, nachdem ich die Website wieder für die Öffentlichkeit geöffnet habe.
Wir sind eine kleine Nischengruppe, ich bin mir nicht sicher, warum jemand uns mit irgendetwas ins Visier nehmen sollte 
Es ist nur eine Schätzung, aber laut Google Analytics haben wir normalerweise 8 bis 10 aktive Benutzer, und diese Zahl steigt innerhalb von Sekunden, nachdem ich die Website wieder für die Öffentlichkeit geöffnet habe, auf über 1.000. Alle Verbindungen scheinen aus verschiedenen Teilen der USA zu kommen, alle direkt ohne Referrer.
Ich werde die Website noch ein paar Tage nur für Mitglieder geschlossen lassen und sehen, ob es verschwindet, oder sehen, ob ich /search auf eingeloggte Benutzer beschränken kann, und wenn nicht, werde ich wahrscheinlich den Cloudflare-Weg gehen.
Vielen Dank an alle 
Ja. Das ist seltsam, aber ich schätze, das ist das Internet.
Ohh. Was ist der User-Agent? Vielleicht könnten Sie ihn zu blockierte Crawler-User-Agents hinzufügen?
Gute Frage!
Ich werde sehen, ob ich das auf der Google Analytics-Berichtsseite finden kann
Sie können auch in /var/discourse/shared/log/var-log/nginx/.... (oder etwas sehr Ähnlichem) nachsehen. Es gibt einige andere Einstellungen wie slow down crawler user agents, wenn Sie in den Einstellungen nach „agent“ suchen.
Gefunden in: /var/discourse/shared/standalone/log/var-log/nginx/access.log
(lade es jetzt lokal herunter)
Danke @pfaffman, ich werde sehen, ob mir etwas auffällt.
Ein kurzer Blick scheint eine vielfältige Mischung von User-Agents zu zeigen.
Dies lässt mich jetzt auch einen Angriff vermuten, anstatt einen Slashdot 
[12/Jan/2022:13:26:20 +0000] "greyarro.ws" 184.174.102.229 "GET /search?q=cats+order%3Alatest&page=2 HTTP/2.0" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.57 Safari/537.36" "search/show" 302 1117 "-" 0.012 0.009 "-" "-" "-" "-" "-" "-" "-" "-"
[12/Jan/2022:13:27:22 +0000] "greyarro.ws" 173.211.78.162 "GET /search?q=cats+order%3Alatest&page=2 HTTP/2.0" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.9390.0.4430.212 Safari/537.36" "search/show" 302 1117 "-" 0.012 0.009 "-" "-" "-" "-" "-" "-" "-" "-"
[12/Jan/2022:13:30:46 +0000] "greyarro.ws" 66.78.24.176 "GET /search?q=cats+order%3Alatest&page=2 HTTP/2.0" "Mozilla/5.0 (X11; Linux x86_64; rv:89.0.2) Gecko/20100101 Firefox/89.0.2" "search/show" 302 1117 "-" 0.020 0.019 "-" "-" "-" "-" "-" "-" "-" "-"
[12/Jan/2022:16:10:32 +0000] "greyarro.ws" 38.18.59.158 "GET /search?q=cats+order%3Alatest&page=2 HTTP/2.0" "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.86 Safari/537.36" "search/show" 302 1117 "-" 0.008 0.011 "-" "-" "-" "-" "-" "-" "-" "-"
[12/Jan/2022:16:10:57 +0000] "greyarro.ws" 108.62.69.249 "GET /search?q=cats+order%3Alatest&page=2 HTTP/2.0" "Mozilla/5.0 (Windows NT 6.3; Win64; x64; rv:88.0.1) Gecko/20100101 Firefox/88.0.1" "search/show" 302 1117 "-" 0.008 0.009 "-" "-" "-" "-" "-" "-" "-" "-"
und:
[12/Jan/2022:16:11:07 +0000] "greyarro.ws" 38.18.49.252 "GET /search?q=dogs+order%3Alatest&page=2 HTTP/2.0" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.78 Safari/537.36" "search/show" 302 1117 "-" 0.012 0.011 "-" "-" "-" "-" "-" "-" "-" "-"
[12/Jan/2022:16:28:08 +0000] "greyarro.ws" 206.180.185.39 "GET /search?q=dogs+order%3Alatest&page=2 HTTP/2.0" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:88.0) Gecko/20100101 Firefox/88.0" "search/show" 302 1117 "-" 0.016 0.012 "-" "-" "-" "-" "-" "-" "-" "-"
[12/Jan/2022:16:28:08 +0000] "greyarro.ws" 38.18.55.132 "GET /search?q=dogs+order%3Alatest&page=2 HTTP/2.0" "Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.57 Safari/537.36" "search/show" 302 1117 "-" 0.008 0.009 "-" "-" "-" "-" "-" "-" "-" "-"
[12/Jan/2022:16:28:10 +0000] "greyarro.ws" 184.174.54.113 "GET /search?q=dogs+order%3Alatest&page=2 HTTP/2.0" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.69 Safari/537.36" "search/show" 302 1117 "-" 0.012 0.011 "-" "-" "-" "-" "-" "-" "-" "-"
[12/Jan/2022:16:28:14 +0000] "greyarro.ws" 184.174.72.90 "GET /search?q=dogs+order%3Alatest&page=2 HTTP/2.0" "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:89.0.1) Gecko/20100101 Firefox/89.0.1" "search/show" 302 1117 "-" 0.016 0.017 "-" "-" "-" "-" "-" "-" "-" "-"
Ich befürchte, wir schweifen hier ein wenig vom ursprünglichen Thema ab, aber danke für die Hilfe 
All diese Einstellungen helfen nur, wenn ein Bot die Limits und Anleitungen befolgt. Selbst Googlebot tut das nicht immer und schlechte Bots niemals. Das ist einer der Gründe, warum robots.txt so nutzlos ist.
Und Haftungsausschluss. Ich weiß nicht, ob Discourse andere Technologien verwendet, um zu verlangsamen.
Nein, das tun wir nicht. Weil deine Frage ein wenig daneben war Du wolltest ein kleines Detail wissen, dabei hättest du fragen sollen „Was tun, wenn mein Discourse unter Bot-Angriff/DDoS leidet“.