Eine Nebenbemerkung, die eine Frage aufwirft: Könnte die Verwendung von Cloudflare auch bei der Google-Indexierung helfen?
Ich habe gestern einige Verbesserungen bemerkt, ein positiver Trend bei der Indexierung und den Impressionen, aber das könnte auch Zufall sein. 
Gegen Ende Oktober einen großen Anstieg bemerkt. Diese müssen an der Blockiere KI-Bots-Minderungsfunktion von CF vorbeikommen.
CF schlägt nun vor, AI Labyrinth zu verwenden:
AI Labyrinth modifiziert Ihre Webseiten, indem es Nofollow-Links hinzufügt, die KI-generierte Inhalte enthalten, um Bots zu stören, die die Crawling-Standards ignorieren. Die hinzugefügten Nofollow-Links verändern den Inhalt Ihrer Webseiten nicht und sind nur für Bots sichtbar.
Kampf der KI mit KI? 
KI-Wettrüsten?
Es ist ein Wettrüsten und, wie bei Spammern, vermute ich, wird es das immer sein.
Was ist die Alternative zu Cloudflare (Ausfallbunker) als Vermittler, um dies zu mildern, oder ist es die einzige Option?
Es scheint entweder alles oder nichts zu sein, und nichts = KI-Verkehr, der sich wie ein DDOS verhält! 
Dieser Anstieg ist ein echtes Ärgernis (PITA), die effektivste Maßnahme war eine vollständige Geo-Sperre für den gesamten Verkehr aus allen anderen geografischen Zonen, außer der geografischen Zone, aus der derzeit der Großteil des Verkehrs stammt.
Es sind so viele ASN (Autonomous System Number) potenziell an diesem Anstieg beteiligt, dass es ein langsamer Prozess ist, sie herauszusuchen.
Dies macht die Situation mittelfristig bis langfristig sehr nicht tragbar.
Für mich zählt am meisten die Erfahrung echter menschlicher Benutzer – ob Mitglieder oder Mitleser. Solange meine Forenreaktionsfähigkeit in Ordnung ist und mir keine zusätzlichen Kosten für zusätzlichen Traffic entstehen oder mein Speicherplatz mit Protokollen gefüllt wird, ist dieser zusätzliche unerwünschte Traffic eigentlich kein Problem.
Es ist natürlich möglich, dass meine Kosten steigen, wenn ich RAM, Speicher oder CPUs hinzufügen muss oder wenn ich für übermäßigen Traffic bezahlen muss. Bei mir ist das bisher nicht passiert.
Ja, das Benutzererlebnis ist von größter Bedeutung, der ganze Sinn dieses Themas. Wir existieren nur wegen der „Benutzer“, aber manchmal frage ich mich, ob Entwickler und dergleichen das vergessen. 
Diese KI-Dinge belasten den Server so stark, dass man 50x-Fehler bekommt. Besonders wenn man eine Suche versucht. Die Plattform kann zwar viel Traffic aufnehmen und aushalten, aber sie wird etwas ruckelig.
Ich frage mich, mit welchen Spezifikationen Sie es zu tun haben und ob es hinter CF oder einem anderen WAF liegt?
Ich habe gesehen, wie dieser KI-Ansturm 4vCPU 8GB 160+GB HD Droplets, die problemlos Dutzende von einzigartigen Benutzern bei einem echten Anstieg einzigartiger Besucher bewältigen, anfingen, unter der KI-Sogwirkung stark zu kämpfen.
Wenn man Discourse auf einem Einsteiger-Droplet betreibt, sagen wir einem 2GB-Droplet, wird die Plattform sehr schnell anfangen zu schwächeln und zusammenzubrechen, wenn sie nicht hinter etwas wie CF steht.
Dieser Faktor trat vor der KI nicht auf, es sei denn, es gab ein heißes Thema. Das habe ich zwar gesehen, aber erst im Nachhinein, weil es keinen spürbaren Unterschied in der Leistung gab, Discourse hat die Bereitstellung problemlos gehandhabt.
Wenn man sich die durchschnittlichen von CF pro Tag bereitgestellten Daten ansieht, sind es etwa 2 GB pro Tag über einen Monat, als dieser Schwarm auftraf, sprang es auf 14 GB, ohne Anzeichen einer Verlangsamung, bis einige WAF-Regeln dem Ansturm Einhalt geboten.
Die Erhöhung der Eintrittsbarriere bedeutet, dass Benutzer, die wirklich hineinwollen, hineinkommen. Diese muss man wertschätzen, aber der zusätzliche organische Traffic und so weiter, nun ja, das wird keine Rolle spielen.
Wie ich bereits sagte, stellt die mittel- bis langfristige Tragfähigkeit hier ein sehr ernstes Problem dar.
Es erfordert nun Zeit und auch Geld, eines oder beides. Ich weiß nicht, wie man das anders umgehen kann als mit der aktuellen Haltung, und dann gibt es noch die nukleare Option: den Stecker ziehen. Ich habe gesehen, wie Websites wegen weniger geschlossen wurden.
Das offene Internet wurde nicht für diese Art von Spiel entwickelt.
Sicher, wenn Sie feststellen, dass Sie 50x-Fehler erhalten, ist das etwas Dramatisches.
Ich habe früher hinter Cloudflare gearbeitet und würde es wieder tun, wenn ich ein Problem hätte: Meine Überlegung ist, dass sie einen zentralen Überblick über den gesamten bösartigen Datenverkehr haben und schnell und zentral reagieren können. Ich glaube, sie haben spezielle Angebote, um schlecht agierende KI-Crawler zu stoppen. Ich würde nicht erwarten, dass lokale Methoden in diesem Wettrüsten sehr gut funktionieren.
So wie ich eine kleine Gebühr an Mailgun zahle, um E-Mails zu versenden, was ich in einer idealen Welt nicht tun müsste, würde ich akzeptieren, dass ich möglicherweise eine kleine Gebühr an jemanden zahlen muss, um diesen unerwünschten Datenverkehr zu blockieren.
Teste jetzt den Login-Only-Modus aufgrund der Verkehrslage.
Ich denke, der CF-Cache wird hier ein Problem sein, d.h. er wird weiterhin das ausliefern, was zwischengespeichert ist?
KI-Bots greifen unter anderem auf direkte Pfade zu, zum Beispiel:
...stylesheets/docker_manager_abc123.css
Der ausgelieferte Text, .js-Dateien usw. usw. Tatsächlich glaube ich, dass die Dinge an der „verwalteten Herausforderung“ vorbeikommen, und ich habe ähnliche Bedenken auf Reddit gelesen.
Gibt es eine nützliche Liste aller Verzeichnisse usw., die mit einer Regel blockiert oder verwaltet werden können, ohne alles kaputt zu machen?
Ich nehme also an, dass der Login-Only-Modus keinen vollständigen Zugriffsentzug für anonymen Verkehr bedeutet, wenn CF verwendet wird, aber schon, wenn der Cache nicht verwendet wird. Kann das jemand bestätigen?