Seitenaufrufe von anonymen Nutzern sind explodiert, aber Google Analytics zeigte kein Traffic-Wachstum. Wie findet man heraus, woher der Anstieg kommt?

Gemeinschaft Daten & Berichterstattung
1

In den letzten zwei Wochen ist die Anzahl der Seitenaufrufe (PV) von anonymen Nutzern explodiert. Google Analytics (GA) zeigt jedoch ein anderes Bild. Wie Sie sehen können, verzeichnete GA sogar einen leichten Rückgang. Ich freue mich über das Wachstum, würde aber gerne mehr darüber erfahren, woher die plötzlichen Seitenaufrufe von anonymen Nutzern stammen.

Gibt es eine Möglichkeit, die verweisenden Seiten für anonyme Nutzer einzusehen?

Screen Shot 2020-12-20 at 10.41.21 PM
Screen Shot 2020-12-20 at 10.41.21 PM2040×816 90.3 KB

Ich habe diesen früheren Beitrag gefunden: Is the info Top Referred Topics/ Top Traffic Sources stored in a table in the database? - #9 by simon. Ist dies der richtige Schritt?

2

Hallo @zhenniwu,

Das ist kein „Wachstum“. Deine Seite wurde höchstwahrscheinlich von einem Rogue-Bot besucht, der keine robots.txt-Regeln einhält und von Google bereits als „Rogue-Bot“ markiert wurde. Daher wird deren Traffic in deren Statistiken herausgefiltert.

Du kannst dafür wenig bis gar nichts tun, es sei denn, du bist bereit, viel Zeit und Energie in die Bot-Erkennung und -Blockade zu investieren, was für die meisten Menschen jedoch größtenteils Zeitverschwendung ist.

Das ist einfach „das Leben im Internet, wie wir es kennen“ und nichts, worauf man im Großen und Ganzen auch nur achten müsste.

3

@neounix Vielen Dank für deine Hinweise! Das hat unsere Vermutung bestätigt. Wir stehen kurz vor einem Update mit Discourse und hoffen, dass dies die betrügerischen Bots drosseln wird. Wir werden weiterhin die Seitenaufrufe von anonymen Nutzern überwachen.

Übrigens: Weißt du, ob es eine Möglichkeit gibt, zu bestätigen, ob es sich um einen Bot handelt? Vielen Dank für deine Unterstützung!

4

Hey @zhenniwu,

Du hast bereits bestätigt, dass es sich um einen Bot handelt, indem du das Verhalten beobachtet und als Anomalie erkannt hast.

Bot-Erkennung ist einfach, wenn der User-Agent-String (UA) des Clients auf die eine oder andere Weise „ICH BIN EIN BOT

5

Denkst du, dass dies die Robots-Änderung ist, die wir auch für Google vorgenommen haben, @sam?

6

Das könnte durchaus der Fall sein, aber der einzige Weg, es sicher zu wissen, ist, den tatsächlichen Datenverkehr zu sehen.

7

Die überwältigende Mehrheit der Bots beachtet robots.txt nicht.

Tatsächlich lesen viele bösartige Bots robots.txt, um Informationen darüber zu erhalten, welche Bereiche Administratoren für Bots unzugänglich machen möchten, und versuchen dann, aus diesen Bereichen Informationen zu extrahieren!

Mit anderen Worten: robots.txt ist für die Kontrolle des Verhaltens von 99,9 % (man kann auch eine noch höhere Prozentzahl wählen) der Bots im Internet nicht wirksam; zudem kann es sensible Bereiche einer Website offenlegen.

8

Das ist nach 7 Jahren unseres Hosting-Geschäfts nicht richtig. Sicherlich gibt es böswillige Bots, aber sie sind alles andere als verbreitet.

9

Verstehe. Diese Explosion könnte also nicht von rogue Bots stammen.

@codinghorror @sam, wir stellen unsere Daten gerne für eure Analysen und Fehlerbehebungen zur Verfügung. Sagt mir einfach, was ihr benötigt, und ich schicke es euch zu. Vielen Dank im Voraus!

10

Hallo Jeff!

Dann hast du Glück! Ich habe eine ResearchGate-Arbeit mit dem Titel „Virtualized Cyberspace - Visualizing Patterns & Anomalies for Cognitive Cyber Situational Awareness

11

Neugierig, was die Änderungen sind. Gibt es einen Commit/CL?

12

Genau, und unsere Kunden würden absolut toben, wenn dies der Fall wäre, denn sie werden effektiv pro Seitenaufruf berechnet. Bösartige Bots, die übermäßige Seitenaufrufe generieren, kosten sie Geld und würden dazu führen, dass sie unsere Hosting-Plattform verlassen. Deshalb haben wir beispielsweise Bing stark gedrosselt – suchen Sie gerne selbst danach, falls Sie neugierig sind.

Also ja: Unsere mehr als sieben Jahre Hosting-Erfahrung haben gezeigt, dass bösartige Webcrawler bzw. Bots, obwohl sie existieren, kein signifikantes Problem darstellen.

(Dasselbe würde ich auch für Stack Overflow sagen, eine der Top-100-Webseiten, die ich mitgegründet habe.)

13

Hey Jeff!

Toller Austausch!

Ich war vor kurzem auf einer Telefonkonferenz mit dem CFO eines der größten technischen Werbenetzwerke mit Hauptsitz in New York City. Er sagte mir, dass sie (und ihre Werbetreibenden) Bot-Traffic (sowohl bösartigen als auch anderen) als eine ihrer Hauptbedenken betrachten und sehr viel Geld in genau dieses Thema investieren (die Unterscheidung zwischen legitimen Nutzerdaten und Bot-Traffic).

Sie sind also tatsächlich sehr glücklicherweise, wenn Ihre Websites nicht unter denselben Problemen leiden, die die Wall Street und ihre Werbetreibenden, die ständig dagegen ankämpfen, plagen.

Viele Unternehmen, mit denen ich in den letzten zwei Jahrzehnten im Bereich Cybersicherheit und Betrugsbekämpfung zusammengearbeitet habe, haben genau die entgegengesetzte Erfahrung gemacht, ganz ehrlich.

Gut gemacht, Jeff!

14

Übrigens, das könnte Sie interessieren. Es ist zwar „alt

15

Wie gesagt, wären wir buchstäblich pleite, wenn das, was Sie beschreiben (wild verbreitete bösartige Bots, die Millionen von Seiten pro Sekunde herunterladen), zuträfe. Ich nehme also an, es ist eine Art Wunder! Ich bin mir nicht sicher, wie ich diesen Konflikt zwischen dem, was Sie für wahr halten, und den tatsächlichen geschäftlichen Realitäten erklären soll, die ich bei Stack Overflow (2008–2012) und Discourse (2012–heute) erlebt habe.

Andererseits sind Werbenetzwerke und Bots ein ganz anderes Thema – denn Bots, die sich als Nutzer ausgeben und auf Anzeigen klicken, sind für die Botschreiber eine Möglichkeit, „kostenloses

16

Hallo Jeff,

FYI, es ist allgemein bekannt und keine persönliche Meinung von mir, dass Bot-Traffic den menschlichen Traffic im Internet übersteigt.

Screen Shot 2020-12-23 at 1.16.39 PM
Screen Shot 2020-12-23 at 1.16.39 PM976×566 61.7 KB

Es ist ebenfalls allgemein bekannt und keine persönliche Meinung von mir, dass ein großer Anteil des Bot-Traffics von Bots stammt, die robots.txt nicht respektieren. Manche schätzen dies auf mindestens die Hälfte; meine Erfahrung zeigt jedoch, dass es „von der Website und dem Thema abhängig“ ist.

Ich freue mich, dass du bei den von dir gegründeten und aufgebauten Unternehmen andere Erfahrungen gemacht hast, und das ist großartig für dich.

Andererseits ist die Tatsache im Internet, dass Bot-Traffic im Jahr 2020 etwa zwischen 55 und 60 Prozent des gesamten Traffics ausmacht; und davon stammt rund die Hälfte von Bots, die robots.txt nicht respektieren. Einige Studien beziffern den Anteil „schlechter Bots“ auf bis zu 35 Prozent des gesamten Traffics, andere höher, je nach Studie. Ich erfinde das nicht; es ist gut dokumentiert.

Wenn du Forschungsarbeiten oder Statistiken hast, die über deine Erfahrungen beim Hosting bei Discourse oder deinen früheren Erfahrungen hinausgehen und zeigen, dass „schlechter Bot-Traffic“ verschwindend gering ist, würde ich mich sehr freuen, sie zu lesen; denn persönlich habe ich noch nie eine Forschungsarbeit oder einen referenzierten Artikel gesehen, der besagt, dass „schlechter Bot“-Traffic so gering ist, wie du es hier darstellst.

Ich entschuldige mich, falls meine Nicht-Zustimmung mit dir dich verärgert. Ich habe Referenzen bereitgestellt und kann weitere bereitstellen (nicht meine Meinung), falls du offen für Fakten zum Internet-Traffic bist.

Ansonsten werde ich das Thema hier nicht weiter verfolgen, um dich nicht zu ärgern :slight_smile:, da ich nicht mit dir über etwas streiten möchte, zu dem du eine starke Meinung hast, auf einem Forum, auf dem ich keine Admin-Rechte habe :slight_smile:

Frohe Feiertage!

17

[quote=“neounix, Beitrag: 16, Thema: 173892”]
Andererseits ist die Tatsache im Internet, dass Bot-Traffic im Jahr 2020 etwa zwischen 55 und 60 Prozent des gesamten Traffics ausmacht; und von diesem Bot-Traffic respektiert rund die Hälfte den robots.txt nicht. Einige Studien setzen den Anteil der „schlechten Bots

18

[quote=“neounix, Beitrag: 16, Thema: 173892”]
Forschungsarbeiten oder Statistiken außerhalb deiner Erfahrung mit dem Hosting bei Discourse oder deiner vorherigen Tätigkeit; nachzuweisen, dass „schlechter Bot-Verkehr

19

Hallo Jeff,

Wenn du mich als einen „verrückten Theoretiker

20

Hallo @Sailsman63,

Ich habe in mehreren Bereichen zusätzliche Referenzen bereitgestellt; ich habe weder eine detaillierte Arbeit noch eine Erhebung über den gesamten Internetverkehr in jedem betrieblichen Szenario veröffentlicht oder behauptet, dies zu tun.

Meiner Ansicht nach wird jeder Ingenieur, der mindestens 60 Minuten Recherche im Internet betreibt und über angemessene Forschungs- und Analysefähigkeiten verfügt, (1) zahlreiche Verweise auf operative Berichte (nicht auf Theorien) finden, wie viel Prozent des Netzwerkverkehrs im Internet Bots zuzuschreiben sind, und (2) eine Reihe von Referenzen finden, die auch quantifizieren, wie viel dieses Verkehrs von „böswilligen Bots