Zur Info - Der Cloudflare Blog - Pro Crawl bezahlen

Allgemein
1
5 „Gefällt mir“
2

Das wäre nur fair.

3

Da Clouldflare offenbar einige dieser Crawler-Beschränkungen eingeführt hat, poste ich zur Referenz, was auf der SWI-Prolog-Website passiert.

Diese Balkengrafik zeigt die Legacy Consolidated Pageviews vom 20. Juni bis 3. Juli 2025, aufgeteilt in angemeldete Benutzer, anonyme Benutzer und Crawler. (Beschriftet von KI)
Diese Balkengrafik zeigt die Legacy Consolidated Pageviews vom 20. Juni bis 3. Juli 2025, aufgeteilt in angemeldete Benutzer, anonyme Benutzer und Crawler. (Beschriftet von KI)1096×303 8.46 KB

Gleicher Bericht, nur später am selben Tag.

Ein Balkendiagramm zeigt die Legacy Consolidated Pageviews vom 24. Juni 2025 bis 2. Juli 2025, unterteilt in angemeldete Benutzer, anonyme Benutzer und Crawler. (Beschriftet von KI)
Ein Balkendiagramm zeigt die Legacy Consolidated Pageviews vom 24. Juni 2025 bis 2. Juli 2025, unterteilt in angemeldete Benutzer, anonyme Benutzer und Crawler. (Beschriftet von KI)1087×302 8.4 KB

Liste der Crawler und Anzahl der Seitenaufrufe als CSV für das SWI-Prolog-Forum am 03. Juli 2025. Hinweis: Der Tag ist noch nicht zu Ende, daher könnten noch weitere Seiten aufgerufen werden, was die Zählungen erhöhen würde. Dies zeigt jedoch, welche Crawler aktiv sind und wie viel sie herunterladen.

web-crawlers-250703-213320.csv (4,4 KB)

1 „Gefällt mir“