Wir nutzen SSO mit einer WordPress-Seite. Wie können dann Crawler darauf zugreifen? Die Anzahl ist zwar gering, aber da es sich um sensible Informationen handelt, sind selbst wenige Crawler ein Problem. Unsere typische Aufschlüsselung der konsolidierten Seitenaufrufe pro Tag lautet:
Angemeldete Benutzer: 5000
Anonyme Benutzer: 20 (Das Auslösen dieser Zahl erfolgt durch Aufruf der Anmeldeseite, daher ist dies kein Problem)
Crawler: 5 (Wie?)
Ich habe Smarter handling of random crawler traffic gelesen und verstehe vage, dass die Erkennung von Crawlern nicht perfekt ist. Sollte ich mir Sorgen machen?
Es scheint undenkbar, dass ein legitimer angemeldeter Benutzer einen Scraper verwendet.
