Webcrawler-Frage

Guten Tag,

gibt es eine bestimmte Methode, mit der eine HTTP-Anfrage als Webcrawler-Anfrage an den Discourse-Server identifiziert werden kann? Der Grund dafür ist, dass die Website Elemente wie Infinite Scroll verwendet, und ich hatte daher die Frage, ob die Seite bei einer Crawler-Anfrage anders dargestellt wird. Vielen Dank im Voraus!

Sie können den String bot in den User-Agent-Header aufnehmen, um unsere spezielle Crawler-Ansicht zu erhalten.

1 „Gefällt mir“

This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.