Вопрос о веб-краулере

Добрый день,

Есть ли какой-то специальный способ, с помощью которого HTTP-запрос может идентифицировать себя как запрос веб-краулера для сервера Discourse? Причина в том, что на сайте используются такие элементы, как бесконечная прокрутка, поэтому у меня возник вопрос, будет ли страница выглядеть иначе при запросе от краулера. Заранее спасибо!

Вы можете включить строку bot в заголовок User-Agent, чтобы получить специальный вид для наших краулеров.