سؤال حول زاحف الويب

مساء الخير،

هل توجد طريقة محددة يمكن من خلالها لطلب HTTP أن يحدد نفسه كطلب من زاحف ويب لخادم Discourse؟ والسبب هو أن الموقع يستخدم عناصر مثل التمرير اللانهائي، لذا لدي سؤال حول ما إذا كان سيظهر الموقع بشكل مختلف عند إجراء طلب من زاحف. شكراً مقدماً!

يمكنك تضمين السلسلة bot في رأس User-Agent للحصول على عرض الزحف الخاص بنا.