웹 크롤러 관련 질문

제품 지원
1

안녕하세요,

HTTP 요청이 Discourse 서버에 웹 크롤러 요청임을 식별하는 특정 방법이 있을까요? 이 웹사이트는 무한 스크롤과 같은 요소를 사용하고 있어서, 크롤러 요청이 이루어질 때 페이지가 다르게 보일지 궁금해서 질문드립니다. 미리 감사합니다!

2

특별한 크롤러 뷰를 받으려면 User-Agent 헤더에 bot 문자열을 포함할 수 있습니다.