웹사이트의 웹 크롤러 제어하기

여러 가지 이유가 있을 수 있지만, 구글봇에는 크롤링 예산이 있습니다. 사이트맵이 링크를 찾는 가장 중요한 방법이라면, 일별/주별/월별 예산이 소진될 때 구글봇은 내부 링크에 도달하지 못합니다.

그리고 포럼에서는 내부 링크가 구글이 아니라 사용자들에게 중요합니다.

하지만 구글봇이 내부 링크를 실제로 보는지는 알 수 없습니다. 다만, 그렇게 되어야 합니다.

1개의 좋아요