Ahrefs에서 우리 포럼을 보고 있었는데, “AI Citations”에 대한 보고서를 제공하고 있더라고요. 거기서 이런 내용을 봤습니다:
설정에서 확인해보니 이런 게 있더군요:
여기서 이 부분에 대해 경험 있는 분 계신가요? 봇의 스로틀링(throttling)을 적용하면 포럼이 아예 인덱싱되지 않는 건가요? 스로틀링을 제거한 후 리소스 사용량과 AI 인용에 미친 영향에 대해 말씀해 주실 수 있는 분이 있을까요? 감사합니다.
아니요, 그렇지 않습니다. 스로틀링이 중단되는 이유는 구현 방식에 따라 다르며, robots.txt는 사실상 무력하고 봇들이 미니 DDoS 공격처럼 행동하기 때문입니다.
AI 인용을 전혀 받지 못하는 세 가지 이유가 있습니다:
- 동일한 정보가 더 인기 있는 곳에서 더 많이 발견됩니다.
- 포럼 URL을 인용하도록 유도할 만한 질문 자체가 한 번도 제기된 적이 없습니다.
- Ahrefs의 데이터가 잘못되었습니다.
Ahrefs는 봇을 처음부터 차단해야 할 회사 중 하나입니다. 이것이 'Ahrefs의 데이터가 잘못되었다’는 가정이 세 가지 이유 중 하나인 이유 중 하나입니다.
제가 아는 바로는, Discourse에서 기본적으로 차단되어 있습니다:
그래서 네, ahrefs 리포트는 아마도 신뢰할 수 없을 것입니다.
데이터를 가져오지 못했음에도 불구하고 왜 그 사실을 알리지 않고 대신 "0"이라고 잘못 보고하는지는… 그건 그들에게 물어볼 일입니다.
봇 차단을 해제할 수는 있지만, 간헐적인 미니 DDoS 공격, 페이지뷰 증가 및 서버 부하 증가에 대비해야 합니다.
이 기능이 작동하려면 ahrefs 봇이 우리 포럼을 인덱싱할 수 있어야 할 필요는 없습니다. 왜냐하면 이 봇은 Google에서 확인한 내용만 보고하기 때문입니다.
그렇다면 매우 이례적인 상황이 될 것입니다. 우리 포럼은 연간 수백만 명의 방문객을 받거든요… 그래서 저는 능동적인 AI 봇 차단이 적용되고 있는 건 아닌지 궁금해졌습니다. 아니면 JS 렌더링 같은 기술적 요인 때문에 AI 스크레이퍼가 포럼을 쉽게 접근할 수 없는 구조일 수도 있겠네요.
아니요, 그렇지 않습니다. 그리고 그 정도는 많지 않습니다. 여기서 '히트’가 Google 검색 히트를 의미한다면, 저는 매년 350만 회를 기록하고 있습니다. 사용자 방문을 의미한다면, 그것도 그렇게 많지 않습니다. 봇 방문을 의미한다면, 오히려 낮은 수치입니다. 게다가 히트 횟수는 AI가 여러분의 포럼을 인용된 출처로 확실히 사용하고 있다는 것을 의미하지는 않습니다. 이는 그곳에 어떤 유형의 콘텐츠가 있는지 여부에 따라 달라집니다.
하지만 이것은 여기서 질문할 수 있는 그런 종류의 것이 아닙니다. Ahrefs가 그들의 지표를 어떻게 집계하는지 아는 것은 Ahrefs뿐입니다.
게다가 Ahrefs는 AI가 몇 번 인용했는지를 Google을 통해 확인할 수 없습니다.
그러니까 350만 명도 "그렇게 많지 않다"는 말인가, 아니면 그 숫자가 200만 명과 350만 명 사이 어딘가에서 중요해지기 시작하는 건가? ㅋㅋ
참고로 구글에서 유입되는 고유 방문자 수야… 그리고 방문자가 훨씬 적은 우리 다른 사이트는 AI 답변에 여기저기서 많이 나오고 있어… 그리고 ahrefs도 보고하고 있고(정확도는 잘 모르겠지만)… 작은 사이트는 인용이 훨씬 많은데, 더 큰 사이트의 인용이 0인 건 좀 이상해.
어쨌든, 이 주제에 대해 직접적인 지식이 있는 Discourse 웹마스터분들의 의견을 듣고 싶어요. 다른 분들도 ahrefs를 사용하면서 포럼의 AI 인용이 0이 아닌 것을 보고 계신가요? 감사합니다.
아니면 그냥 멍청한 계산 실수였다고 해야 할까요 
하지만 변명의 여지가 있다면, 그걸 계산했을 때 여기는 밤이었는데…
미안합니다.
저는 월 10,000을 벌고 있는데, 그건 그렇게 많지 않습니다. 하지만 연간으로 보면 350만보다 확실히 훨씬 적습니다.
관련이 있을 수 있는 내용:
Discourse 포럼에서는 봇과 유사한 사용자 에이전트를 사용하는 크롤러에 대해 크롤러 전용 뷰를 렌더링하므로, 이는 문제가 되지 않을 가능성이 높습니다.
물론, 크롤링이 허용되는 경우라면요.