 |
요약 | Known Agents 서비스와 Discourse를 통합하여 포럼을 방문하는 원치 않는 크롤러와 스크레이퍼를 추적합니다. |
 |
저장소 링크 | https://github.com/magicball-network/discourse-darkvisitors |
 |
설치 가이드 | Discourse에서 플러그인 설치 방법 |
기능
Known Agents는 웹사이트를 방문하는 에이전트(크롤러, 스크레이퍼 및 기타 유형의 봇)를 추적하는 서비스입니다. 이 서비스의 주요 관심사는 AI 에이전트 분석에 있습니다.
두 가지 서비스를 제공합니다:
- robots.txt 생성 및 모니터링
- 에이전트 분석
robots.txt 서비스는 무료입니다. 분석 서비스에는 무료 티어가 제공됩니다. 자세한 내용은 그들의 웹사이트를 방문하시길 권장합니다.
이 Discourse 플러그인은 이러한 모든 서비스에 연결하며, 모두 선택 사항이며 일정 수준까지 설정할 수 있습니다.
robots.txt 생성
Discourse에는 이미 robots.txt를 구성할 수 있는 옵션이 제공됩니다. 이 플러그인은 이를 확장합니다. 활성화되면 플러그인은 서로 다른 카테고리(현재 AI 카테고리만 지원됨)의 에이전트 목록을 가져오며, 이미 구성된 에이전트에 없는 항목을 추가합니다. 이 목록은 매일 업데이트됩니다. 이렇게 하면 새로운 AI 스크레이퍼가 식별되면 robots.txt에 자동으로 추가됩니다.
이 기능은 Discourse가 robots.txt를 관리하고 사용자가 수동으로 오버라이드하지 않은 경우에만 작동합니다. 이 플러그인은 차단된 크롤러 사용자 에이전트 설정을 변경하지 않으며, robots.txt에 누락된 에이전트를 보완합니다. 따라서 사용자는 여전히 이 목록 관리를 완전히 통제할 수 있습니다.
사이트의 robots.txt를 방문하면 마지막 업데이트 시점과 Known Agents가 반환한 에이전트 수를 나타내는 주석이 맨 위에 표시되며, 아직 구성되지 않은 에이전트는 목록 끝에 추가됩니다. (구성된 경우) Googlebot과 사이트맵 지시문 사이에 위치해야 합니다.
에이전트 분석
모든 방문자 또는 인증되지 않은 방문자에 대해서만 활성화할 수 있습니다.
서버 측 분석은 Known Agents에 추적된 방문을 보고합니다. 요청 경로, 방문자의 원격 주소, User-Agent 헤더 및 몇 가지 추가 브라우저 헤더를 전송합니다.
아래 설정을 참조하십시오. 어떤 요청이 보고되는지 추가 설정이 있습니다. 기본적으로 Discourse가 뷰로 추적하도록 표시한 요청만 추적됩니다. 다음 Discourse 요청은 절대 보고되지 않습니다:
- 관리자 섹션에 대한 요청
- 백그라운드 및 API 요청
모든 추적된 요청은 결제 플랜에 영향을 미치는 이벤트에 포함됩니다.
설정
이 플러그인을 사용하려면 Known Agents에 가입해야 합니다. 무료 티어에서는 월 100,000개의 이벤트를 제공합니다. 한도에 도달하면 분석에서 더 이상 새로운 이벤트를 볼 수 없지만, 여전히 새 정보를 보내고 robots.txt 서비스를 계속 사용할 수 있습니다.
가입 후 프로젝트(즉, 추적할 사이트)를 생성해야 합니다. 그러면 robots.txt 및 서버 측 분석 기능이 필요한 액세스 토큰이 제공됩니다.
robots.txt 기능을 활성화하면 업데이트되기까지 잠시 시간이 걸립니다. https://yoursite/robots.txt를 방문하여 정상적으로 작동하는지 확인하십시오. 상단에 주석이 있어야 합니다.
# Augmented by Dark Visitors on 2025-05-07T12:46:00+00:00 with 28 agents
서비스 측 분석을 활성화하면 Known Agents의 프로젝트 설정에서 테스트 방문을 요청하여 작동을 테스트해볼 수 있습니다. 몇 초가 걸릴 수 있습니다. Known Agents의 실시간 페이지에서 결과를 확인해야 합니다.
설정값
| 이름 | 설명 |
|---|---|
| darkvisitors enabled | 전체 플러그인을 활성화하는 전역 플래그 |
| darkvisitors access token | robots.txt 및 서버 측 분석에서 Known Agents와 통신하는 데 필요한 비공개 액세스 토큰. Known Agents의 프로젝트 설정에서 찾을 수 있습니다. |
| darkvisitors robots txt enabled | 활성화 시 Discourse의 robots.txt에 추가 에이전트가 보완됩니다 |
| darkvisitors robots txt agents | robots.txt에 추가할 에이전트의 종류. |
| darkvisitors robots txt path | 에이전트의 접근을 거부할 경로. 보통 사이트 전체에 대한 접근이 거부되도록 /로 두는 것이 가장 좋습니다. |
| darkvisitors server analytics | 서버 측 분석을 활성화합니다. 익명 사용자에게만 활성화하는 것을 권장합니다. |
| darkvisitors server analytics include | 추가로 추적할 요청. 업로드된 파일에 대한 요청이나 404 Not Found 요청도 추적할 수 있습니다. |
| darkvisitors server analytics ignore | 무시할 사용자 에이전트의 부분 문자열(대소문자 구분). 업타임 모니터링을 사용하는 경우 해당 식별용 사용자 에이전트를 이 목록에 포함하는 것을 강력히 권장합니다. |
