OpenAI가 GPTBot이라는 이름의 웹 크롤러를 생성했습니다.
디스코urs 관리자로서 <site>/admin/reports/web_crawlers 보고서를 확인해 보았지만 아직 그 흔적을 발견하지 못했습니다.
다른 분들도 실제 환경에서 이 크롤러를 목격한 적이 있는지 궁금합니다.
저희는 (그리고 방금 차단했습니다).
2개의 좋아요
참고로… 다음과 같은 잘못된 감정이 퍼져 있는 것을 보고 있습니다:
그냥 차단하면 됩니다
이것은 일방적인 관계입니다
이러한 관점은 중요한 점을 하나 놓치고 있다고 생각합니다. OpenAI가 meta.discourse.org를 크롤링하도록 한 것은 CDCK에게 매우 유익했습니다. GPT 4에게 Discourse 관련 질문을 할 때, 적어도 답변할 가능성이 생기기 때문입니다.
이것은 양방향 관계입니다:
OpenAI에게 데이터 접근 권한을 부여합니다.
OpenAI는 숲을 불태우며(과장된 표현) LLM을 학습시키기 위해 해당 데이터를 사용하는데, 이는 사용자에게 가치를 제공할 수 있습니다.
관련 링크: How to prevent community content from being used to train LLMs like ChatGPT?
우리의 서비스 플릿 전체에서 GPTBot의 접근을 확인하고 있으며, 그 트래픽은 Googlebot에서 확인되는 것보다 약 20~40배 적은 수준입니다.
불편함을 느끼시는 분은 Discourse UI에서 직접 차단할 수 있지만, 우리가 이전에 확인했던 일부 악성 봇과 비교했을 때 이 봇의 행동은 매우 정숙한 편입니다.
8개의 좋아요
나쁜 사례들을 식별하고 싶은 분들을 위해, 우리가 발견하는 대로 이 게시글에 기록하고 있습니다.
1개의 좋아요
네, 크롤러 리포트를 처음 사용해보는데, 과연 그랬습니다. 바로 거기에 있었습니다.
제 생각에는 8월에 나타났고, 크롤러 중에서도 가장 규모가 큽니다.
24시간 동안의 예시와 비율을 보여드리겠습니다.
#1 ChatGPT 18,000 페이지뷰
#2 mj12bot 1,800 페이지뷰
…
#4 Google 1,700 페이지뷰
이 디스코urs 배포판은 크롤러가 콘텐츠에 접근하는 것을 완전히 차단하기 위해 특별히 long_required 설정을 적용했습니다. 따라서 로그인 페이지에만 접근해서 그 많은 히트를 기록하고 있는 건가요?
사용자를 사용할 수 있을까요?
기술적으로는 가능하지만 가능성이 낮다고 생각합니다. 만약 그렇다면 그런 사용자의 게시물 읽기 횟수가 갑자기 매우 높게 나타날 것이라고 예상할 것입니다.
현재는 10만 페이지뷰에 근접하며, 다음으로 높은 수치(약 절반 미만)를 크게 상회하고 있습니다.
ChatGPT 크롤러는 괴물입니다.
1개의 좋아요
3번 항목이 식별되지 않나요? 저도 같은 항목이 하나 있습니다. 목록에는 그냥 "—"로만 표시되고요. 제 목록에서도 3번인데, 제 로그인 필수 개인 포럼에서는 봇의 페이지뷰가 훨씬 적습니다. 
1개의 좋아요
아니, 그렇다고 볼 수도 있겠네요. 글자가 잘려서 읽을 수가 없었지만, AppleWebKit 크롤러인 것 같아요. 전체 항목을 확인하려면 데이터를 내보내야 할 것 같습니다.
그 이후로 로그인 필수인 비공개 게시판이라서 당신과 같은 상황이지만, 거의 모든 크롤러를 차단했습니다. 며칠 전에는 하루에 약 14,000건에 달했던 크롤러가 오늘 현재까지 20건으로 줄었습니다!
2개의 좋아요
대시보드에서 admin/reports/web_crawlers를 통해 지난 30일간의 웹 크롤러를 확인할 수 있습니다. 각 크롤러 위에 마우스를 올리면 목록을 내보내지 않아도 해당 크롤러의 전체 설명이 일시적으로 표시됩니다. 오른쪽 위 달력을 이용해 지난 1일치로 변경한 후 새로고침(Refresh)을 클릭하세요.
지난 24시간 동안 크롤러가 3개 있었습니다(1번째가 가장 많습니다):
PetalBot - petalsearch.com/bot/petalbot - 4회 조회
GPTBot - openai.com/gptbot - 3회 조회
— - (설명 없음) - 1회 조회
30일 동안의 전체 기간을 보면 PetalBot이 가장 많이 크롤링하며, 그 뒤를 Yandex가 이었습니다.
1개의 좋아요
이제 확인했는데, 약 15줄 아래에 있네요. 크롤러 목록에 "—"를 추가했는데, 가장 심각한 것들과 비교하면 매우 낮은 수준이지만, 어떤 일이 일어날지 지켜보겠습니다 
1월부터 거의 50개의 목록을 보유하고 있는데, 놀랍게도 ChatGPT는 불과 2주도 안 되어 1월부터 오늘까지의 기간 동안 두 번째로 높은 봇의 두 배를 넘었습니다. 이 속도가 유지된다면 ChatGPT는 하루 7~8천 페이지뷰로 연간 거의 300만 페이지뷰에 달하게 됩니다.
방금 Grammarly도 차단 목록에 추가했습니다!
1개의 좋아요
관심 있는 분들을 위해, OpenAI의 GPTBot이 사용하는 IP 범위(공식 웹사이트에 게시된 내용)를 공유합니다. 총 9개의 IP가 나열되어 있습니다.
3개의 좋아요
저도 지난달에 같은 경험을 했습니다. GPTBot/DeepSeek/Perplexity를 지연 처리하도록 허용했는데, 이 소스들이 서서히 증가하고 새로운 멤버들이 전환되는 것을 확인했습니다.
팁: Cloudflare의 Rate Limits를 사용하면 높은 요청량과 대역폭 과부하를 방지하는 데 도움이 될 수 있습니다.
제 생각에는 OpenAI는 지연을 따르지 않습니다. 그래서 제가 그들의 스쿨링 봇을 차단한 이유이기도 합니다. 그 봇이 너무 성실하게 활동했거든요(물론 다른 이유도 있었고, 제가 보이는 대로 SEO/마케팅 봇을 전부 차단하는 이유와도 같습니다. 남의 비즈니스에 돈을 쓰지 않으니까요).
1개의 좋아요