부수적으로 질문을 하나 던져 보겠습니다. Cloudflare를 사용하는 것이 Google 인덱싱에도 도움이 될 수 있을까요?
어제 일부 개선 사항을 확인했습니다. 인덱싱 및 노출 추이가 긍정적인 방향으로 바뀌었죠. 하지만 우연일 수도 있습니다. 
10월 말쯤에 급격한 증가가 관찰되었습니다. 이 봇들은 아마도 CF의 Block Ai Bots 완화 기능을 우회하고 있는 것 같습니다.
CF에서는 이제 AI Labyrinth 사용을 권장하고 있습니다:
AI Labyrinth는 크롤링 표준을 무시하는 봇을 교란하기 위해 AI가 생성한 콘텐츠를 포함한 nofollow 링크를 웹 페이지에 추가합니다. 추가된 nofollow 링크는 웹 페이지의 내용을 변경하지 않으며 봇에게만 표시됩니다.
AI로 AI를 맞서 싸우나요? 
AI 무장 경쟁인가요?
이것은 무기 경쟁이며, 스팸 발송자의 경우와 마찬가지로 앞으로도 그럴 것이라고 생각합니다.
Cloudflare(방공호)를 중간 중개자로 사용하여 이 문제를 완화하는 대안은 무엇인가요, 아니면 이것이 유일한 방법인가요?
전부 아니면 아무것도 아닌 것 같고, 아무것도 아님 = DDOS처럼 행동하는 AI 트래픽입니다! 
이런 트래픽 급증은 정말 골치 아픈 문제입니다. 현재 가장 효과적인 대응책은 현재 트래픽의 대부분이 유입되는 지오존(geo-zone)을 제외한 모든 다른 지오존에서 오는 트래픽에 대해 완전한 지오 블로킹을 적용하는 것입니다.
이러한 급증에 관여할 수 있는 ASN이 너무 많아, 이를 하나씩 골라내는 작업은 느리고 고통스러운 과정입니다.
이로 인해 중장기적으로 전반적인 운영이 매우 비현실적인 상태가 되었습니다.
저에게는 실제 인간 사용자들의 경험이 가장 중요합니다. 회원이든, 단순히 글을 읽는 사람이든 마찬가지입니다. 제 포럼의 반응 속도가 괜찮고, 추가 트래픽에 대한 비용을 청구받지 않으며, 로그로 인해 저장 공간이 가득 차지 않는 한, 이런 원치 않는 추가 트래픽은 크게 문제가 되지 않습니다.
물론 RAM이나 저장 공간, CPU를 추가해야 하거나 과도한 트래픽에 대한 비용을 지불해야 하는 상황이 오면 비용이 오를 수 있습니다. 하지만 제 경우에는 아직 그런 일이 일어나지 않았습니다.
네, 사용자 경험은 최우선입니다. 이 주제의 핵심이기도 하죠. 우리는 오직 ‘사용자’ 때문에 존재하지만, 가끔 개발자나 관련자들이 이 점을 잊고 있는 건 아닌지 의문이 듭니다.
이러한 AI 관련 트래픽이 서버를 너무 많이 압박해서 50x 에러가 발생하기 시작합니다. 특히 검색을 시도할 때 더 심합니다. 플랫폼은 상당한 트래픽을 견디고 버텨내지만, 조금씩 불안정해지고 있습니다.
어떤 스펙의 서버를 사용하고 있는지, 그리고 CF(Cloudflare)나 다른 WAF(Web Application Firewall) 뒤에 있는지 궁금합니다.
저는 4vCPU, 8GB RAM, 160GB 이상의 HDD를 가진 드롭렛(Droplet)에서 이러한 AI 트래픽 급증을 목격한 적이 있습니다. 실제로 고유 방문자 수가 급증할 때 수십 명의 고유 사용자를 처리하는 것은 쉽게 관리 가능했지만, AI가 데이터를 빨아들이는 듯한 움직임이 시작되자 서버가 정말 힘들어지기 시작했습니다.
입문급 드롭렛, 예를 들어 2GB 드롭렛에서 Discourse를 실행하는 경우, CF와 같은 서비스 뒤에 있지 않다면 플랫폼이 매우 빠르게 무너져 내리기 시작합니다.
이러한 현상은 AI 이전에는 일어나지 않았습니다. 핫 토픽이 있을 때만 발생했죠. 저는 그런 상황을 본 적이 있지만, 그건 사후에야 알 수 있었습니다. 성능에 눈에 띄는 차이가 없었기 때문에 Discourse가 서빙을 문제없이 처리했거든요.
CF의 평균 데이터를 보면, 한 달 동안 하루 평균 전송 데이터량이 약 2GB였는데, 이 AI 스웜이 덮치자 14GB까지 치솟으며 멈출 기미가 보이지 않았습니다. 몇 가지 WAF 규칙을 적용해 이 공격을 제어하기 전까지는요.
진입 장벽을 높이는 것은 진짜로 들어오고 싶어 하는 사용자는 들어오게 하지만, 그들을 소중히 여겨야 한다는 뜻이기도 합니다. 하지만 그 외의 추가적인 유기적 트래픽 등은, 음, 그냥 신경 쓰지 않게 될 것입니다.
말씀드렸듯이, 중장기적 생존 가능성은 여기서 정말 심각한 문제를 제기합니다.
이제 시간과 돈, 또는 둘 다에 대한 자원이 필요합니다. 현재 태도를 유지하는 것 외에 이 문제를 해결할 다른 방법을 저는 알지 못합니다. 그리고 그다음 단계는 원자폭탄 옵션, 즉 서버를 꺼버리는 것입니다. 저는 더 적은 문제로 사이트가 폐쇄되는 것을 본 적이 있습니다.
오픈 인터넷은 이런 종류의 게임을 염두에 두고 구축된 것이 아닙니다.
물론 50x 에러를 다수 확인한다면, 이는 매우 심각한 상황입니다.
저는 예전에 Cloudflare을 사용했고, 문제가 발생하면 다시 사용할 것입니다. 제 생각에는 Cloudflare이 모든 악성 트래픽에 대한 중앙 집중식 뷰를 갖추고 있어 신속하고 중앙 집중식으로 대응할 수 있기 때문입니다. 또한, 잘못된 행동을 하는 AI 크롤러를 차단하기 위한 전용 서비스를 제공한다고 믿습니다. 이 무기 경쟁에서 지역적 방법만으로는 큰 효과를 거두기 어려울 것이라고 생각합니다.
이상적인 세상에서는 필요하지 않을 메일 처리를 위해 Mailgun에 소액의 비용을 지불하듯, 이러한 원치 않는 트래픽을 차단하기 위해 누군가에게 소액의 비용을 지불해야 할 수도 있다는 점을 수용할 것입니다.
현재 트래픽 수준 때문에 로그인 전용 모드를 테스트하고 있습니다.
CF 캐시가 문제가 될 것 같습니다. 즉, 이미 캐시된 내용은 그대로 제공되겠죠?
AI 봇을 포함한 여러 직접 경로가 예를 들어 다음과 같은 방식으로 접근하고 있습니다:
...stylesheets/docker_manager_abc123.css
텍스트는 물론이고 .js 파일 등도 제공되고 있습니다. 사실 이 것들이 ***“managed challenge”***를 우회하고 있는 것 같고, Reddit에서도 같은 맥락으로 우려 섞인 의견들을 읽었습니다.
모든 것을 망치지 않으면서도 차단하거나 규칙으로 관리할 수 있는 모든 디렉터리 등의 유용한 목록이 있을까요?
즉, CF를 사용할 경우 로그인 전용 모드가 익명 트래픽에 대한 완전한 접근 거부를 의미하지는 않지만, 캐시를 사용하지 않을 경우에는 그렇게 된다는 뜻인가요? 확인해 주실 분 계신가요?