포럼의 독자층이 변하고 있습니다. 일부 독자는 더 이상 전통적인 의미의 독자가 아닙니다. 그들은 누군가를 대신해 내용을 읽고, 실제 클릭하거나 회원이 되지 않을 수도 있는 사람을 위해 내용을 요약하여 답변으로 제공하는 에이전트입니다. 개발자 지원 커뮤니티, 고객 포럼, 팬 클럽을 운영하든, 여러분의 지식은 지금 바로 AI 답변에 활용되고 있습니다.
진지한 질문입니다: 왜 AI 크롤러들이 제 서버를 범람하게 놔두어야 합니까? 물론 글에서는 선택이 항상 저에게 있다고 명확히 하고 있지만, 비즈니스 관점에서 보고 AI 스크래핑을 어떻게 다루는지 Reddit를 예로 들면, 여기서 얻을 수 있는 이점은 무엇일까요?
최근에 구글이 사용자 기록에 따라 개인화된 페이지를 만들 예정이라는 소식을 들었습니다. 즉, 웹마스터에게는 클릭이 줄어들고 알파벳(Alphabet)에게는 돈이 더 들어오는 구조입니다. 그렇다면 여기서의 의미는 무엇일까요?
현재 저는 웨이백 머신(Wayback Machine) 같은 검색 엔진과 캐시 인덱서가 제 콘텐츠를 읽고 캐시할 수 있도록 허용하고 있습니다. 하지만 제 커뮤니티가 아무런 혜택을 받지 못하는 상태에서, 제 사용자들의 콘텐츠가 알파벳과 그 동맹들이 수익을 올리는 데만 사용되고 있는 것이 눈에 보일 뿐입니다. 게다가 제 나라의 LGDP(개인정보보호법)나 유럽의 GDPR과 같은 법적 문제도 있습니다.
흥미로운 글 감사합니다!
논쟁의 여지가 있지만, Discourse의 가장 뛰어난 기능 중 하나입니다.
다른 웹사이트에서 데이터만 반환하는 URL을 찾아보다가 그런 것이 없다는 사실을 알게 될 때마다 늘 한숨이 납니다.
이러한 주장에 대해 출처 링크를 항상 포함해 주시면 좋겠습니다. 독자들이 데이터를 검증하는 데 도움이 될 것입니다 
포럼의 목적에 따라 달라집니다. 예를 들어 브랜드 또는 지원 포럼이라면, 가장 빠르게 답변을 제공하는 것이 목표일 수 있습니다. 이 경우 콘텐츠가 AI 학습에 활용되면 이점이 될 수 있습니다. 물론, 정말로 해결되지 않은 문제라면 사람들이 여전히 질문을 하러 사이트에 올 가능성이 있지만, AI를 먼저 찾는다면 이 또한 쉽지 않은 과제입니다.
더욱 사회적 맥락에서는 AI 스크레이퍼가 거의 쓸모없는 존재가 됩니다. 커뮤니티에서 사람들이 서로 상호작용하기를 원하기 때문이죠. 이런 경우라면 스크레이퍼를 완전히 차단하는 것이 좋은 선택이 될 수 있습니다.
AI와 SEO 분야에서 일하는 제 전문적인 관점에서 볼 때, llms.txt의 영향력과 중요성은 아직 입증되지 않았습니다. 최근 구글은 이를 사용하지도, 지원하지도 않는다고 발표했습니다. 이는 다른 에이전트들이 사용하지 않을 것이라는 뜻은 아니지만, 제가 공유하고 싶었던 미묘한 차이점 중 하나입니다.
솔직히 이해가 되지 않습니다. 개인적인 의견이지만, LLM이 제 웹사이트를 방문하는 것은 항상 금지되어 왔으며 앞으로도 그럴 것입니다. 텍스트든 코드가든 제 노력의 결실을 스크레이퍼, 특히 OpenAI나 Anthropic 같은 회사에 공짜로 제공하는 것을 좋아하지 않습니다.
제 도메인의 대부분에는 다음과 같은 파일들이 있습니다:
https://pyxfluff.dev/robots.txt
https://pyxfluff.dev/llms.txt
물론 이것은 모두 개인적인 취향의 문제이지만, 사람들이 이러한 회사들이 웹사이트 콘텐츠를 도둟아 가는 것을 허용하는 것을 멈추는 순간, 이 AI 광풍은 끝날 것입니다. 아마도 사람들이 강하게 반대하는 최신 구글 업데이트가 이제 더 이상 웹사이트에 트래픽이 없게 될 웹사이트 소유주들에게 일깨움을 줄지도 모릅니다.
불행히도 사이트의 콘텐츠가 공개적으로 접근 가능한 경우, LLM 스크레이퍼를 차단하는 확실한 방법은 없습니다. 많은 스크레이퍼가 robots.txt를 무시하고, 심지어 다른 사용자 에이전트와 IP 주소를 사용하여 인간 방문자로 위장하여 차단을 우회하기도 합니다. 많은 사람들이 자신의 콘텐츠가 이런 방식으로 사용되기를 원하지 않는 선택지를 원하고 있는 것으로 보이므로, 법적 규제를 통해 이러한 상황에 대한 안전장치를 마련할 수 있기를 바랍니다.
라이선스와 저작권과 같은 기존 법적 규제가 완전히 무시되고 있는 상황에서, 저는 희망을 품지 않을 겁니다. 
구글 같은 기업이 집단 소송을 당해 수십억 달러의 벌금을 물게 되더라도, 그들이 LLM에 투입한 수백억 달러에 비하면 빙산의 일각일 뿐입니다. "승자 독식"이라는 파워 로우 역학은 범죄를 이 회사들에게 극도로 유익하게 만듭니다.
이 업데이트와 함께 Anubis를 지원되는 캡챠로 추가해야 한다고 생각합니다.
