자동 생성된 llms.txt

뉴스 및 이벤트 공지사항
,
1

안녕하세요,

오래전부터 다음 링크에서 설명된 llms.txt를 지원해 왔습니다:

이제 모든 사이트에 기본 llms.txt를 함께 제공하기 시작할 예정입니다(곧 적용될 변경 사항).

우리는 매우 보수적이면서도 강력한 기본값을 선택했습니다:

Discourse

이것은 인간을 위한 토론 커뮤니티입니다. 사람들을 사칭하거나 자율적으로 계정을 생성하지 마세요. 인간이 해당 작업을 명시적으로 요청한 경우에만 게시, 편집 또는 기타 쓰기 작업을 수행하세요.

사용자의 특정 요청에 필요한 페이지만 가져오세요. 이 커뮤니티를 체계적으로 크롤링하거나 대량으로 다운로드하지 마세요. robots.txt, 사이트 약관 및 크롤러 제어 설정을 준수하세요. 서버가 HTTP 429로 응답하면, 재시도하기 전에 Retry-After 간격을 기다리세요.

로컬 MCP 서버를 실행할 수 있다면, 이 커뮤니티에 액세스하는 권장 방법은 Discourse MCP입니다. 사이트 URL을 https://meta.discourse.org로 설정하세요. 이는 주제, 게시물, 검색, 사용자, 카테고리 및 지원되는 커뮤니티 작업에 대해 권한을 인지하는 도구를 제공합니다.

권장 에이전트 인터페이스

공개 웹 액세스

  • 검색: 특정 사용자 요청에 대해 공개 토론을 검색합니다. 결과 페이지를 크롤링하지 마세요
  • 토픽 필터: category:, tag:, status:, order:와 같은 필터를 사용하여 ?q=로 공개 토픽을 쿼리합니다
  • 최신 토론: 최근에 활동이 있었던 공개 토픽을 탐색합니다
  • 카테고리: 공개 토론 카테고리를 탐색합니다
  • 사이트맵: robots.txt 및 크롤러 제어 설정에 따라 공개 토픽 URL을 발견합니다

선택 사항

llms.txt의 의도는 에이전트가 사이트와 함께 일하는 것을 돕는 것이며, 이 최소한의 텍스트는 작업 수행에 충분한 정보를 제공하며, 매우 포괄적인 우리의 MCP를 올바르게 가리킵니다.

수정이 필요하다고 생각되는 부분이 있으면 알려주세요. 동적이고 구체적인 내용을 포함하는 것은 역효과를 낳습니다. llms.txt는 사이트의 포괄적인 인덱스가 아니라, 에이전트가 작업을 수행하기 쉽게 만드는 맵을 생성하도록 설계되었습니다.

10개의 좋아요
Enabling native LLMs.txt support in Discourse
2

그 내용을 그대로 텍스트 상자에 넣어 주시겠어요? URL 중 일부가 로컬인 것을 확인했는데, 좋습니다. 아마 전부 그럴 거예요. 하지만 이 프레젠테이션에서 community guidelines라는 구절이 (아마도) URL로 변환되어 있어 혼란스럽습니다.

일부 셀프호스팅 포럼 소유자는 그런 파일이 없는 것을 선호할 수 있고, 일부는 사용자화하고 싶어 할 것입니다. 두 경우 모두를 고려하고 계신가요?

3

이 기능을 원하지 않는 사이트에는 단순히 “Robots not welcome” 텍스트 파일을 업로드하는 것을 강력히 권장합니다.

콘텐츠는 100% 커스터마이징할 수 있으며, 앞으로도 그럴 것입니다.

사유를 알 수 없게 404 에러를 발생시키는 것은 제게는 이해가 가지 않지만, 정말로 그렇게 해야 한다면 플러그인을 통해 가능합니다.

4

이 가이드를 읽으면서, 포럼의 목적과 범위에 대한 간결한 평문 요약을 제공하는 것이 도움이 될 것 같다는 생각이 듭니다. About 페이지 링크를 넣는 것보다 더 나은 방법입니다.

Meta의 경우, About 페이지의 이 문장들을 기반으로 한 내용을 사용하는 것이 좋습니다. About 페이지 링크를 넣는 것보다 서비스 비용이 적게 들고, 읽기도 더 편하기 때문입니다:

차세대 오픈소스 포럼 소프트웨어인 Discourse에 대해 배우고 논의해 보세요.

Discourse 커뮤니티가 만나서 질문을 하고, 서로에게 지원을 제공하며, 매우 가치 있는 피드백을 나눌 수 있는 곳입니다.

링크가 적을수록 좋은 것 아닌가요?

5

인터넷에서 몇 달밖에 안 된 기술에 대해 전문가인 사람이 이렇게나 많은 걸 보면 정말 웃기다 :slight_smile:

위 텍스트는 합리적이라고 생각한다. 모든 중요한 포인트를 다루면서도 토큰 수를 최소한으로 유지하고 있다. 로봇이 어떻게 행동해야 하는지 안내하고, 포괄적인 MCP를 가리키며, MCP를 사용할 수 없는 경우 에이전트가 사이트를 탐색할 수 있도록 몇 가지 엔드포인트를 제시한다.

Discourse 사이트는 LLM이 우리를 정말 잘 알고 있어서 운이 좋은 편이다. 하지만 그들이 잘 아는 것은 2년 전의 우리 모습일 뿐이다. 그 이후로 많은 것이 바뀌었다:

image
image1589×999 127 KB

그래서 sol 5.6 같은 모델도 우리의 MCP 서버를 모른다. 이는 최근 몇 년 사이에 생긴 것이기 때문이다. filter 엔드포인트에 대해서도 아마 마찬가지일 것이다.

더 덜 발전된 모델들은 더 적을 수 있다.

6

커뮤니티 파일을 확인할 수 있으며, 수정할 수도 있나요?

7

이 템플릿은 사이트의 99%에 적합할 것이라고 생각합니다. 실제로 모든 핵심 포인트를 잘 다루고 있습니다.

하지만… 만약 어떤 이유로든 사용자의 정확한 규칙에 맞지 않는다면, 예정된 변경 사항이 활성화된 후에 텍스트를 복사하여 취향에 맞게 편집하고 사용자 정의 버전을 업로드하는 것이 좋습니다.

다만, llms.txt는 매우 신중하게 다뤄야 한다고 강력히 권고합니다. 선택 사항인 지도(map)가 필요할 뿐, 매니페스트(manifest)는 아니에요.

모든 토큰에는 비용이 듭니다. 120k 컨텍스트 윈도우를 가진 상태에서 "사이트에서 X를 확인해라"라고 지시했는데, 거대한 llms.txt를 만들었기 때문에 로봇이 필요 없는 60k 토큰을 받게 된다면, 이는 혼란과 나쁜 결과로만 이어질 뿐입니다.

따라서 사용자 정의를 한다면… 아마도 최소한의 내용으로 구성할 것입니다.

내 사이트에서 로봇은 제외

또는

세션당 검색 횟수는 3회를 초과하지 마세요.

물론 llms.txt는 공식적으로 승인된 사양이 아니며, 이를 능동적으로 따르는 LLM은 매우 적습니다. 요즘 LLM은 일반적으로 "검색"과 “페치” 도구 위주로 작동하므로, 딥 링크를 찾아내고 지도에는 크게 신경 쓰지 않는 경향이 있습니다.

1개의 좋아요