이 가이드는
llms.txt표준을 통해 AI 에이전트와 LLM 크롤러가 커뮤니티를 쉽게 발견하고 활용할 수 있도록 하는 방법을 설명합니다. 자동 생성되는 기본 문서와 사용자 지정 업로드 파일 모두를 다룹니다.
필요한 사용자 권한: 관리자
요약
Discourse는 웹사이트의 LLM 친화적인 개요를 제공하기 위한 제안된 컨벤션인 llms.txt 표준에 대한 네이티브 지원을 포함하고 있습니다. 이를 "AI를 위한 robots.txt"라고 생각할 수 있습니다. /llms.txt에 위치한 작은 Markdown 파일로, 대규모 언어 모델(LLM)과 AI 에이전트가 사이트의 주제가 무엇인지와 어떻게 책임감 있게 접근해야 하는지 이해하는 데 도움을 줍니다.
두 가지 방법 중 하나를 선택하거나 결합하여 사용할 수 있습니다:
- 사이트 설정에서 기본 문서를 자동으로 생성하도록 Discourse에 맡기기
- 콘텐츠에 대한 완전한 제어를 위해 사용자 지정
llms.txt파일을 업로드하기
사용자 지정 업로드는 항상 생성된 문서보다 우선합니다.
llms.txt란?
llms.txt는 웹사이트의 큐레이션된, 에이전트 친화적인 지도를 제공하는 제안된 표준입니다. 사이트 루트(/llms.txt)에서 서빙되며 정밀한 Markdown 형식을 따릅니다:
- 사이트 이름이 포함된
H1헤딩 (유일한 필수 섹션) - 짧은 요약을 담은 인용 블록(blockquote)
- 더 자세한 내용이 포함된 선택적 Markdown 섹션
- 유용한 링크 목록을 포함하는
H2로 구분된 섹션
검색 엔진을 위해 페이지를 나열하는 sitemap.xml과 달리, llms.txt는 LLM 컨텍스트 윈도우에 적합하도록 설계된 간결한 개요입니다. 세부 사항은 링크 뒤에 있으며, 필요할 때만 가져와집니다.
Discourse v2026.1.0부터 Discourse는 사이트 루트에서 llms.txt를 서빙할 수 있습니다.
Discourse가 /llms.txt를 서빙하는 방식
Discourse는 /llms.txt에 대한 요청을 다음 순서로 처리합니다:
- 사용자 지정 파일을 업로드한 경우, Discourse는 이를
text/plain으로 변경 없이 서빙합니다. - 사용자 지정 파일이 업로드되지 않았고 생성된 기본 설정이 활성화된 경우, Discourse가 문서를 생성하여 서빙합니다.
- 그 외의 경우, Discourse는
404를 반환합니다.
생성된 문서는 익스트 방문자와 로그인한 사용자에게 동일하며, login required 리다이렉트의 영향을 받지 않습니다.
생성된 기본 문서
사용자 지정 파일이 업로드되지 않고 기능이 활성화된 경우, Discourse는 사이트의 기존 설정과 사이트의 기본 로케일을 사용하여 간결한 문서를 구성합니다. 여기에는 다음이 포함됩니다:
- 사이트 제목 (
title설정에서 가져오며, 호스트네임이 폴백으로 사용됨) site_description을 사용하거나short_site_description을 폴백으로 사용하는 요약 인용 블록- 사이트가 인간을 위한 토론을 위해 존재하며, 에이전트는 인간이 명시적으로 요청할 때만 작성해야 한다는 인간 커뮤니티 정책
- 에이전트가 필요한 것만 가져오도록 요청하고,
robots.txt및 크롤러 제어를 존중하며,Retry-After간격을 준수하여HTTP 429를 처리하도록 하는 에이전트 접근 정책 - 에이전트에게 Discourse MCP 서버를 선호하는, 권한 인식이 가능한 인터페이스로 지시하는 Discourse MCP 참조
- Discourse MCP 설정 링크가 포함된 선호 에이전트 인터페이스 섹션
enable_sitemap설정이 켜져 있을 때/sitemap.xml을 포함하여/search,/filter,/latest,/categories로 연결되는 링크가 있는 공개 웹 접근 섹션/about,/guidelines,/tos,/privacy로 연결되는 링크가 있는 선택적 섹션
사이트에 login_required가 활성화되어 있으면, 문서는 콘텐츠가 인증된 멤버에게만 제공된다는 주의를 추가하고 위에서 설명한 공개 발견 링크를 생략합니다. 링크는 베이스 패스(base-path)를 인식하므로 서브폴더 설치에서도 올바르게 작동합니다.
자동 생성된 llms.txt에서 발표 내용을 확인하고 생성된 템플릿에 대해 논의할 수 있습니다. Meta 자체는 현재 기본 파일을 서빙하고 있습니다.
생성된 기본 문서 활성화
생성된 기본 문서는 Upcoming Changes 시스템을 통해 관리자가 선택적으로 적용하거나 제외할 수 있는 베타 변경 사항으로 제공됩니다.
- 관리자 → 구성 → Upcoming Changes로 이동하거나
/admin/config/upcoming-changes를 방문합니다. - 사용자 지정 파일이 업로드되지 않았을 때 기본
/llms.txt를 생성하는 변경 사항을 찾습니다. - 활성화 대상(Enabled for) 드롭다운에서 모든 방문자를 위해 활성화하려면 **모두(Everyone)**를 선택합니다.
- 비활성화하려면 **아무도(No one)**를 선택합니다.
프로모션된 변경 사항은 준비가 되면 자동으로 여기에 나타나며, 관리자는 대시보드에서 통지를 받습니다. llms.txt 파일을 전혀 서빙하지 않는 것을 선호한다면 이 변경 사항을 **아무도(No one)**로 설정하거나 최소한의 사용자 지정 파일을 업로드하십시오.
사용자 지정 llms.txt 업로드
콘텐츠를 정확히 제어하기를 원한다면 자체 파일을 업로드할 수 있습니다.
.txt또는.md형식의llms.txt파일을 준비합니다 (최대 파일 크기는 512KB입니다).- 관리자 → 설정 → 보안으로 이동하거나
/admin/config/security를 방문한 후 LLMs TXT를 검색합니다. - 파일을 업로드하고 구성을 저장합니다.
설정이 완료되면 Discourse는 다음 경로에서 파일을 변경 없이 서빙합니다:
https://yourforum.com/llms.txt
구문 및 형식 가이드라인은 llmstxt.org를 참조하십시오. 사용자 지정 업로드는 항상 생성된 문서를 덮어씁니다.
설정 확인
브라우저나 curl을 사용하여 파일을 요청함으로써 에이전트가 무엇을 볼 수 있는지 확인할 수 있습니다:
curl https://yourforum.com/llms.txt
최선 사례(Best practices)
- 파일을 간결하게 유지하십시오.
llms.txt는 매니페스트가 아니라 지도입니다. 모든 토큰은 컨텍스트 비용을 발생시키며, 거대한 파일은 혼란스러운 에이전트와 더 나쁜 결과를 초래합니다. - 생성된 기본 문서의 콘텐츠가 정책과 일치하는 경우에만 서빙하십시오. 다른 표현이 필요하면 생성된 텍스트를 복사하여 커뮤니티에 맞게 편집한 후 사용자 지정 파일로 업로드하십시오.
- 스펙에 따라 사용자 지정 파일을 구성하십시오:
H1제목, 인용 블록 요약, 그리고 링크 목록이 포함된H2섹션, 그리고 보조 링크를 위한Optional섹션 사용. llms.txt를 크롤러 제어와 결합하십시오. 자동화된 접근을 조정하려면slow_down_crawler_user_agents및slow_down_crawler_rate설정을 구성하십시오 (관리자 → 설정 → 보안).llms.txt는 사이트를 설명하는 반면,robots.txt는 접근을 제어한다는 점을 기억하십시오. 이들은 서로 다른 목적을 가지고 있으며 상호 보완적입니다.
자주 발생하는 문제 및 해결책
/llms.txt에서 404가 발생합니다
이것은 사용자 지정 파일이 업로드되지 않았고 생성된 기본 설정이 활성화되지 않은 경우에 발생합니다. 사용자 지정 파일을 업로드하거나, 관리자 → Upcoming Changes에서 생성된 기본 설정을 활성화하거나, 둘 다 수행하십시오.
llms.txt Generator 플러그인을 사용하는데 메인 파일이 작동하지 않습니다
코어 Discourse가 /llms.txt 경로를 서빙하므로, 이를 생성하는 플러그인보다 우선합니다. 플러그인의 동적으로 생성된 파일에 의존하고 있다면, 에이전트를 플러그인이 생성한 콘텐츠로 지시하는 최소한의 사용자 지정 llms.txt를 업로드하는 것이 실용적인 해결책입니다. 예를 들어:
# [사이트 제목]
https://yourforum.com/llms-full.txt 로 이동하십시오.
플러그인은 카테고리별, 주제별, 태그별 파일도 생성하며, 이들은 영향을 받지 않습니다.
파일을 업로드했는데 /llms.txt가 404를 반환합니다
업로드된 파일을 스토리지에서 읽을 수 없는 경우(예: 외부 객체 스토어에서 누락된 경우), Discourse는 404를 반환하고 생성된 문서로 폴백하지 않습니다. 이를 해결하려면 파일을 다시 업로드하십시오.
사이트에 로그인이 필요한데 어떻게 작동하나요?
생성된 문서는 여전히 작동합니다: 계정 필요 주의를 포함하고 공개 발견 링크를 생략합니다. 사용자 지정 업로드는 항상 변경 없이 서빙됩니다. 에이전트가 콘텐츠에 접근하기를 원한다면 로그인 설정이 크롤러 가능성에 미치는 영향을 고려하십시오.
자주 묻는 질문(FAQs)
Discourse가 llms.txt에 모든 주제를 자동으로 나열하나요?
생성된 기본 문서는 의도적으로 개별 주제를 나열하지 않습니다. 이는 사이트를 설명하고, 접근 정책을 명시하며, 에이전트를 Discourse MCP 인터페이스와 몇 가지 발견 경로로 지시하는 최소한의 지도입니다.
생성된 문서의 언어는 무엇인가요?
요청 언어와 관계없이 사이트의 기본 로케일(default_locale 설정)로 생성됩니다.
선택적으로 제외(Opt out)할 수 있나요?
네. 관리자 → Upcoming Changes에서 변경 사항을 **아무도(No one)**로 설정하십시오. 또는 자체 콘텐츠가 포함된 사용자 지정 파일을 업로드하십시오.
왜 생성된 문서가 Discourse MCP를 참조하나요?
Discourse MCP 서버는 주제, 게시물, 검색, 사용자, 카테고리 및 지원되는 커뮤니티 작업을 위한 권한 인식이 가능한 도구를 제공합니다. 이는 에이전트가 커뮤니티와 작업하는 선호되는 방식이므로, 사용 가능한 경우 “선호 에이전트 인터페이스” 섹션에 로컬 MCP 설정이 링크됩니다.