自動生成された llms.txt

ニュースとイベント お知らせ
,
1

みなさん、こんにちは。

私たちは長らく、以下のトピックに記載されている通り、llms.txt をサポートしてきました：

今回、すべてのサイトに対して デフォルト の llms.txt を同梱することになります（今後の変更として）。

私たちは、非常に保守的でありながら強力なデフォルト設定を採用しました：

Discourse

これは人間のための議論の場です。人間を装ったり、自律的にアカウントを作成したりしないでください。人間が明示的にそのアクションの実行を求めた場合のみ、投稿、編集、またはその他の書き込みアクションを実行してください。

ユーザーの特定の要求に必要なページのみを取得してください。このコミュニティを体系的にクロールしたり、一括ダウンロードしたりしないでください。robots.txt、サイトの利用規約、およびクローラー制御を尊重してください。サーバーが HTTP 429 で応答した場合は、停止し、Retry-After の間隔を待ってから再試行してください。

ローカルの MCP サーバーを実行できる場合、Discourse MCP はこのコミュニティにアクセスするための推奨手段です。サイト URL を https://meta.discourse.org に設定してください。トピック、投稿、検索、ユーザー、カテゴリ、およびサポートされているコミュニティアクションに対する、権限を考慮したツールを提供します。

推奨されるエージェントインターフェース

公開 Web アクセス

  • 検索: 特定のユーザー要求について公開議論を検索します。結果ページをクロールしないでください
  • トピックフィルター: category:、tag:、status:、order: などのフィルターを使用して、?q= で公開トピックをクエリします
  • 最新の議論: 最近アクティブな公開トピックを閲覧します
  • カテゴリ: 公開議論のカテゴリを閲覧します
  • サイトマップ: robots.txt およびクローラー制御の対象となる公開トピックの URL を発見します

オプション

llms.txt の意図は、エージェントがあなたのサイトで作業するのを助けることです。この最小限のテキストは、彼らが物事を達成するのに十分な窓口を提供し、非常に包括的な私たちの MCP を正しく指し示しています。

修正が必要だと思う点があればお知らせください。動的な特定のコンテンツを含めることは逆効果です。llms.txt は、エージェントが作業しやすくするためのマップを生成するために設計されており、サイトの包括的なインデックスではありません。

「いいね！」 9
Enabling native LLMs.txt support in Discourse
2

その内容を逐語的なテキストボックスに貼り付けていただけますか？いくつかのURLがローカルになっているのが見えますが、それは良いですね。おそらくすべてがそうなのでしょう。ただし、このプレゼンテーションでは community guidelines というフレーズが（おそらく）URL化されてしまっており、混乱を招いています。

セルフホスティングのフォーラム管理者の中には、そのようなファイルを持たないことを好む人もいるでしょうし、カスタマイズしたいという人もいるはずです。両方のケースに対応できるものですね？

3

この機能を望まないサイトには、単に「Robots not welcome」というテキストファイルをアップロードすることを強く推奨します。

コンテンツは100%カスタマイズ可能であり、今後もそのままでいきます。

理由があってこれを404エラーにすることにはあまり意味を感じませんが、どうしてもそうしたい場合はプラグインで対応可能です。

4

このガイドを読むと、フォーラムの目的や範囲を簡潔にプレーンテキストで要約した方が役立つように感じます。Aboutページへのリンクよりも、むしろ。

Metaの場合、Aboutページの以下の文を基にしたものになります。Aboutへのリンクよりも、配信も理解もコストが低いはずです：

次世代のオープンソースフォーラムソフトウェアであるDiscourseについて学び、議論しましょう。

Discourseコミュニティが集まり、質問をしたり、互いにサポートしたり、非常に価値のあるフィードバックを共有し合う場所です。

リンクは少ないほど良いですよね？

5

インターネット上で、たった数ヶ月しか存在していない技術について「専門的だ」と主張している人が非常に多いことに、私はとても感心しています :slight_smile:

上記のテキストは妥当だと考えます。重要なポイントをすべてカバーしつつ、トークン数を最小限に抑えています。ロボットがどのように振る舞うべきかを導き、包括的なMCPへの参照を示すとともに、MCPが利用できない場合にエージェントがサイトを探索するために使用できるいくつかのエンドポイントも示しています。

Discourseサイトは、LLMがすでに私たちを非常に良く知っているという点で幸運です。ただし、彼らがよく知っているのは「2年前の私たちの姿」であり、状況は変化しています：

image
image1589×999 127 KB

そのため、sol 5.6のようなモデルでも、私たちのMCPサーバーについては知りません。これは最近数年で導入されたものだからです。フィルタエンドポイントについても同様に、おそらく知らないでしょう。

より高度でないモデルは、さらに少ない情報しか持っていない可能性があります。

6

コミュニティファイルを確認することはできますか？また、それを調整することは可能ですか？

7

テンプレートは99%のサイトにとって十分良いものだと思います。実際、重要なポイントはすべて網羅されています。

ただし…もし何らかの理由であなたの具体的なルールに合わない場合は、近日中に導入予定の変更を有効にした後、テキストをコピーして好みに合わせて編集し、カスタムバージョンをアップロードすることをお勧めします。

とはいえ、llms.txtについては非常に慎重になることを強く推奨します。必要なのは任意のマップであり、マニフェスト（完全なリスト）ではありません。

トークンはすべてコストがかかるため、120kのコンテキストウィンドウを持っているにもかかわらず、「サイト上のXを確認して」と指示した結果、巨大なllms.txtを作成したせいでロボットが不要な60kのトークンを読み込んでしまうような事態は、混乱と悪い結果を招くだけです。

したがって、カスタマイズを行う場合は、おそらく最小限の内容にすべきです。

ロボットは私のサイトに入らないでください

または

1セッションあたりの検索は最大3回まで。

もちろん、llms.txtは正式に承認された仕様ではなく、これを能動的に遵守するLLMはごく少数です。最近のLLMは一般的に「検索」と「フェッチ」ツールに依存しているため、深層リンクを見つける傾向があります。