🤖 Discourse llms.txt ジェネレータープラグイン

[kaktak (Vladislav)]

Discourse llms.txt 生成器

	概要	ChatGPT、Claude、その他の AI システムなどの大規模言語モデル（LLM）がフォーラムコンテンツを発見できるようにする、llms.txt ファイルを自動的に生成します
	リポジトリリンク	GitHub - kaktaknet/discourse-llms-txt-generator: 🤖 Discourse llms.txt Generator Plugin. Automatically generates llms.txt and llms-full.txt files for your Discourse forum to optimize content discovery by Large Language Models (LLMs) and AI systems. · GitHub
	インストールガイド	Discourse へのプラグインのインストール方法

機能

このプラグインは、ウェブサイトから LLM 友好型のコンテンツを提供するための提案された規約である llms.txt 標準を実装しています。これは、フォーラムのコンテンツが AI 生成の回答に表示されるのを助ける「AI 向けの robots.txt」と考えてください。

詳細な機能ドキュメントについては、README.md を参照してください。

技術ドキュメントと開発については、CONTRIBUTING.md を参照してください。

この動画は Discourse やそのプラグインに関するものではありませんが、フォーラムにとって llms.txt ファイルがなぜ重要なのかを非常に良く説明しています。

How to Create an llms.txt File for Your Website

世界中の最大かつ最も権威のあるテクノロジー企業の多くを含む、何千ものサイトがすでに独自のドメインで llms.txt 標準を実装しています。例を挙げると以下の通りです：

• Amazon AWS — https://docs.aws.amazon.com/llms.txt
• Cloudflare — https://developers.cloudflare.com/llms.txt
• Stripe — https://stripe.com/llms.txt
• Angular — https://angular.dev/llms.txt
• Redis — https://redis.io/llms.txt
• Docker — https://docs.docker.com/llms.txt
• Model Context Protocol — https://modelcontextprotocol.io/llms-full.txt

業界の巨人が「公式」になる遥か前に、大規模でこの標準を採用することは、llms.txt が現実的で緊急の課題を解決しているという明確なシグナルです。このような企業は、サイト全体のイニシアチブを軽々しく展開することはありません。常に確固たる戦略的理由があります。テクノロジー業界全体で llms.txt が急速かつ大規模に受け入れられていることは、AI 向けの構造化されたコンテンツがいかに重要になっているかを示しており、業界自体が公式の標準化機関よりも早くこの採用を推進していることを意味します。

主な機能：

1. メインナビゲーションファイル (/llms.txt)

   • カテゴリ、サブカテゴリ、最新トピックを含むフォーラムの構造化された概要
   • AI システムがフォーラムの構造を即座に理解するのに役立ちます
   • フォーラムが成長するにつれて自動的に更新されます

2. 完全コンテンツインデックス (/llms-full.txt)

   • カテゴリ分けされ、AI による消費に備えられたすべてのトピックを含む完全なフォーラムインデックス
   • ビュー数とトピック数によるフィルタリングの設定が可能
   • 高速な AI インデックス作成のためのオプションの投稿抜粋

3. 動的リソース別ファイル

   • 任意のカテゴリに対して llms.txt を生成：/c/category-name/123/llms.txt
   • 任意のトピックに対して llms.txt を生成：/t/topic-slug/456/llms.txt
   • 任意のタグに対して llms.txt を生成：/tag/tutorial/llms.txt
   • 物理的なストレージなしでオンデマンド生成

4. サイトマップインデックス (/sitemaps.txt)

   • 効率的な AI クローラー発見のためのすべての llms.txt URL の完全リスト
   • robots.txt および sitemap.xml と自動的に統合されます

5. SEO 保護

   • HTTP ヘッダー内の正規 URL（RFC 6596 準拠）
   • 検索エンジンからの重複コンテンツペナルティを防止
   • 元のフォーラム URL への適切な帰属表示

6. スマートキャッシング

   • 新コンテンツの時間ごとのバックグラウンドチェック
   • 必要な場合のみ再生成
   • 高速レスポンス時間（50ms 未満）

7. ボット制御

   • フォーラムへのアクセスを許可しつつ、特定の AI クローラーをブロック
   • ブロックするユーザーエージェントのカンマ区切りリスト
   • ビューコネクタを介した自動 robots.txt 統合

8. プライバシーとセキュリティ

   • プライベートカテゴリは自動的に除外
   • 動的ファイルに対するガーディアン権限チェック
   • SQL レベルのセキュリティフィルタリング
   • 個人データは露出しません

フォーラムへのメリット：

• 可視性の向上：コンテンツが ChatGPT、Claude、その他の AI の回答に表示されます
• 直接帰属表示：AI システムがフォーラムを引用し、リンクを貼り返します
• トラフィック増加：AI 駆動型検索による発見性の向上
• GEO の改善：AI システム向けの生成エンジン最適化
• メンテナンス不要：自動生成と更新

設定

プラグインをインストールした後、管理 → 設定 → プラグイン → discourse-llms-txt-generator に移動します。

ステップ 1：プラグインの有効化

llms_txt_enabled を true に設定します（デフォルトで有効）。

ステップ 2：インデックス作成の設定

llms_txt_allow_indexing を true に設定して、AI クローラーのアクセスを許可します（デフォルトで有効）。

この設定は、llms.txt ファイルが robots.txt で許可されるか禁止されるかを制御します。

ステップ 3：コンテンツフィルタの設定

フォーラムのサイズに応じてこれらの設定を構成します：

• llms_txt_min_views：含めるトピックの最小ビュー数（デフォルト：50）
• llms_txt_posts_limit：含めるトピック数
  • small：500 トピック（大規模フォーラムにおすすめ）
  • medium：2,500 トピック（ほとんどのフォーラムにおすすめ）
  • large：5,000 トピック
  • all：すべてのトピック（大規模フォーラムでは注意して使用）

ステップ 4：オプション - カスタム説明の追加

フォーラムの目的とコミュニティを説明する 2〜4 文を llms_txt_full_description に記入します。これにより、AI システムがフォーラムについてより正確な情報を提供できるようになります。

例：

このフォーラムは、Web 開発、データサイエンス、機械学習に焦点を当てた Python プログラミングの議論に専念しています。私たちのコミュニティには、初心者から経験豊富な開発者までが含まれており、実践的な解決策やベストプラクティスを共有しています。

ステップ 5：オプション - 特定のボットのブロック

特定の AI クローラーをブロックしたい場合は、llms_txt_blocked_user_agents にユーザーエージェント名をカンマ区切りで入力します：

例：Omgilibot, ChatGPT-User, CCBot

ステップ 6：インストールの確認

フォーラムの以下の URL にアクセスして確認します：

• /llms.txt - メインナビゲーションファイル
• /llms-full.txt - 完全コンテンツインデックス
• /sitemaps.txt - 完全サイトマップ

/robots.txt を確認して、統合が正しく行われているか確認してください。

設定項目

名前	デフォルト	説明
llms_txt_enabled	true	プラグインの有効/無効
llms_txt_allow_indexing	true	AI クローラーが llms.txt ファイルにアクセスすることを許可（robots.txt に影響）
llms_txt_blocked_user_agents	""	llms.txt ファイルからブロックするボットのユーザーエージェントのカンマ区切りリスト
llms_txt_intro_text	カスタムテキスト	メインの llms.txt ファイルに表示される導入テキスト
llms_txt_full_description	""	AI がフォーラムの文脈を理解するための llms-full.txt のカスタム説明
llms_txt_min_views	50	llms-full.txt に含めるために必要な最小トピックビュー数
llms_txt_posts_limit	medium	トピック数の制限：small（500）、medium（2,500）、large（5,000）、または all
llms_txt_include_excerpts	false	llms-full.txt に投稿抜粋を含める（ファイルサイズが大幅に増加します）
llms_txt_post_excerpt_length	500	抜粋が有効な場合の最大抜粋長さ（文字数：100〜5000）
llms_txt_latest_topics_count	50	メインの llms.txt ファイルに表示する最新トピックの数
llms_txt_cache_minutes	60	ナビゲーションファイルのキャッシュ期間（分）

重要な注意点：

• llms_txt_posts_limit を all に設定した状態で llms_txt_include_excerpts を有効にすると、大規模フォーラムでは極めて大きなファイルサイズ（10〜100+ MB になる可能性あり）と高いサーバー負荷を引き起こす可能性があります
• プライベートカテゴリは、すべての llms.txt ファイルから自動的に除外されます
• 動的リソース別ファイル（カテゴリ、トピック、タグ）はキャッシュされず、オンデマンドで生成されます
• このプラグインは robots.txt 統合のためにビューコネクタを使用します。robots.txt を手動で編集する必要はありません

技術詳細

アーキテクチャ：

• 事前生成されたファイルなしでのオンデマンド生成
• 時間ごとのバックグラウンドチェックによるスマートキャッシング
• Discourse Guardian を使用した権限対応
• プライベートコンテンツのための SQL レベルのセキュリティフィルタリング
• SEO ペナルティを防止するための HTTP ヘッダー内の正規 URL

パフォーマンス：

• ナビゲーションファイルは 60 分間キャッシュされます（設定可能）
• 完全コンテンツファイルはオンデマンドで生成されます
• スマートキャッシュは新コンテンツが存在する場合にのみ再生成されます
• キャッシュされたコンテンツのレスポンス時間は 50ms 未満

互換性：

• Discourse 2.7.0+
• Ruby 2.7+
• Discourse 3.6.0.beta3 でテスト済み

標準準拠：

• llms.txt 標準（https://llmstxt.org/）
• RFC 3986（国際文字の URL エンコーディング）
• RFC 6596（正規リンクヘッダー）

使用事例

コミュニティフォーラム：
ユーザーが AI アシスタントに関連する質問をした際、ディスカッションや解決策が表示され、質の高いトラフィックがフォーラムに戻ってきます。

ドキュメントサイト：
AI システムがドキュメントやチュートリアルを参照し、適切な帰属表示とともに正確な情報を提供できます。

サポートフォーラム：
ユーザーは AI アシスタントを通じて知識ベースから直接回答を得られ、完全なディスカッションへのリンクも提供されます。

技術コミュニティ：
開発者が AI 駆動型コーディングアシスタントを通じてフォーラムのコンテンツを発見し、コミュニティのエンゲージメントが高まります。

メンテナンス

このプラグインは最小限のメンテナンスで済みます：

• キャッシュは自動的に 1 時間ごとに更新されます
• 投稿の作成/編集時にコンテンツ更新が自動的に発生します
• 手動でのファイル生成は不要です
• オプションの rake タスクが利用可能です：llms_txt:refresh および llms_txt:check

トラブルシューティング

ファイルにアクセスできない場合：

• llms_txt_enabled が true であることを確認してください
• llms_txt_allow_indexing が true であることを確認してください
• 管理 → プラグインでプラグインがインストールされているか確認してください

コンテンツが空の場合：

• 十分なビュー数を持つ公開トピックがあることを確認してください（llms_txt_min_views 設定を確認）
• カテゴリが公開（読み取り制限なし）であることを確認してください
• llms_txt_posts_limit 設定を確認してください

robots.txt 統合が機能しない場合：

• robots.txt キャッシュをクリア：Rails.cache.delete('robots_txt')
• rake タスクを使用：bundle exec rake llms_txt:refresh
• Discourse を再起動：./launcher restart app

サポート

• GitHub Issues: Issues · kaktaknet/discourse-llms-txt-generator · GitHub

ライセンス

MIT ライセンス - 無料でオープンソースのソフトウェア

クレジット

• Standard Answer.AI: llms.txt by Jeremy Howard (Answer.AI)
• GitHub Answer.AI: GitHub - AnswerDotAI/llms-txt: The /llms.txt file, helping language models use your website · GitHub
• プラットフォーム: Discourse

[Ivan_Rapekas]

数日前にプラグインをインストールしました。作者のドキュメントのおかげで、インストールはスムーズでした。

現在見えているのは、サイトに大量のtxtファイルが生成されていることです。例えば https://discuss.rabkesov.ru/llms.txt のようなファイルです。AIチャットボット（Perplexityなど）がチャットで私のコンテンツを回答として表示することを期待するのは時期尚早であることは承知しています。

そこで、LLMに適しているかを確認するために、そのファイルをQwenにアップロードしてみました（残念ながら、上記のリンクはサポートされていません）。

ページ llms.txt を分析し、読んだ内容から何が理解できたか教えてください。マインドマップの形式（Mermaid）でツリーを作成してください。

追伸：すべてを英語に翻訳するように頼むと、ツリーが壊れます。

ここに私のサイトの構造があります（公開部分のみ）。LLMは llms.txt からこれを生成できたはずです！これは可能なケースのほんの一部にすぎないと思います。

---

Mermaidなしのテキスト出力

ページ llms.txt を分析し、読んだ内容から何が理解できたか教えてください。

はい。llms.txt の内容に基づき、私が理解したことは以下の通りです。

このファイルは “discuss | Комната ломки” について記述しています。これは文字通りには「ディスカッションフォーラム | 破壊の部屋」と訳され、比喩的にITにおける幻想を打ち砕くことを意図した場所であり、人々を打ち砕くためではありません。そのタグラインと焦点は、IT専門家が仮定を検証し、経験を共有し、実践的な課題について協力するための、内省的で批判的でコミュニティ主導の環境を示唆しています。

中核となるテーマと目的:

• ITの実践、キャリアパス、組織力学、個人の成長に対する批判的な内省。
• 作業を簡素化するツールと方法論（Markdown/GitLab/Docsifyによるドキュメント作成、Mermaid/Drawioによる視覚化、フィードバックメカニズム、共同ドラフト作成など）に重点を置く — 特にDiscourseベースの企業プラットフォーム内での作業。
• 技術的、哲学的、個人的なトピックの混合が交差する（例：「なぜ簡単なタスクを選ぶのか」、「心の平和のコスト」、「先延ばしと意思決定の回避」）。

構造:

サイトはテーマ別のカテゴリに編成されており、以下が含まれます。

• AI: モデル（Gemma、LM Studioなど）、デプロイメント（Runpod、GPU計算機）、およびツールに関する議論。
• Discourse: サイト設定、rakeタスク、認証方法、隠しパラメータなど、技術的なバックエンドのトピック。
• Основная (メイン): 作業文化、リーダーシップ、ドキュメント標準、責任に関する中核的な考察。
• Блог (ブログ): 個人的な物語（キャリア変更、サマーラへの移住、職場の事件など）。
• Школа (学校): 学生向けの資料。倫理（14歳以上のユーザーの保護者の同意）やデジタルリテラシー（UTMパラメータ）など。
• Анонимная (匿名): 機密性の高いアイデアのための安全な場所。
• Книги (書籍)、Мысль дня (今日の考え) など — 知的および日々の内省をサポートするもの。

注目すべき技術的および文化的なシグナル:

• 多言語および国際的なオーディエンス: 例として、並行するロシア語/英語の認証ガイド。
• 包括的な認証への配慮: 例として、非ロシア語話者のためのGoogle/GitHubログインの維持と、国内プロバイダー（VK、Mail.ru、OK）のサポート。
• 自動化、標準化、DevOpsへの強い関心: GitLab CI/CD、アーティファクト処理、Runpodの統合、SSHベースのデプロイメント。
• 専門職としての幻滅、特にサポート職に異動したシニアエンジニアからのもの — そして、対処法や退職計画に関する戦略。

要約すると、llms.txt は、技術的な深さと心理的・組織的な内省を融合させた、成熟した思慮深いコミュニティプラットフォームの概要を示しており、複雑さ、燃え尽き症候群、仕事における意味の探求を乗り切ろうとしている経験豊富なIT実務者を対象としています。

視覚的なマップ、テーマ別のクラスタリング、または次のステップの提案（例：発見可能性、エンゲージメント、オンボーディングの改善）が必要な場合はお知らせください。

---

私としては、SEOなどに使用できる素晴らしいプラグインだと思います。

検討すべき点がいくつかあります。

1. 非英語のコンテンツをどのように処理するか？ llms.txt 内のテキストのEN言語はLLMにとって問題になりますか？
2. 最終的なルートの llms.txt がプライベートページを一切含まないことの証明を見つける（現在、サイトのすべてのページに対して llms.txt が作成されています）。
3. 必要なAIボットがブロックされていないことを確認するために、/admin/site_settings/category/security?filter=crawler での権限を確認する
4. サイト構造と、LLMに以前保存された記憶とが時折混在することについての考察（これはプラグインの欠陥ではなく、チャットボットの機能です。以下の例を参照）。

ポイント #4について。Qwenは初回に次のように判断しました。

• 私は仕事を辞めるつもりだった
• 私は人間関係で問題を抱えていた
  そして、これらの点をサイトの説明に追加しました！

Qwenは、サイトマップの分析という現在のリクエストと、以前の記憶を混同する可能性があります。注意してください

[pacharanero (Marcus Baw)]

このプラグインをありがとうございます。Discourse にとって素晴らしい追加機能です。

もし他の誰かが、このプラグインと Discourse の比較的新しい「半端な機能」である llms.txt の実装（有用な処理は一切行わず、完全に手動で実装されているもの）との競合に直面している場合に備えて、ここに記載しておきます。

Enabling native LLMs.txt support in Discourse

Starting with Discourse v2026.1.0, native support for the llms.txt standard is included. This allows Large Language Models (LLMs) to crawl and interpret your site content more effectively. How to enable native llms.txt support Go to /admin/config/security and search for LLMs TXT Upload your llms.txt file (.txt and .md formats are accepted; see https://llmstxt.org for syntax, format, and implementation details) Save the configuration Once configured, your file will automatically be served at: …

新しい Discourse の機能は、設定されていなくても有効になっていなくても、/llms.txt のパスを完全に上書きしてしまいます。これが Discourse コアにおいて有用あるいは本番環境対応の機能と見なされていることに、私は少し呆気にとられました。

私にとっては、/llms-full.txt や /sitemaps.txt は完璧に動作する一方で、メインの /llms.txt パスが全く機能しませんでした（404 エラー）。

私の回避策は、/llms-full.txt を指す手動の llms.txt を作成し、それを手動でアップロードすることです。

以下のどちらかが実現されるとよいのですが：

• Discourse コアの機能がアップグレードされ、このプラグインが行うことと同様の処理を行う、または
• llms.txt をアップロードして有効化しない限り、Discourse コアの機能が llms.txt を上書きしたり、このプラグインと競合したりしないようにする。

[Ivan_Rapekas]

ご指摘と報告をありがとうございます。Enabling native LLMs.txt support in Discourse - #7 by pacharanero

/llms-full.txt はまだ機能していますが、残念ながら /llms.txt は機能しなくなっています…

[kaktak (Vladislav)]

近い将来に何ができるかを確認し、コアがプラグインの動作を上書きしないようにアップデートをリリースします。それほど難しいことにならないことを願っています。そもそも、プラグインの哲学の一部は、このようなものを含めて、基本機能や動作を上書きし、微調整することにあるのですから。