Correct me if I am wrong, but Latest is the default display but not the default link, right? This has to do with the actual /latest link
We have every single page of latest in the index, the content is like quicksand and there is nothing in the homepage that is “site specific” and not quicksand which is a big problem:
We absolutely do not want people landing on page 2 / 3 etc.. page 1 maybe, but the content on page 1 keeps on changing.
This URL for example https://meta.discourse.org/latest?no_definitions=true&no_subcategories=false&page=2 is stored in the Google index.
I am reticent to change stuff though cause I do not know how the big Google will deal with us adding “dont store in index” directives here. Also people never land on these pages anyway cause Google automatically detects they are rubbish and do not send people there.
If there is anything super positive here, I guess it would be having a wonderful “HTML off” homepage that has useful enough content that search engines would send people to the page.
For example, it would be super nice if discourse community discussions ranked meta.discourse.org first cause we had a nice front page.
A simple fix here we can make that can give us lots of mileage is nice expansion of pinned posts:
They are stable content, we can expand that:
In fact we can even expand it a bit further for crawler views. Additionally we could list all the categories on the home page as well in the crawler view… there is a bunch of stuff we can do.
Hello!
this is my file
# See http://www.robotstxt.org/robotstxt.html for documentation on how to use the robots.txt file
#
User-agent: *
Disallow: /auth/cas
Disallow: /auth/facebook/callback
Disallow: /auth/twitter/callback
Disallow: /auth/google/callback
Disallow: /auth/yahoo/callback
Disallow: /auth/github/callback
Disallow: /auth/cas/callback
Disallow: /assets/browser-update*.js
Disallow: /users/
Disallow: /u/
Disallow: /my/
Disallow: /badges/
Disallow: /search
Disallow: /search/
Disallow: /tags
Disallow: /tags/
Disallow: /email/
Disallow: /session
Disallow: /session/
Disallow: /admin
Disallow: /admin/
Disallow: /user-api-key
Disallow: /user-api-key/
Disallow: /*?api_key*
Disallow: /*?*api_key*
Disallow: /groups
Disallow: /groups/
Disallow: /t/*/*.rss
Disallow: /tags/*.rss
Disallow: /c/*.rss
User-agent: mauibot
Disallow: /
User-agent: bingbot
Crawl-delay: 60
Disallow: /auth/cas
Disallow: /auth/facebook/callback
Disallow: /auth/twitter/callback
Disallow: /auth/google/callback
Disallow: /auth/yahoo/callback
Disallow: /auth/github/callback
Disallow: /auth/cas/callback
Disallow: /assets/browser-update*.js
Disallow: /users/
Disallow: /u/
Disallow: /my/
Disallow: /badges/
Disallow: /search
Disallow: /search/
Disallow: /tags
Disallow: /tags/
Disallow: /email/
Disallow: /session
Disallow: /session/
Disallow: /admin
Disallow: /admin/
Disallow: /user-api-key
Disallow: /user-api-key/
Disallow: /*?api_key*
Disallow: /*?*api_key*
Disallow: /groups
Disallow: /groups/
Disallow: /t/*/*.rss
Disallow: /tags/*.rss
Disallow: /c/*.rss
I read the tutorials above but I do not understand how to fix the question “Need to edit robots.txt file - where is it?”. Looking forward to receiving help from the community
This is the content to be want to update
# See http://www.robotstxt.org/wc/norobots.html for documentation on how to use the robots.txt file
#
User-agent: *
Disallow: /auth/cas
Disallow: /auth/facebook/callback
Disallow: /auth/twitter/callback
Disallow: /auth/google/callback
Disallow: /auth/yahoo/callback
Disallow: /auth/github/callback
Disallow: /auth/cas/callback
Disallow: /assets/browser-update*.js
Disallow: /users/
Disallow: /u/
Disallow: /badges/
Disallow: /search
Disallow: /search/
Disallow: /tags
Disallow: /tags/
Thanks all
I think you can override the file in your own plugin.
You will want to read the plugin development topics and then read this
https://meta.discourse.org/t/how-to-block-all-crawlers-but-googles/62431/4?u=cpradio
I really do not want to block the google search engine that I want to change by content in the robots.txt file
Why does my website not find such a directory /discourse/app/views ?
There is no robots.txt text file per se. It is a Ruby controller
You really need to read some of the Development topics, it explains all of that and more. The plugin should be trivial, to be honest. Or you can post something in Marketplace with a budget to see if someone will build it for you.
If that is added, could it be made into an overridable setting? I clicked on this link in the newsletter, because getting user pages indexed is also something we need. We’re hoping to add additional information to them and eventually redirect the old (indexed) user pages to the Discourse ones.
I was just noticing this problem on one of my Discourse sites. The way to block those dynamic URLs from bots while still allowing search engines to crawl /latest is this:
Disallow: /latest?
That will only block the dynamic ones, but not /latest, so search engines would still be able to see the latest content. I tested the rule in Google’s Webmaster Tools and it works.
Here’s an example of some of the dynamic URLs that are getting crawled on my site:
Is it possible to add that one line to robots.txt?
(Edit: I looked more closely at the file, and I wouldn’t use noindex there, at least on that dynamic rule. I’m pretty sure that Google has recommended not to use noindex in robots.txt though it was several years ago.)
サイト設定から悪質なウェブクローラーを禁止または制限できるようになりました。これにより robots.txt が間接的に編集されますが、任意の編集機能は依然として提供されていません。
しかし、提供するべきだと思います。@eviltrout さん、これを 2.4 のスコープに含めることは可能でしょうか？これにより多くの要望に対応できます。その多くには同意していませんが、私のスタンスは「あなたの責任ですので、どうしても必要なら実行してください 
」というものです。
コミュニティサポートの範囲外として、robots.txt の編集を完全に除外することはできませんか？
参考までに、robots_txt_index コネクターテンプレートを使用して、簡単なプラグインで追加のルールを誰でも容易に追加できます。例えば: app/views/connectors/robots_txt_index/sitemap.html.erb
以下が私の考えです。
-
管理者セクションに、直接リンクされていない新しい URL を追加します。例：
/admin/customize/robots-
現在の
robots.txtの内容を表示する<textarea>を表示します。 -
以前に編集されていない場合、ホワイトリスト/ブラックリストに基づいた内容で事前に埋めます。
-
管理者が 変更を保存 をクリックすると、データベースに保存され、そのフォーラムの
robots.txtの既存の内容が置き換えられます。
-
私はこれに強く反対します。なぜなら、不明瞭で危険なオプションを UI の最上位に表示することになるからです。
robots.txt をカスタマイズするパスは、現時点では独自の手動入力とするべきだと考えます。ユーザーがそれを望む場合は、Google やメタで検索してパスを見つける必要があります。
そのため、それを「高度な編集」の裏に隠しましたが、もしインターフェースが複雑になりすぎているなら、さらにシンプルにできます（その投稿を編集します）。
良さそうです！「元に戻す」ボタンには、サイト設定の「元に戻す」で使っているのと同じグリフを使用してください。また、私たちは「リセット」という言葉だけを使っているので、新しい翻訳を作成するのではなく、既存のテキストを流用してください。
さらに、robots.txt を変更するいくつかのサイト設定については、手動で編集すると上書きされてしまうため、その旨を警告する必要があります。
PR がマージされました 
最新のテスト通過バージョンに更新すれば、/admin/customize/robots から robots.txt をカスタマイズできるようになります。このページは UI 内のどこからもリンクされていないため、URL を手動でコピーしてブラウザに貼り付ける必要があります。
注意：ファイルをオーバーライドした場合、その後のサイト設定の変更（whitelisted crawler user agents など）が robots.txt に反映されなくなります（設定は正しく保存されますが、robots.txt には変更が反映されません）。デフォルトバージョンに復元すると、サイト設定が再びファイルに適用されるようになります。
オーバーライドが存在し、かつ管理者が /robots.txt でファイルを表示した場合、ファイルの上部にオーバーライドがある旨のコメントが表示され、ファイルを編集したりデフォルトバージョンにリセットしたりできる場所へのリンクが含まれます。