Needing to edit robots.txt file - where is it?

[jerdog (Jeremy M)]

@codinghorror

@sam

The problem is that we store “latest” content in the search index which is pointless cause we never want people to land on “latest”

This statement makes zero sense to me, “latest” is the default homepage for Discourse so we absolutely do want people to land there.

Correct me if I am wrong, but Latest is the default display but not the default link, right? This has to do with the actual /latest link

[sam (Sam Saffron)]

@codinghorror

This statement makes zero sense to me, “latest” is the default homepage for Discourse so we absolutely do want people to land there.

We have every single page of latest in the index, the content is like quicksand and there is nothing in the homepage that is “site specific” and not quicksand which is a big problem:

We absolutely do not want people landing on page 2 / 3 etc… page 1 maybe, but the content on page 1 keeps on changing.

This URL for example https://meta.discourse.org/latest?no_definitions=true&no_subcategories=false&page=2 is stored in the Google index.

I am reticent to change stuff though cause I do not know how the big Google will deal with us adding “dont store in index” directives here. Also people never land on these pages anyway cause Google automatically detects they are rubbish and do not send people there.

If there is anything super positive here, I guess it would be having a wonderful “HTML off” homepage that has useful enough content that search engines would send people to the page.

For example, it would be super nice if discourse community discussions ranked meta.discourse.org first cause we had a nice front page.

A simple fix here we can make that can give us lots of mileage is nice expansion of pinned posts:

They are stable content, we can expand that:

In fact we can even expand it a bit further for crawler views. Additionally we could list all the categories on the home page as well in the crawler view… there is a bunch of stuff we can do.

[Pham_Quyet_Nghi (Phạm Quyết Nghị)]

Hello!
this is my file

# See http://www.robotstxt.org/robotstxt.html for documentation on how to use the robots.txt file
#
User-agent: *
Disallow: /auth/cas
Disallow: /auth/facebook/callback
Disallow: /auth/twitter/callback
Disallow: /auth/google/callback
Disallow: /auth/yahoo/callback
Disallow: /auth/github/callback
Disallow: /auth/cas/callback
Disallow: /assets/browser-update*.js
Disallow: /users/
Disallow: /u/
Disallow: /my/
Disallow: /badges/
Disallow: /search
Disallow: /search/
Disallow: /tags
Disallow: /tags/
Disallow: /email/
Disallow: /session
Disallow: /session/
Disallow: /admin
Disallow: /admin/
Disallow: /user-api-key
Disallow: /user-api-key/
Disallow: /*?api_key*
Disallow: /*?*api_key*
Disallow: /groups
Disallow: /groups/
Disallow: /t/*/*.rss
Disallow: /tags/*.rss
Disallow: /c/*.rss


User-agent: mauibot
Disallow: /


User-agent: bingbot
Crawl-delay: 60
Disallow: /auth/cas
Disallow: /auth/facebook/callback
Disallow: /auth/twitter/callback
Disallow: /auth/google/callback
Disallow: /auth/yahoo/callback
Disallow: /auth/github/callback
Disallow: /auth/cas/callback
Disallow: /assets/browser-update*.js
Disallow: /users/
Disallow: /u/
Disallow: /my/
Disallow: /badges/
Disallow: /search
Disallow: /search/
Disallow: /tags
Disallow: /tags/
Disallow: /email/
Disallow: /session
Disallow: /session/
Disallow: /admin
Disallow: /admin/
Disallow: /user-api-key
Disallow: /user-api-key/
Disallow: /*?api_key*
Disallow: /*?*api_key*
Disallow: /groups
Disallow: /groups/
Disallow: /t/*/*.rss
Disallow: /tags/*.rss
Disallow: /c/*.rss

I read the tutorials above but I do not understand how to fix the question “Need to edit robots.txt file - where is it?”. Looking forward to receiving help from the community

This is the content to be want to update

# See http://www.robotstxt.org/wc/norobots.html for documentation on how to use the robots.txt file
#
User-agent: *
Disallow: /auth/cas
Disallow: /auth/facebook/callback
Disallow: /auth/twitter/callback
Disallow: /auth/google/callback
Disallow: /auth/yahoo/callback
Disallow: /auth/github/callback
Disallow: /auth/cas/callback
Disallow: /assets/browser-update*.js
Disallow: /users/
Disallow: /u/
Disallow: /badges/
Disallow: /search
Disallow: /search/
Disallow: /tags
Disallow: /tags/

Thanks all

[Stranik (Evgeny)]

@Pham_Quyet_Nghi

I do not understand how to fix the question “Need to edit robots.txt file - where is it?”.

I think you can override the file in your own plugin.

app/views/robots_txt/index.erb

[Pham_Quyet_Nghi (Phạm Quyết Nghị)]

My archive directory is this

how to override the file in your own plugin

Thanks

[cpradio]

You will want to read the plugin development topics and then read this
https://meta.discourse.org/t/how-to-block-all-crawlers-but-googles/62431/4?u=cpradio

[Pham_Quyet_Nghi (Phạm Quyết Nghị)]

I really do not want to block the google search engine that I want to change by content in the robots.txt file

Why does my website not find such a directory /discourse/app/views ?

[Mittineague]

There is no robots.txt text file per se. It is a Ruby controller

app/controllers/robots_txt_controller.rb

[cpradio]

@Pham_Quyet_Nghi

I really do not want to block the google search engine that I want to change by content in the robots.txt file

Why does my website not find such a directory /discourse/app/views ?

You really need to read some of the dev topics, it explains all of that and more. The plugin should be trivial, to be honest. Or you can post something in marketplace with a budget to see if someone will build it for you.

[j127]

@sam

we should probably add noindex tags on user pages

If that is added, could it be made into an overridable setting? I clicked on this link in the newsletter, because getting user pages indexed is also something we need. We’re hoping to add additional information to them and eventually redirect the old (indexed) user pages to the Discourse ones.

[j127]

@jerdog

we need to add /latest* to the Disallow list.

I was just noticing this problem on one of my Discourse sites. The way to block those dynamic URLs from bots while still allowing search engines to crawl /latest is this:

Disallow: /latest?

That will only block the dynamic ones, but not /latest, so search engines would still be able to see the latest content. I tested the rule in Google’s Webmaster Tools and it works.

Here’s an example of some of the dynamic URLs that are getting crawled on my site:

https://gist.githubusercontent.com/j127/d329c15dab45369b03321cad40448734/raw/300aa579b1386087b903da6aa52c52ff5d95828c/latest.txt

Is it possible to add that one line to robots.txt?

(Edit: I looked more closely at the file, and I wouldn’t use noindex there, at least on that dynamic rule. I’m pretty sure that Google has recommended not to use noindex in robots.txt though it was several years ago.)

[codinghorror (Jeff Atwood)]

Теперь вы можете блокировать или ограничивать агрессивных веб-краулеров через настройки сайта, что косвенно редактирует robots.txt, но у нас по-прежнему нет возможности произвольного редактирования.

Хотя, я думаю, нам стоит это сделать… @eviltrout, можешь ли ты оценить это для версии 2.4? Это отвечает на множество запросов, с которыми мы не всегда согласны, но моя позиция такова: «это ваша ответственность, так что действуйте, если считаете необходимым ».

[Stephen]

Можно ли хотя бы отметить, что редактирование файла robots.txt полностью выходит за рамки поддержки сообщества?

[vinothkannans (Vinoth Kannan)]

FTR, любой может легко добавить дополнительные правила с помощью простого плагина, используя шаблон коннектора robots_txt_index. Например: app/views/connectors/robots_txt_index/sitemap.html.erb

[eviltrout (Robin Ward)]

Вот как я думаю, что это должно работать:

• Добавьте новый URL в раздел администратора, который не связан напрямую. Например, /admin/customize/robots.

  • Отобразите <textarea> с текущим содержимым файла robots.txt.

  • Если они еще не редактировали его, предварительно заполните его содержимым на основе белого/черного списка.

  • Когда администратор нажмет Сохранить изменения, это будет сохранено в базе данных и заменит существующее содержимое robots.txt для этого форума.

[codinghorror (Jeff Atwood)]

@eviltrout

Добавить новую кнопку в раздел администратора: «Администратор > Настроить > robots.txt»

Я категорически против этого, так как это выводит в интерфейс приоритетно скрытую и опасную опцию.

Я считаю, что путь для настройки robots.txt должен быть кастомным и вводиться вручную на данный момент. Если пользователям это нужно, они должны найти путь через поиск в Google или Meta.

[eviltrout (Robin Ward)]

Вот почему я спрятал это за «Расширенным редактированием», но если мы усложняем интерфейс, я могу ещё больше упростить его (отредактирую этот пост).

[Osama]

Я создал PR по этому вопросу:

FEATURE: Allow customization of robots.txt (#7884)

Скриншоты:

[codinghorror (Jeff Atwood)]

Выглядит отлично! Убедитесь, что кнопка «Отменить» использует правильный глиф — тот же, что и для отмены в настройках сайта. Кроме того, мы используем слово «Сбросить», поэтому вы можете переиспользовать этот текст, не создавая новый перевод.

Также необходимо добавить предупреждения о нескольких настройках сайта, которые изменяют robots.txt и будут перезаписаны при ручном редактировании и т.д.

[Osama]

PR только что был слит:

FEATURE: Allow customization of robots.txt (#7884)

Если вы обновитесь до последней версии с проходящими тестами, вы сможете настроить robots.txt в разделе /admin/customize/robots. Эта страница не связана ни с чем в интерфейсе; вам нужно будет вручную скопировать и вставить URL в адресную строку браузера.

Примечание: если вы переопределите файл, любые последующие изменения настроек сайта, влияющие на robots.txt (например, whitelisted crawler user agents и т. д.), не будут применены к файлу (настройки сохранятся корректно, но изменения не отразятся в robots.txt). Вы можете восстановить файл до версии по умолчанию, и настройки сайта снова начнут применяться к нему.

Если существуют переопределения, и администратор открывает файл по адресу /robots.txt, он увидит комментарий в верхней части, указывающий на наличие переопределений, со ссылками, где можно изменить файл или сбросить его до версии по умолчанию.