Google は Discourse での robots.txt の処理方法を変更しましたか?

これはおそらくバックポートすべきでしょう。