È un dato di fatto che i motori di ricerca, i bot, possano indicizzare argomenti in una categoria su Discourse. Come bloccare Google, Bing, Yandex, … dall’indicizzare argomenti di una categoria?
Attendiamo il supporto degli esperti di Discourse.
1 Mi Piace
Puoi cambiare il permesso della categoria in TL0 in modo che solo gli utenti registrati possano vederla e bloccare anche i bot.
6 Mi Piace
Se quello che suggerisce Don funziona, usalo. È l’unico modo sicuro al 100%. Ma se quel forum deve essere aperto a visitatori casuali, non puoi usare TL0. Certo, puoi usare User-agent: * Disallow: / o meta simili, ma a volte vengono rispettati e a volte no. Se qualcuno condivide un link usando Gmail, Google lo indicizzerà indipendentemente da ciò che hai in robots.txt o nei meta.
E quei trucchi sono efficaci solo se un bot li rispetta. La maggior parte dei crawler SEO non li segue. E poi ci sono un miliardo di bot canaglia e script kiddie che cercano di fare qualcosa.
Quindi, quello che devi fare dipende dal livello di privacy che stai cercando.
4 Mi Piace