Oltre alla configurazione manuale, è possibile impostare robots.txt per bloccare tutti i thread del forum collegati a WP-Discouse?
(in modo che i post del forum non vengano indicizzati)
Un’opzione di attivazione/disattivazione semplice che possa bloccare tutti i thread del forum collegati dal crawling? O anche un’impostazione di attivazione/disattivazione per singolo post durante la pubblicazione o la modifica di un post di WP collegato a un thread del forum wp-discourse?
Perché vuoi farlo? Sono abbastanza sicuro che il post del forum includa un puntatore alla versione canonica sul tuo sito WP.
Un calo nel ranking/reputazione degli articoli di WP (originali) dall’aggiunta. Non stavo cercando di iniziare un dibattito o lamentarmi, stavo solo chiedendo come raggiungere questo obiettivo. Sono sicuro che ci sono molte altre ragioni per cui altri potrebbero voler avere questo livello di controllo su ciò che viene indicizzato.
Sto solo suggerendo: forse dovresti ridefinire i tuoi obiettivi perché stai andando nella direzione sbagliata.
Ma con un reverse proxy è un compito abbastanza banale.
Non tutti i web crawler rispettano il file robots.txt.
Ciao @haydenjames,
Non c’è nulla che tu possa fare nel plugin WP Discourse per aggiungere i post che crea in Discourse a un file robots.txt. Questa è in realtà una domanda puramente di Discourse, ovvero “Posso automaticamente noindexare gli argomenti incorporati?” (o qualcosa di simile). Un argomento incorporato da Wordpress è funzionalmente lo stesso di qualsiasi altro argomento incorporato. La via di indagine che vuoi perseguire è lì, ad esempio l’origine dell’impostazione del sito embed set canonical url e le discussioni correlate.
Non credo (ma sono felice di essere corretto) che ciò che vuoi fare sia una funzionalità attuale di Discourse. Discourse attualmente aggiunge un’intestazione X-Robots-Tag: noindex alle richieste GET per gli argomenti nascosti. Potresti fare lo stesso per gli argomenti incorporati tramite un plugin.
Direzione sbagliata per bloccare l’indicizzazione di un thread del forum con l’articolo duplicato che preferisco che gli utenti di Google Search trovino tramite il blog WP? Va bene per me. Il principale vantaggio di Wp-discourse per me è stato consentire discussioni sui post del blog senza dover utilizzare soluzioni come Disqus o i commenti WP predefiniti molto limitati. Non ho bisogno di alcun beneficio SEO dai forum, a meno che non si tratti di altri thread unici non collegati a contenuti già esistenti.
Non ci sono duplicati a meno che tu non abbia cambiato qualcosa.
A causa di:
E:
Grazie @angus
Per chiarire, se rendo nascosta la categoria che memorizza il post collegato a WP-discourse (nascosto è diverso da privato?) allora nasconderà il post dai forum/pubblico/crawler ma i commenti inseriti alla fine di ogni post del blog Wordpress con commenti saranno ancora visibili?
Mi scuso per le domande da principiante, non ho esperienza con Discourse e voglio assicurarmi di non interpretare male la tua risposta.
…dipende dalla tua definizione di duplicato. Il canonico è in atto, ma per me personalmente, dato che sia il post del blog che il thread del forum contengono lo stesso testo/copia (duplicato). Vorrei semplicemente bloccare del tutto quei thread. Questa è solo una mia preferenza. Forse in futuro, il ragionamento dietro questo argomento avrà più senso. Ma per ora, onestamente non sto cercando di provocare un dibattito o altro. Penso che il blocco sia una soluzione più assoluta per me.
È come andare dal tuo meccanico e chiedergli di “cambiarti l’olio due volte”. Capisco il “perché” iniziale di @angus - ma alla fine, si tratta solo di sapere se può essere fatto in qualche modo, o non è possibile.
Modifica: Ripensandoci, potrei quindi aggiungere la categoria del forum del post del blog a robots.txt, corretto? O verrà sovrascritto? (Cercherò nei forum come funziona/può essere modificato il robots.txt di Discourse.
Quindi qualcosa come:
forum.domain.com/c/blog-articles/xx/*
Un argomento “nascosto” è un argomento che non è elencato negli elenchi degli argomenti, ovvero non è “individuabile” nel modo normale. Puoi riconoscere un argomento nascosto dal simbolo dell’occhio barrato.
In realtà c’è un modo per rendere automaticamente “nascosti” i post dal plugin WP Discourse 
Puoi usare l’impostazione “Pubblica come argomenti non elencati”.
Tieni presente sia ciò che ho detto sopra, sia ciò che dice accanto a quell’impostazione. Ciò significa che gli argomenti pubblicati da Discourse a Wordpress non appariranno negli elenchi degli argomenti del tuo forum. I commenti funzioneranno normalmente. Se hai abilitato il webhook di sincronizzazione dei dati dei commenti, l’argomento non sarà più nascosto dopo il primo commento. Questa funzionalità non è stata esattamente progettata per questo scopo. Vedi ulteriormente
Se vuoi solo aggiungere un’intestazione X-Robots-Tag: noindex a un argomento incorporato (senza preoccuparti di questo problema di nascondere), dovrai richiederlo come nuova funzionalità di Discourse stesso o aggiungerlo tramite un plugin.
Questo è fantastico. Grazie per aver chiarito e condiviso l’impostazione di WP Discourse.
Domanda: Se modifico manualmente il mio file robots.txt di Discourse. La modifica rimarrà persistente?
Sto ancora cercando nei forum una risposta. Inserirò eventuali link che troverò che rispondono a questa domanda.
Se lo fai tramite /admin/customize/robots persisterà.
Viene memorizzato in un’impostazione del sito nascosta chiamata overridden_robots_txt. Se questa è compilata, verrà sempre servita come file robots.txt.
@haydenjames L’ultima cosa che vorrei segnalare è che di recente sembra esserci stato un problema con l’URL canonico degli argomenti incorporati. Qualcosa da tenere a mente se hai notato questo problema di recente.
Grazie. Ahh, non è così semplice, perché l’URL di ogni thread è senza la categoria in detto URL. Quindi dovrebbe aggiungerli manualmente / uno per uno.
Apprezzato. grazie. Questo è in parte il motivo per cui vorrei l’approccio “nuke” di bloccare tutti i post incorporati di WP-Discourse tramite robots.txt. Queste cose possono succedere. È comprensibile.
La mia definizione, o la tua, è priva di significato. È importante solo la definizione di Google. E poi non ci sono duplicati.
C’è anche la possibilità che Google valuti il tuo forum più di WordPress. Quindi la soluzione non è cercare di bloccare l’indicizzazione, ma correggere quell’origine.
Anche se il tag rel=canonical può aiutarti a evitare una penalità per contenuti duplicati quando ripubblichi post, puoi comunque essere penalizzato se utilizzi in modo improprio il tag. Troverò una soluzione. Ri-uppo questo thread in un secondo momento.
