Di default, il file robots.txt contiene la seguente voce:
User-agent: *
# ...
Disallow: /u
Questa configurazione blocca l’immagine per le card di Twitter. La verifica della card di vari forum tramite il validator di Twitter non mostra il logo e restituisce il seguente avviso:
L’URL dell’immagine forum.[…].org/uploads/[…].png specificato dal metatag ‘twitter:image’ potrebbe essere limitato dal file robots.txt del sito, impedendo a Twitter di recuperarla.
Il problema è che il percorso /uploads inizia anch’esso con una u e viene quindi intercettato dalla regola del file robots.txt.
So che il file robots.txt può essere sovrascritto, ma ritengo che sarebbe opportuno modificare l’impostazione predefinita. Purtroppo, non conosco il codice a sufficienza per creare una pull request.
Quando si sovrascrive, tenete presente che Twitter controlla il file robots.txt meno frequentemente rispetto all’HTML effettivo della pagina, quindi potrebbero essere necessarie alcune ore prima che le modifiche vengano rilevate.
Sì, almeno funziona con le card di Twitter. Spero che non abbia effetti collaterali indesiderati.
Puoi aprire l’impostazione “consenti indicizzazione nel robots.txt” e fare clic su “sovrascrivi robots.txt”. Quindi individua la riga Disallow: /u e aggiungi una barra alla fine, così diventa Disallow: /u/. Ci vorranno alcune ore a Twitter per rilevare la modifica.
Sembra che questo fosse un problema in passato (vedi questa discussione) e che sia stato poi reintrodotto.
In questo commit, le regole robots con la barra finale sono state rimosse perché si pensava non fossero più necessarie. In seguito, in questo commit sono state reintrodotte, ma senza la barra finale.
