Ho sentito su un altro thread @simon menzionare che esiste un’impostazione per fermare/distruggere i crawler, non riesco a trovare questa impostazione, come si fa, qualcuno sa dov’è e come funziona?
Ho avuto un insolito picco di 48 crawler sul mio sito il 14 luglio, non mi piacciono questi piccoli bastardi, cosa stanno facendo?
Cerca nelle impostazioni del sito “crawler”. Puoi bloccare o rallentare per user agent.
Almeno alcuni indicizzano il tuo sito per farlo apparire nei motori di ricerca. Probabilmente ti piace.
Inoltre, dai un’occhiata al report “User Agent Web Crawler” per ottenere il nome del crawler che sta causando il problema:
Grazie, l’ho trovato ora. Vedo che ci sono cinque nomi di crawler bloccati per impostazione predefinita, immagino che siano spider noti per causare problemi.
Sembra che ci sia un’opzione per usare una lista di ammessi per i crawler buoni, che se utilizzata nega automaticamente l’accesso a tutti gli altri esseri elettronici, non so quali possano essere quelli buoni?
Ho trovato i report degli user agent dei web crawler, i primi sono “YandexBox/3.0” e “CensysInspect/1.1”
Sarebbe bello apparire su alcuni motori di ricerca per i clienti che ne hanno bisogno.
Ho ricevuto molte chiamate da società di marketing che offrono servizi in abbonamento per aiuto con questo e la creazione di siti web, potrebbe essere buono ma è piuttosto fastidioso ricevere tutte queste chiamate a riguardo.
Vale la pena notare che gli user agent sono totalmente facili da falsificare. Se è Google, puoi essere abbastanza sicuro che lo dirà. Ma solo perché dice che è Google, non significa nulla.
(Stessa situazione di robots.txt, questi sono meccanismi che presuppongono fiducia. Parti inaffidabili possono semplicemente giocare secondo regole diverse.)
Furfanti peggiori dei furetti che possono essere:
https://yandex.com/support/webmaster/robot-workings/check-yandex-robots.html
"# Come verificare che un robot appartenga a Yandex
Alcuni robot possono spacciarsi per robot di Yandex indicando il User Agent pertinente. È possibile verificare l’autenticità di un robot utilizzando la ricerca DNS inversa.
Basta seguire questi passaggi:
Determinare l’indirizzo IP dell’user agent in questione utilizzando i log del server.
Utilizzare una ricerca DNS inversa dell’indirizzo IP per determinare il nome host del dominio.
Verificare che l’host appartenga a Yandex. Tutti i nomi dei robot di Yandex terminano con yandex.ru, yandex.net o yandex.com. Se il nome host ha una terminazione diversa, il robot non appartiene a Yandex.
Assicurarsi che il nome sia corretto. Utilizzare una ricerca DNS diretta per ottenere l’indirizzo IP corrispondente al nome host. Dovrebbe corrispondere all’indirizzo IP utilizzato nella ricerca DNS inversa. Se gli indirizzi IP non corrispondono, significa che il nome host è falso."
C’è anche una guida a cui puoi fare riferimento qui:
Sai per caso se i web crawler come questi indicizzano i siti per i sistemi di ricerca vocale?
Ricevo alcune chiamate automatiche ogni giorno riguardo alla mia azienda che non è registrata nei principali motori di ricerca vocale basati sull’IA, sembrano essere solo società terze che lo fanno e non sono sicuro che ciò che fanno sia legittimo.
Nello specifico: addebitare un servizio in abbonamento per “registrare” un’azienda nella ricerca o aiutare le aziende a comparire nella prima pagina dei risultati di ricerca.
Non lo so. Ne dubito.
Ho interagito con alcune persone che penso possano effettivamente aiutare in questo, alcune usando metodi legittimi. Mi sembrano l’eccezione, a mio parere.
Non so nulla nemmeno della ricerca vocale e non desidero nemmeno necessariamente che la mia azienda venga mai indicizzata da questi.
Questo è importante da ricordare soprattutto in questi giorni, i truffatori stanno diventando sempre più sofisticati.
Le chiamate che ricevo spesso dicono “il tuo elenco di Google è stato segnalato per la revisione”, il che suggerisce che sia Google a chiamare, ma Google non chiama mai. Alcune aziende si definiscono una “società partner di Google”, non sono sicuro di cosa significhi se sia una cosa reale.
Ho sentito da un rappresentante che ci sono circa/almeno 40 aziende diverse che fanno questo, chiamano le startup per registrarle sulle piattaforme di ricerca vocale, il che spiega perché ci sono così tante chiamate.
This topic was automatically closed 30 days after the last reply. New replies are no longer allowed.
