Oneboxing bloccato dal controllo robot

Sto vedendo questo su alcuni siti e è appena iniziato. Quando Discourse tenta di recuperare le informazioni dal sito, viene bloccato. Questo funzionava nelle versioni precedenti.

Ho incluso un link come esempio:

Bloomberg - Sei un robot?

Sembra che Bloomberg abbia applicato un limite di richieste. Probabilmente non c’è molto che tu possa fare se non dedurre quali siano i limiti e cercare di rimanerne al di sotto.

Cosa stai esattamente cercando di oneboxare qui? L’URL è piuttosto strano.

Articolo di Bloomberg. Se clicchi sul link, ecco l’articolo.

Prova "Onebox Assistant", crawl for those previews reliably!

Funziona con i link di Bloomberg, se ricordo bene.

Qual è il link originale? Quello che hai incollato sopra non è un articolo, ma una destinazione a cui sei stato reindirizzato, sospetto.

https://www.bloomberg.com/opinion/articles/2020-01-29/peer-review-is-science-s-wheel-of-misfortune

Questo è il collegamento.

Capisco, ecco il link

http://www.bloomberg.com/opinion/articles/2020-01-29/peer-review-is-science-s-wheel-of-misfortune

Sembra che abbiano implementato una protezione anti-scraping piuttosto aggressiva, visto che stiamo solo controllando le intestazioni dei metadati..

Inoltre, un altro esempio di dove non dovremmo affatto usare l’oneboxing, perché non abbiamo né immagine né descrizione cc @techAPJ @sam .. dobbiamo davvero applicare quella modifica alla versione stabile non appena verrà introdotta la prossima settimana.

Ho appena provato il link che termina con l’estensione html (esclusi tutti i caratteri finali) usando solo Firefox, non il Onebox di Discourse. Il messaggio di errore esteso è sotto la linea. Il primo link (che ha il messaggio di errore sotto) è racchiuso tra <> qui. Il secondo link non è racchiuso tra <> e mostra il titolo dell’URL come indicato.
https://www.bloomberg.com/tosv2.html
Bloomberg - Are you a robot?


Abbiamo rilevato un’attività insolita dalla tua rete di computer

Per continuare, fai clic sulla casella qui sotto per farci sapere che non sei un robot.

Perché è successo?

Assicurati che il tuo browser supporti JavaScript e i cookie e che non li stia bloccando dal caricamento. Per ulteriori informazioni puoi consultare i nostri Termini di servizio e l’Informativa sui cookie.

Hai bisogno di aiuto?

Per richieste relative a questo messaggio, contatta il nostro team di supporto fornendo l’ID di riferimento qui sotto.

ID di riferimento del blocco: 13215fd0-4285-11eb-8faf-b7e9262e99b2