IMDB restituisce attualmente HTTP 202 Accepted invece di 200 OK (probabilmente a causa di misure anti-bot o della gestione asincrona delle richieste). L’implementazione attuale è troppo rigida poiché considera solo lo stato 200 come una risposta di successo e tratta qualsiasi altro stato 2xx come un errore. Di conseguenza, il corpo della risposta non viene mai letto e l’oneboxing fallisce con un messaggio di “codice di errore 202”:
Questo ha un impatto diretto e visibile per l’utente ogni volta che qualcuno incolla un link di IMDB in un post.
Il metodo fetch_response accetta attualmente solo HTTP 200 come risposta di successo. Qualsiasi altro stato 2xx, incluso il 202, viene passato a response.error!, causando il fallimento del recupero prima che il corpo della risposta possa essere elaborato.
Possiamo accettare l’intera gamma di codici di stato HTTP di successo (2xx) invece di solo 200?
Sembra che imdb.com sia dietro un WAF che impedisce lo scraping (e quindi la creazione di onebox), quindi temo che non possiamo fare molto al riguardo, se non migliorare il messaggio mostrato all’utente
