IMDB gibt derzeit HTTP 202 Accepted statt 200 OK zurück (wahrscheinlich aufgrund von Anti-Bot-Maßnahmen oder der asynchronen Bearbeitung von Anfragen). Die aktuelle Implementierung ist zu streng, da sie nur 200 als erfolgreiche Antwort betrachtet und jeden anderen 2xx-Status als Fehler behandelt. Infolgedessen wird der Antworttext nie gelesen und Oneboxing schlägt mit einer “error code of 202”-Meldung fehl:
Dies hat direkte, für den Nutzer sichtbare Auswirkungen, sobald jemand einen IMDB-Link in einen Beitrag einfügt.
Die Methode fetch_response akzeptiert derzeit nur HTTP 200 als erfolgreiche Antwort. Jeder andere 2xx-Status, einschließlich 202, wird an response.error! weitergeleitet, wodurch der Abruf fehlschlägt, bevor der Antworttext verarbeitet werden kann.
Können wir den gesamten Bereich erfolgreicher HTTP-Statuscodes (2xx) anstelle von nur 200 akzeptieren?
Es sieht so aus, als wäre imdb.com hinter einem WAF, der das Scraping (und damit das Oneboxing) verhindert, daher befürchte ich, dass wir nicht viel dagegen tun können, abgesehen davon, die dem Benutzer angezeigte Nachricht zu verbessern
