CNNのワンボクシングの失敗

onebox エンジンによります。Amazon のような一部の onebox エンジンは、<body> 内の商品の価格などの特定の情報をスクレイピングします。opengraph エンジンの場合、理論上は <head> 内の <meta> のような特定のタグのみが必要になるはずです。

最も効率的な方法は、応答をストリーミングしながら必要な情報を解析することですが、すべてのエンジンを変更するにはかなりの労力がかかり、はるかに複雑なソリューションになるでしょう。

実際、HTML 応答の解析に使用している Nokogiri は、不完全な HTML テキストを解析できるため、応答が大きすぎる場合に応答全体を破棄する必要はありません。応答本文を 2MB に制限し続け、応答サイズがそれを超えた場合は、最初の 2MB を解析するように試みればよいと思います。

「いいね!」 1