こんにちは
当社のウェブサイトのページにコメントを埋め込むため、Embed JS機能(非常に素晴らしい機能です)の導入を検討しています。
そこで、少し問題に遭遇しました。これは以下と類似しています:
当社は、Google などの特定のユーザーエージェント向けにページをサーバーサイドでレンダリングするために prerender を使用しています。Onebox の検出機能も追加しており、これは非常にうまく機能しています。しかし、Embed がページをスクレイプする際にも同様の検出機能が必要です。
送信されるユーザーエージェントを探してみましたが、見つけることができませんでした。どなたか、それが何であるか教えていただけますでしょうか?
推測したところ、User Agent は ‘Ruby’ のようです。
それは奇妙ですね。Onebox は独自の User-Agent を送信しているはずです。なぜなら、WPEngine は未知の User-Agent をすべてブロックする傾向があり、Oneboxer の User-Agent を WPEngine がホストする Onebox サイトに特別にホワイトリスト登録するよう依頼しなければならないことが時々あるからです。Cc @techAPJ
david
(David Taylor)
4
Onebox は独自のユーザーエージェントを使用します。@Jono_Brain2 さんが言及しているのは、このようにコンテンツを取得する「トピック埋め込み」スクレイパーのことだと思います。
これはユーザーエージェントを指定していないため、デフォルトの Ruby エージェントが使用されます。
まさにその通りです。Onebox には独自のユーザーエージェントがありますが、埋め込みコメントはデフォルトの Ruby のユーザーエージェントを使用します。