Зависит от движка onebox. Некоторые движки, например Amazon, извлекают определённую информацию, такую как цена товара, непосредственно из содержимого тега <body>. Для движков, использующих Open Graph, теоретически достаточно только определённых тегов, например <meta>, расположенных в <head>.
Наиболее эффективным способом будет парсинг ответа на лету по мере его поступления, однако переделка всех наших движков под такой подход потребует значительных усилий и является гораздо более сложным решением.
На самом деле, Nokogiri, который мы используем для парсинга HTML-ответов, способен обрабатывать неполный HTML-текст, поэтому нет необходимости отбрасывать весь ответ, если он слишком велик. Я считаю, что мы можем просто продолжать ограничивать размер тела ответа до 2 МБ, и если размер ответа превышает это значение, мы будем пытаться пропарсить только первые 2 МБ.