Depende del motor de onebox. Algunos motores de onebox como Amazon buscan cierta información, como el precio del artículo, dentro del <body>. Para los motores opengraph, en teoría solo necesitamos ciertas etiquetas como <meta> en <head>.
La forma más eficiente será analizar la respuesta en busca de la información necesaria mientras transmitimos la respuesta, pero cambiar todos nuestros motores para hacer esto probablemente requerirá un esfuerzo considerable y es una solución mucho más compleja.
De hecho, Nokogiri, que usamos para analizar la respuesta HTML, es capaz de analizar texto HTML incompleto, por lo que no es necesario descartar toda la respuesta cuando es demasiado grande. Creo que podemos seguir limitando el cuerpo de la respuesta a 2 MB y, si el tamaño de la respuesta excede eso, simplemente intentamos analizar los primeros 2 MB.