Dépend du moteur onebox. Certains moteurs onebox comme Amazon recherchent certaines informations, comme le prix de l’article, dans le <body>. Pour les moteurs opengraph, nous ne devrions en théorie avoir besoin que de certaines balises comme <meta> dans <head>.
La méthode la plus efficace consisterait à analyser la réponse pour obtenir les informations nécessaires pendant le streaming de la réponse, mais modifier tous nos moteurs pour ce faire nécessiterait probablement un effort considérable et constituerait une solution beaucoup plus complexe.
En fait, Nokogiri, que nous utilisons pour analyser la réponse HTML, est capable d’analyser du texte HTML incomplet, il n’est donc pas nécessaire de jeter toute la réponse lorsqu’elle est trop volumineuse. Je pense que nous pouvons simplement continuer à limiter le corps de la réponse à 2 Mo et si la taille de la réponse dépasse cela, nous essayons simplement d’analyser les 2 premiers Mo.