Dipende dal motore onebox. Alcuni motori onebox come Amazon effettuano lo scraping di determinate informazioni come il prezzo dell’articolo all’interno del <body>. Per i motori opengraph, in teoria dovremmo aver bisogno solo di determinati tag come <meta> in <head>.
Il modo più efficiente sarebbe analizzare la risposta per le informazioni necessarie durante lo streaming della risposta, ma cambiare tutti i nostri motori per farlo richiederà probabilmente uno sforzo considerevole ed è una soluzione molto più complessa.
In realtà, Nokogiri, che utilizziamo per analizzare la risposta HTML, è in grado di analizzare testo HTML incompleto, quindi non è necessario scartare l’intera risposta quando è troppo grande. Penso che possiamo semplicemente continuare a limitare il corpo della risposta a 2 MB e, se la dimensione della risposta supera tale limite, provare ad analizzare i primi 2 MB.