원박스 엔진에 따라 다릅니다. Amazon과 같은 일부 원박스 엔진은 <body> 내에서 가격과 같은 특정 정보를 스크래핑합니다. 오픈그래프 엔진의 경우, 이론적으로 <head> 안의 <meta>와 같은 특정 태그만 있으면 됩니다.
가장 효율적인 방법은 스트리밍으로 응답을 수신하는 동안 필요한 정보를 파싱하는 것입니다. 그러나 모든 엔진을 이렇게 변경하는 것은 상당한 노력이 필요하며 훨씬 더 복잡한 솔루션이 됩니다.
실제로 HTML 응답을 파싱하는 데 사용하는 Nokogiri는 불완전한 HTML 텍스트도 파싱할 수 있으므로, 응답이 너무 크다고 해서 전체 응답을 폐기할 필요가 없습니다. 응답 본문을 2MB로 제한하고, 응답 크기가 이를 초과할 경우 처음 2MB만 파싱하려고 시도하면 된다고 생각합니다.