Nossos usuários têm reclamado que o Onebox está quebrado para alguns sites recentemente, incluindo New York Times e Washington Post. O Onebox mudou recentemente? Veja os links abaixo. O primeiro é um link de presente.
Recentemente adicionei suporte para oneboxes privadas do GitHub, mas isso não deve afetar outros sites. Geralmente não podemos fazer onebox de sites privados / com paywall:
Notei recentemente alguns comportamentos estranhos no Stable. Quando posto links de outras instâncias do Discourse (Tests-passed). Às vezes, aparentemente aleatoriamente, o link não faz “onebox” sempre.
Não tentei postar links do meu Stable no fórum Tests-passed.
Tentei reconstruir o HTML sem sucesso em fazer o link fazer “onebox”.
Acho que me lembro que há outro tópico aqui (no Meta) onde postei uma captura de tela.
O New York Times e o Washington Post sempre foram publicações pagas. Embora eu não saiba se eles fizeram algo recentemente para mudar sua estrutura de paywall.
Embora, se posso fazer uma sugestão - se o paywall for o problema, e se for possível ver visualmente o título e a legenda do artigo na página com paywall, o onebox não deveria ser capaz de capturar essas informações?
O New York Times começou com paywall em 2011. Mas permitia algumas leituras sem registro e cartão de crédito às vezes, cinco se bem me lembro. Ao mesmo tempo, permitia a navegação do Google. Um sistema muito mais novo está bloqueando o acesso totalmente e, após uma briga com o Google, eles encerraram totalmente a leitura gratuita.
Será que a quebra do oneboxing aconteceu ao mesmo tempo?
95% de certeza de que o onebox já faz isso. Se houver informações suficientes para exibir um onebox, ele o fará, mesmo que o conteúdo seja, em última análise, paywalled.
O que eu acho que acontece é que o onebox está sendo denylisted por esses sites paywalled devido a recentes crawlers/agentes de LLMs, então ele não vê o mesmo HTML que poderíamos ver ao usar um navegador.
No entanto, ficarei feliz em ser provado errado. Se alguém quiser dar uma olhada rápida para ver se consegue melhorar de alguma forma, pr-welcome