Shields.io não consegue recuperar estatísticas da API do Discourse

haikalpribadi · Setembro 14, 2019, 1:25pm

Olá a todos,

Temos usado um escudo do Discourse em nosso repositório há algum tempo, mas ele parou de funcionar recentemente.

Se você acessar 404: badge not found e selecionar qualquer escudo do Discourse, poderá inserir o endereço do seu domínio do Discourse e o escudo será exibido com as estatísticas corretas. Você pode testar isso com meta.discourse.org.

No entanto, quando inserimos o endereço do nosso host do Discourse (https://discuss.grakn.ai), para qualquer estatística e tanto para HTTP quanto para HTTPS, sempre retorna “invalid”.

Quando um host não é encontrado, o Shields.io retorna “inaccessible”. Portanto, assumimos que “invalid” significa que o host é acessível, mas há problemas de permissões de acesso ou respostas inválidas.

É possível que uma atualização/recente tenha quebrado algo na API de estatísticas do Discourse que o Shields.io utiliza?

Muito obrigado!

marianord · Setembro 15, 2019, 3:00am

Está funcionando para mim no meu site. Talvez você não esteja configurando corretamente o protocolo? Ou o Grakn Discourse tem alguma modificação que quebra esse endpoint.

gerhard · Setembro 15, 2019, 10:35am

Talvez você queira perguntar ao Shields.io sobre esse problema. Ele funciona com todos os outros sites que testei, então esse não é um bug nosso.

haikalpribadi · Setembro 15, 2019, 7:20pm

@marianord essa é exatamente a minha pergunta: onde estão os “protocolos” que você está mencionando? Como eles podem ser configurados? Eu não alterei nenhuma configuração.

@gerhard, considerando que o shields.io está funcionando para outros sites Discourse, não parece provável que seja um problema do lado deles. A menos que eles não estejam lendo corretamente a saída das estatísticas do nosso site — mas como podemos descobrir isso? Qual é o endpoint do Discourse usado para consultar as estatísticas? Talvez devêssemos começar por aí?

marianord · Setembro 15, 2019, 7:27pm

Estou mencionando http vs https.

max_grakn · Setembro 19, 2019, 11:05am

Isso ocorreu porque nossa instalação do Discourse bloqueou o user agent do Shields.io (Shields.io). Essa configuração é chamada de whitelisted crawler user agents e pode ser editada em
<discourse_server>/admin/site_settings/category/all_results?filter=crawler

haikalpribadi · Setembro 19, 2019, 11:18am

Interessante! Obrigado, @max_grakn! Nós adicionamos o Googlebot à lista de permissões recentemente; acho que isso pode ser a causa.

@codinghorror, devemos usar a Lista Negra e a Lista de Permissões ao mesmo tempo? Ou seja, se você adicionar itens à lista de permissões, isso significa que tudo o mais está na lista negra (o que tornaria a lista negra redundante)?

codinghorror · Setembro 19, 2019, 12:41pm

Não, a lista de permissões para crawlers é muito perigosa e deve ser usada com cuidado, conforme o texto de ajuda.

User agents dos crawlers da web que devem ter permissão para acessar o site. AVISO! DEFINIR ISSO IMPEDIRÁ O ACESSO DE TODOS OS CRAWLERS NÃO LISTADOS AQUI!

barto_95 · Novembro 13, 2020, 10:16am

Olá, estou com o mesmo problema quando recebo dados inválidos em um teste… você tem alguma ideia?

Já está tudo bem agora. É necessário ativar a estatística anônima em:

Admin → Configurações → Outros → Compartilhar estatísticas anonimizadas = Ativado

E agora está funcionando para o shields.io.

spdegabrielle · Novembro 15, 2023, 6:22pm

Eu tenho o mesmo problema, mas as estatísticas anônimas já estão habilitadas

[![Racket Discourse](upload://6fa5jbSn04vRLXdubAYmFJt5emf.svg)]

[]

Arkshine · Novembro 15, 2023, 7:41pm

Relacionado a:

github.com/discourse/discourse

DEV: Ability to collect stats without exposing them via API

main ← dev/ability-to-collect-stats-without-public-exposing

opened 06:37PM - 13 Oct 23 UTC

AndrewPrigorshnev

+228 -119

This adds the ability to collect stats without exposing them among other stats v…ia API. The most important thing I wanted to achieve is to provide an API where stats are not exposed by default, and a developer has to explicitly specify that they should be exposed (`expose_via_api: true`). Implementing an opposite solution would be simpler, but that's less safe in terms of potential security issues. When working on this, I had to refactor the current solution. I would go even further with the refactoring, but the next steps seem to be going too far in changing the solution we have, and that would also take more time. Two things that can be improved in the future: 1. Data structures for holding stats can be further improved 2. Core stats are hard-coded in the About template (it's hard to fix it without correcting data structures first, see point 1): https://github.com/discourse/discourse/blob/63a0700d45f755d0f432a9075ae7afbed9cd6ab0/app/views/about/index.html.erb#L61-L101 The most significant refactorings are: 1. Introducing the `Stat` model 2. Aligning the way the core and the plugin stats' are registered

É porque alguns campos foram renomeados em sua forma plural.

topic_count → topics_count
post_count → posts_count
user_count → users_count
like_count → likes_count

Alguém precisará modificar o código aqui para usar a forma plural como fallback:

github.com/badges/shields

services/discourse/discourse.service.js

master

import Joi from 'joi'
import { metric } from '../text-formatters.js'
import { nonNegativeInteger, url } from '../validators.js'
import { BaseJsonService, queryParams } from '../index.js'

const schemaSingular = Joi.object({
  topic_count: nonNegativeInteger,
  user_count: nonNegativeInteger,
  post_count: nonNegativeInteger,
  like_count: nonNegativeInteger,
}).required()

const schemaPlural = Joi.object({
  topics_count: nonNegativeInteger,
  users_count: nonNegativeInteger,
  posts_count: nonNegativeInteger,
  likes_count: nonNegativeInteger,
})

const schema = Joi.alternatives(schemaSingular, schemaPlural)

This file has been truncated. show original

spdegabrielle · Novembro 20, 2023, 3:52pm

Isso ainda está com defeito - está funcionando para mais alguém?

![Racket Discourse](upload://7asTK98zfWLXRebm11uEN3KPM5N.svg)

BryanV · Dezembro 6, 2023, 5:35pm

Houve um PR aberto há alguns dias:

github.com/badges/shields

[Discourse] Update schema keys to use plural form (`topic_count` -> `topics_count`)

master ← joshuacwnewton:jn/9776-fix-discourse-js-schema

opened 08:16PM - 03 Dec 23 UTC

joshuacwnewton

+110 -71

This PR does a simple find and replace to update the Discourse schema to use the… current keys found in https://meta.discourse.org/site/statistics.json, as the older keys now return "Invalid response". > [!NOTE] > I was wondering, though, if the old keys should still be preserved, as to not break backwards compatibility with servers using the old names. > > (I tried finding the source of the change in Discourse's release notes/changelog, but there's surprisingly little information when querying e.g. "statistics.json" or "topic_count"/"topics_count". So, I'm not sure when this change actually took place, and thus it's hard to estimate the likelihood of there being servers out there using the old keys.) > > If we do want to support both sets of keys, then I'm not 100% sure what to do, as I've never written JavaScript before. (I tried reading the Joi docs, and got as far as using `.or()` in the schema definition for each pair of keys + using a `try`/`catch` when creating the `metricIntegrations` object, but I wasn't confident enough to commit that solution before discussing it first.) Fixes #9776.

Mas, naturalmente, essa mudança impõe um ônus ao shields.io para suportar ambas as versões (em perpetuidade, eu acho), pois não há garantia de que qualquer instância do Discourse tenha sido atualizada ou não, então não é tão simples quanto mudar para plurais.

Tópico		Respostas	Visualizações
Is there a nice GH badges (ala shields.io images) design to put in README to link from GitHub to our hosted discourse? Feature	17	5149	13 de Setembro de 2019
Discourse CDNs are blocked by privacy badger Site feedback	47	12925	15 de Agosto de 2017
Can I use the Discourse API on an officially-hosted instance? Support	1	356	9 de Julho de 2021
Access reports JSON data via Pipedream Development rest-api	2	853	28 de Julho de 2021
Interact with discourse from Python? Development	32	5294	20 de Abril de 2026

Shields.io não consegue recuperar estatísticas da API do Discourse

Tópicos relacionados