Como exportar mais que o limite de 10.000?

Pergunta idiota - esse limite está se aproximando para um dos nossos fóruns. Podemos excedê-lo sem fazer um fork do plugin?

Parece que há uma configuração oculta para o limite padrão de exibição de 1000, permitindo que ele chegue a 10.000. Mas eu não preciso disso, e 1000 faz muito sentido para a interface do usuário no Data Explorer.

No entanto, uma planilha pode lidar com muito mais. O que eu quero fazer é poder Exportar para um limite maior (digamos, 20.000). Isso é factível?

Coincidentemente, esta noite também estou enfrentando este limite de 10.000 registros. Existe alguma maneira de superá-lo? Preciso de mais uma ordem de magnitude.

Uma maneira de testar seria entrar no contêiner, editar /var/www/discourse/plugins/discourse-data-explorer/plugin.rb e alterar QUERY_RESULT_MAX_LIMIT = 10000, fazer um sv restart unicorn e ver o que acontece. Claro, existem razões para não permitir consultas tão grandes; se você confia que sua infraestrutura consegue lidar com isso, ou não se importa com um pouco de instabilidade, isso pode funcionar.

Se o mundo não explodir, então você poderia adicionar algumas coisas a app.yml que modificariam esse arquivo após os plugins serem clonados a cada reconstrução. Provavelmente entraria em conflito com a atualização com docker_manager. (Você pode olhar alguns outros templates que modificam arquivos para descobrir o que algumas coisas poderiam ser.)

@DonH se você precisa dessa consulta com muita frequência e é apenas uma, então você pode querer um plugin que a entregue de alguma forma. Poderia, por exemplo, escrever um arquivo em pedaços que você poderia recuperar por algum caminho.

3 curtidas

Obrigado por este conselho, Jay. De fato, pensei em escrever um plugin, mas também que isso deveria ser factível a partir do console do Rails, assim como para as várias operações em massa, mas não conheço o Rails e isso, de qualquer forma, parece exigir o acionamento de funções incorporadas. Isso criaria o mesmo problema de sobrescrita, a menos que os trabalhos fossem confirmados no núcleo.

Gerenciei até agora com o Explorador de Dados na parte inferior e (muito cuidado) psql na parte superior, mas preferiria fazer as coisas de acordo com as regras, o destino sendo o que é.

Provavelmente deveria ser explícito sobre o que estou fazendo.

Eu administro um fórum que está em sua terceira ou quarta manifestação, tendo passado pelo Phorum e phpBB em minhas mãos e algo mais antes de chegar a ele. O assunto é restrito e a base de usuários é minúscula, mas o conteúdo foi levado adiante a cada mudança e representa muito conhecimento institucional. O Discourse, com sua categorização, marcação e recursos de interface, parecia uma ótima solução para a acessibilidade do conhecimento.

Então, portei o fórum que nunca foi categorizado ou marcado em suas encarnações anteriores. Em vez de analisar 100 mil postagens/8 mil tópicos, usei um software de processamento de linguagem natural para ajudar nas categorizações e marcações. Em seguida, atualizo diretamente as tabelas de tópicos, categorias e topic_tag, sendo, como disse, bastante cuidadoso.

O processo ainda está em andamento, mas tenho um fluxo de trabalho estável e posso terminar facilmente com as ferramentas disponíveis. No entanto, daqui para frente, haverá atualizações periódicas regulares para incorporar novas categorizações e marcações que podem ou não ser diferentes dos dados anteriores. Então você pode ver a necessidade.

Obviamente, o Explorador de Dados é um fluxo unidirecional, mas tem sido muito conveniente. Posso superar o limite de tamanho fazendo lotes e, agora, aumentando a configuração do limite, então obrigado por isso.

1 curtida