Como exportar mais que o limite de 10.000?

Pergunta idiota - esse limite está se aproximando para um dos nossos fóruns. Podemos excedê-lo sem fazer um fork do plugin?

Parece que há uma configuração oculta para o limite padrão de exibição de 1000, permitindo que ele chegue a 10.000. Mas eu não preciso disso, e 1000 faz muito sentido para a interface do usuário no Data Explorer.

No entanto, uma planilha pode lidar com muito mais. O que eu quero fazer é poder Exportar para um limite maior (digamos, 20.000). Isso é factível?

Coincidentemente, esta noite também estou enfrentando este limite de 10.000 registros. Existe alguma maneira de superá-lo? Preciso de mais uma ordem de magnitude.

Uma maneira de testar seria entrar no contêiner, editar /var/www/discourse/plugins/discourse-data-explorer/plugin.rb e alterar QUERY_RESULT_MAX_LIMIT = 10000, fazer um sv restart unicorn e ver o que acontece. Claro, existem razões para não permitir consultas tão grandes; se você confia que sua infraestrutura consegue lidar com isso, ou não se importa com um pouco de instabilidade, isso pode funcionar.

Se o mundo não explodir, então você poderia adicionar algumas coisas a app.yml que modificariam esse arquivo após os plugins serem clonados a cada reconstrução. Provavelmente entraria em conflito com a atualização com docker_manager. (Você pode olhar alguns outros templates que modificam arquivos para descobrir o que algumas coisas poderiam ser.)

@DonH se você precisa dessa consulta com muita frequência e é apenas uma, então você pode querer um plugin que a entregue de alguma forma. Poderia, por exemplo, escrever um arquivo em pedaços que você poderia recuperar por algum caminho.

Obrigado por este conselho, Jay. De fato, pensei em escrever um plugin, mas também que isso deveria ser factível a partir do console do Rails, assim como para as várias operações em massa, mas não conheço o Rails e isso, de qualquer forma, parece exigir o acionamento de funções incorporadas. Isso criaria o mesmo problema de sobrescrita, a menos que os trabalhos fossem confirmados no núcleo.

Gerenciei até agora com o Explorador de Dados na parte inferior e (muito cuidado) psql na parte superior, mas preferiria fazer as coisas de acordo com as regras, o destino sendo o que é.

Provavelmente deveria ser explícito sobre o que estou fazendo.

Eu administro um fórum que está em sua terceira ou quarta manifestação, tendo passado pelo Phorum e phpBB em minhas mãos e algo mais antes de chegar a ele. O assunto é restrito e a base de usuários é minúscula, mas o conteúdo foi levado adiante a cada mudança e representa muito conhecimento institucional. O Discourse, com sua categorização, marcação e recursos de interface, parecia uma ótima solução para a acessibilidade do conhecimento.

Então, portei o fórum que nunca foi categorizado ou marcado em suas encarnações anteriores. Em vez de analisar 100 mil postagens/8 mil tópicos, usei um software de processamento de linguagem natural para ajudar nas categorizações e marcações. Em seguida, atualizo diretamente as tabelas de tópicos, categorias e topic_tag, sendo, como disse, bastante cuidadoso.

O processo ainda está em andamento, mas tenho um fluxo de trabalho estável e posso terminar facilmente com as ferramentas disponíveis. No entanto, daqui para frente, haverá atualizações periódicas regulares para incorporar novas categorizações e marcações que podem ou não ser diferentes dos dados anteriores. Então você pode ver a necessidade.

Obviamente, o Explorador de Dados é um fluxo unidirecional, mas tem sido muito conveniente. Posso superar o limite de tamanho fazendo lotes e, agora, aumentando a configuração do limite, então obrigado por isso.