# Как экспортировать больше лимита в 10 000?

**URL:** https://meta.discourse.org/t/how-to-export-more-than-the-10-000-limit/249462
**Category:** Development
**Tags:** data-explorer
**Created:** [13.Сентябрь.2022 01:48:59 UTC](https://meta.discourse.org/t/how-to-export-more-than-the-10-000-limit/249462 "2022-09-13T01:48:59Z")
**Posts on this page:** 4
**Page:** 1

<div class="post-metadata">

### Author: ![nathank](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/nathank/32/290039_2.png) [@nathank](https://meta.discourse.org/u/nathank)
#### Post date: [13.Сентябрь.2022 01:48:59 UTC](https://meta.discourse.org/t/how-to-export-more-than-the-10-000-limit/249462/1 "2022-09-13T01:48:59Z")

</div>

> [@Kane York](#):
>
> Нажатие на Экспорт позволит вам скачать результаты с гораздо более высоким лимитом в 10 000.

Глупый вопрос — этот предел для одного из наших форумов становится всё ближе. Можем ли мы его превысить, не форкая плагин?

Кажется, есть скрытая настройка для лимита отображения по умолчанию в 1000, позволяющая увеличить его до 10 000. Но мне это не нужно, и 1000 вполне логично для интерфейса в [Data Explorer](https://meta.discourse.org/t/32566?silent=true).

Однако электронная таблица может справиться с гораздо большим объёмом. Я хочу иметь возможность экспортировать данные с более высоким лимитом (например, 20 000). Это возможно?

---

<div class="post-metadata">

### Author: ![DonH](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/donh/32/274040_2.png) [@DonH](https://meta.discourse.org/u/DonH)
#### Post date: [13.Сентябрь.2022 02:32:34 UTC](https://meta.discourse.org/t/how-to-export-more-than-the-10-000-limit/249462/2 "2022-09-13T02:32:34Z")

</div>

Я тоже сегодня столкнулся с этим лимитом в 10 000 записей. Есть ли способ его обойти? Мне нужно увеличить лимит на порядок.

---

<div class="post-metadata">

### Author: ![pfaffman](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/pfaffman/32/120154_2.png) [@pfaffman](https://meta.discourse.org/u/pfaffman)
#### Post date: [14.Сентябрь.2022 13:35:20 UTC](https://meta.discourse.org/t/how-to-export-more-than-the-10-000-limit/249462/3 "2022-09-14T13:35:20Z")

</div>

Один из способов проверить это — зайти в контейнер, отредактировать файл /var/www/discourse/plugins/discourse-data-explorer/plugin.rb и изменить строку `QUERY_RESULT_MAX_LIMIT = 10000`, затем выполнить `sv restart unicorn` и посмотреть, что произойдет. Конечно, есть причины не разрешать такие огромные запросы; если вы уверены, что ваша инфраструктура сможет с этим справиться, или вас не беспокоит небольшая нестабильность, этот вариант может сработать.

Если мир не рухнет, вы можете добавить _некоторые изменения_ в `app.yml`, которые будут модифицировать этот файл после клонирования плагинов при каждой пересборке. Это, вероятно, будет конфликтовать с обновлением через `docker_manager`. (Вы можете посмотреть другие шаблоны, которые модифицируют файлы, чтобы понять, что могут представлять собой эти _некоторые изменения_.)

@DonH, если вам часто нужен именно этот запрос и он всего один, возможно, стоит создать плагин, который будет как-то его предоставлять. Например, он мог бы записывать файл частями, который можно будет получить через какой-то путь.

---

<div class="post-metadata">

### Author: ![DonH](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/donh/32/274040_2.png) [@DonH](https://meta.discourse.org/u/DonH)
#### Post date: [14.Сентябрь.2022 15:58:11 UTC](https://meta.discourse.org/t/how-to-export-more-than-the-10-000-limit/249462/4 "2022-09-14T15:58:11Z")

</div>

Спасибо за этот совет, Джей. Я действительно думал о создании плагина, но также считал, что это можно сделать через консоль Rails, как и для различных массовых операций. Однако я не знаком с Rails, и в любом случае это, похоже, требует вызова встроенных функций. Это создало бы ту же проблему перезаписи, если только эти задачи не будут включены в ядро.

До сих пор я справлялся с помощью [Data Explorer](https://meta.discourse.org/t/32566?silent=true) для операций удаления и (очень осторожного) psql для операций добавления, но мне гораздо больше хотелось бы действовать по правилам, какова бы ни была судьба.

Наверное, мне стоит чётко объяснить, что именно я делаю.

Я управляю форумом, который сейчас находится в своей третьей или четвёртой итерации: до этого он работал на Phorum, затем на phpBB, а ещё раньше — на какой-то другой платформе. Тематика узкая, аудитория небольшая, но контент переносился при каждом переходе и представляет собой значительный объём институциональных знаний. Discourse с его возможностями категоризации, тегирования и интерфейса казался отличным решением для улучшения доступности знаний.

Поэтому я перенёс форум, который в предыдущих версиях никогда не был категоризирован или размечен тегами. Вместо того чтобы вручную просматривать 100 тысяч сообщений в 8 тысячах тем, я использовал программное обеспечение для обработки естественного языка, чтобы помочь с категоризацией и тегированием. Затем я обновляю таблицы topics, categories и topic\_tag напрямую, будучи, как я уже сказал, очень осторожным.

Процесс ещё продолжается, но у меня уже есть стабильный рабочий процесс, и я могу легко завершить работу с помощью имеющихся инструментов. Вперёд, однако, будут регулярные периодические обновления для включения новых категорий и тегов, которые могут отличаться от предыдущих данных. Как видите, необходимость в этом очевидна.

Очевидно, что [Data Explorer](https://meta.discourse.org/t/32566?silent=true) обеспечивает только односторонний поток данных, но он оказался очень удобным. Я могу обойти ограничение по размеру, выполняя операции пакетами, а теперь ещё и повысив лимит настроек, так что спасибо за это.
