Исправление ошибки «Record is too big», прерывающей переиндексацию записей в Algolia
Я столкнулся с проблемой, когда в Algolia находилась лишь малая часть постов моего форума. Запуск переиндексации постов выявил причину:
Algolia::AlgoliaHttpError:
Record at the position 258 objectID=1006 is too big:
size: 108426 byte(s), maximum allowed: 10000 byte(s).
В установленной у меня версии плагина метод PostIndexer#to_object отправляет весь текст поста в виде одной записи, не проверяя размер сериализованной записи. Слишком большая запись приводила к прерыванию задачи переиндексации.
Следующий локальный обходной путь позволил завершить переиндексацию.
Что делает этот патч
Патч ограничивает размер каждой полной сериализованной записи поста до 9 500 байт, оставляя запас ниже лимита в 10 000 байт, о котором сообщает Algolia.
Он:
- Учитывает метаданные и экранирование JSON при расчете размера.
- Обрезает только поле
content, отправляемое в Algolia.
- Оставляет исходный пост Discourse без изменений.
- Сохраняет существующие идентификаторы объектов и структуру «одна запись на пост».
Недостаток заключается в том, что текст, отброшенный с конца длинного поста, не будет доступен для поиска через Algolia. Это именно обрезка, а не разбиение документа на части.
Патч
В файле:
plugins/discourse-algolia/lib/discourse_algolia/post_indexer.rb
Найдите финальный return в методе to_object сразу после добавления необязательных метаданных категории:
object
end
Замените этот фрагмент на:
# Ограничьте полный сериализованный объект, а не только его содержимое.
algolia_record_budget = 9_500
if object.to_json.bytesize > algolia_record_budget
full_content = object[:content]
object[:content] = ""
if object.to_json.bytesize > algolia_record_budget
raise "Algolia metadata alone exceeds the record budget for post #{post.id}"
end
low = 0
high = full_content.length
best_content = ""
while low <= high
midpoint = (low + high) / 2
object[:content] = full_content[0, midpoint]
if object.to_json.bytesize <= algolia_record_budget
best_content = object[:content]
low = midpoint + 1
else
high = midpoint - 1
end
end
object[:content] = best_content
end
object
end
Бинарный поиск находит префикс содержимого, который вписывается в лимит по байтам после сериализации в JSON. Если метаданные сами по себе превышают лимит, патч вызывает явную ошибку вместо тихого отбрасывания метаданных.
Сделайте резервную копию файла перед редактированием. Этот патч предназначен для версии, где метод to_object возвращает один хеш, содержащий content; проверьте его совместимость с вашей установленной версией перед применением.
Проверка и переиндексация
Для стандартной установки Docker войдите в контейнер с хоста:
cd /var/discourse
./launcher enter app
Переключитесь на пользователя Discourse:
su - discourse
Как только появится приглашение командной строки для пользователя discourse, выполните:
cd /var/www/discourse
ruby -c plugins/discourse-algolia/lib/discourse_algolia/post_indexer.rb
Если вывод содержит Syntax OK, выполните:
RAILS_ENV=production LOAD_PLUGINS=1 bundle exec rails algolia:reindex_posts
Эта задача очищает и повторно наполняет индекс постов. В моем случае после применения патча она завершилась успешно.
Также уже запущенные процессы приложения/фонового исполнителя необходимо перезапустить, чтобы они использовали пропатченный код для текущей индексации.
Дополнительный нюанс: отчетное количество постов
Задача вывела сообщение:
Successfully pushed 723 posts to Algolia
But Algolia contained 272 records.
Однако в Algolia было 272 записи.
В моей установленной версии задача увеличивает счетчик перед вызовом фильтра видимости индексатора. Диагностика с использованием того же индексатора подтвердила:
Posts examined: 723
Eligible for indexing: 272
Excluded by visibility: 451
Таким образом, сообщение об успехе подсчитывает проверенные посты, а не обязательно загруженные записи. Это расхождение было отдельной проблемой, не связанной с ошибкой слишком больших записей.