Проблемы с переиндексацией в Algolia

При выполнении algolia:reindex с помощью rake-задачи произошла ошибка со следующим сообщением:

Очистка пользователей из Algolia
Отправка пользователей в Algolia
...
Успешно отправлено 1849 пользователей в Algolia
Очистка тегов из Algolia
Отправка тегов в Algolia
..
Успешно отправлено 53 тега в Algolia
Очистка постов из Algolia
Отправка постов в Algolia
rake aborted!
Algolia::AlgoliaHttpError: Запись на позиции 662 с objectID=690 слишком велика: размер 20920/20000 байт. Пожалуйста, ознакомьтесь с документацией: https://www.algolia.com/doc/guides/sending-and-managing-data/prepare-your-data/in-depth/index-and-records-size-and-usage-limitations/#record-size-limits (Algolia::AlgoliaHttpError)

Насколько я могу судить, плагин не содержит функциональности для разделения длинных постов на отдельные фрагменты. Мне удалось обойти проблему, исключив длинные посты, добавив

objects.reject! { |object| object.to_json.bytesize > 20000 }

непосредственно перед вызовом @index.save_objects, но это также означает, что такие посты вообще не индексируются.

2 лайка

Есть какие-то идеи, что ожидает API? Нам нужно обрезать данные или отправлять их несколькими частями?

Согласно https://www.algolia.com/doc/guides/sending-and-managing-data/prepare-your-data/how-to/indexing-long-documents/, документы необходимо разбивать на фрагменты, а при поиске параметр distinct должен быть установлен в true.

Максимальный размер зависит от тарифного плана https://support.algolia.com/hc/en-us/articles/4406981897617-Is-there-a-size-limit-for-my-index-records, но я не смог найти способ запросить эту информацию. Учитывая, что на некоторых тарифах также существует ограничение на «средний размер записи по всем записям», возможно, стоит разбивать документы на фрагменты размером ~10 КБ~ 10 000 байт.

2 лайка

Исправление ошибки «Record is too big», прерывающей переиндексацию записей в Algolia

Я столкнулся с проблемой, когда в Algolia находилась лишь малая часть постов моего форума. Запуск переиндексации постов выявил причину:

Algolia::AlgoliaHttpError:
Record at the position 258 objectID=1006 is too big:
size: 108426 byte(s), maximum allowed: 10000 byte(s).

В установленной у меня версии плагина метод PostIndexer#to_object отправляет весь текст поста в виде одной записи, не проверяя размер сериализованной записи. Слишком большая запись приводила к прерыванию задачи переиндексации.

Следующий локальный обходной путь позволил завершить переиндексацию.

Что делает этот патч

Патч ограничивает размер каждой полной сериализованной записи поста до 9 500 байт, оставляя запас ниже лимита в 10 000 байт, о котором сообщает Algolia.

Он:

  • Учитывает метаданные и экранирование JSON при расчете размера.
  • Обрезает только поле content, отправляемое в Algolia.
  • Оставляет исходный пост Discourse без изменений.
  • Сохраняет существующие идентификаторы объектов и структуру «одна запись на пост».

Недостаток заключается в том, что текст, отброшенный с конца длинного поста, не будет доступен для поиска через Algolia. Это именно обрезка, а не разбиение документа на части.

Патч

В файле:

plugins/discourse-algolia/lib/discourse_algolia/post_indexer.rb

Найдите финальный return в методе to_object сразу после добавления необязательных метаданных категории:

    object
  end

Замените этот фрагмент на:

# Ограничьте полный сериализованный объект, а не только его содержимое.
    algolia_record_budget = 9_500

    if object.to_json.bytesize > algolia_record_budget
      full_content = object[:content]
      object[:content] = ""

      if object.to_json.bytesize > algolia_record_budget
        raise "Algolia metadata alone exceeds the record budget for post #{post.id}"
      end

      low = 0
      high = full_content.length
      best_content = ""

      while low <= high
        midpoint = (low + high) / 2
        object[:content] = full_content[0, midpoint]

        if object.to_json.bytesize <= algolia_record_budget
          best_content = object[:content]
          low = midpoint + 1
        else
          high = midpoint - 1
        end
      end

      object[:content] = best_content
    end

    object
  end

Бинарный поиск находит префикс содержимого, который вписывается в лимит по байтам после сериализации в JSON. Если метаданные сами по себе превышают лимит, патч вызывает явную ошибку вместо тихого отбрасывания метаданных.

Сделайте резервную копию файла перед редактированием. Этот патч предназначен для версии, где метод to_object возвращает один хеш, содержащий content; проверьте его совместимость с вашей установленной версией перед применением.

Проверка и переиндексация

Для стандартной установки Docker войдите в контейнер с хоста:

cd /var/discourse
./launcher enter app

Переключитесь на пользователя Discourse:

su - discourse

Как только появится приглашение командной строки для пользователя discourse, выполните:

cd /var/www/discourse
ruby -c plugins/discourse-algolia/lib/discourse_algolia/post_indexer.rb

Если вывод содержит Syntax OK, выполните:

RAILS_ENV=production LOAD_PLUGINS=1 bundle exec rails algolia:reindex_posts

Эта задача очищает и повторно наполняет индекс постов. В моем случае после применения патча она завершилась успешно.

Также уже запущенные процессы приложения/фонового исполнителя необходимо перезапустить, чтобы они использовали пропатченный код для текущей индексации.

Дополнительный нюанс: отчетное количество постов

Задача вывела сообщение:

Successfully pushed 723 posts to Algolia
But Algolia contained 272 records.

Однако в Algolia было 272 записи.

В моей установленной версии задача увеличивает счетчик перед вызовом фильтра видимости индексатора. Диагностика с использованием того же индексатора подтвердила:

Posts examined:         723
Eligible for indexing:  272
Excluded by visibility: 451

Таким образом, сообщение об успехе подсчитывает проверенные посты, а не обязательно загруженные записи. Это расхождение было отдельной проблемой, не связанной с ошибкой слишком больших записей.