Использование «тахометра» Google для измерения изменений производительности JS в Discourse

При работе с клиентской частью в ядре Discourse, плагинах и темах важно учитывать влияние на производительность. Проект Google «Tachometer» предоставляет инструмент бенчмаркинга с высокой статистической строгостью, который позволяет точно измерять эффект от изменений.

По сути, этот инструмент принимает список URL-адресов и загружает их в режиме «round-robin». Для каждой загрузки страницы он выполняет определённые измерения производительности. После сотен или тысяч итераций он формирует таблицу сравнения.

Красота подхода «round-robin» заключается в том, что он помогает снизить влияние внешних факторов на результаты измерений.

Шаг 1: Добавьте performance.measure()

Подход здесь будет зависеть от того, что именно вы тестируете. Но в основе лежит следующее: вам нужно ввести значение performance.measure(), которое Tachometer сможет прочитать.

Если вы хотите измерить время, необходимое для загрузки и отрисовки Discourse, вы можете использовать встроенное измерение “discourse-init-to-paint”. Для любых других случаев вы можете создать собственное performance.measure и использовать его.

Вы можете проверить, работает ли это, используя вкладку производительности в средствах разработчика вашего браузера:

Если вы пытаетесь измерить активность, требующую взаимодействия пользователя (например, открытие меню), вы можете достичь этого, добавив что-то вроде следующего в инициализатор, чтобы нажать кнопку через 1 секунду после загрузки страницы:

setTimeout(() => document.querySelector(".my-button").click(), 1000);

Шаг 2: Определите URL-адреса для тестирования

Сначала убедитесь, что вы собираете активы Ember в режиме production. Это можно сделать, запустив сервер с переменной окружения EMBER_ENV=production.

Чтобы получить два разных URL-адреса, существуют два основных подхода:

Если ваше изменение достаточно мало, чтобы его можно было легко отключить с помощью флага функции (feature flag), вы можете добавить логику переключения на основе параметра запроса URL. Тогда вашими двумя URL-адресами могут быть:

http://localhost:3000?flag=before
http://localhost:3000?flag=after

Если изменение слишком велико для этого, вы можете создать git worktree и запустить вторую копию rails из него на другом порту:

git worktree add ../discourse-after my-branch
cd ../discourse-after
bundle install
pnpm install
EMBER_ENV=production UNICORN_PORT=3001 bin/dev

Обе копии используют одну и ту же базу данных и Redis, поэтому убедитесь, что ни одна из веток не содержит миграций, которых нет в другой.

И тогда вашими двумя URL-адресами будут:

http://localhost:3000
http://localhost:3001

Если вы используете этот подход, убедитесь, что в обеих копиях приложения присутствует телеметрия производительности, которую вы внедрили на шаге 1 этого руководства.

Шаг 3: Настройте Tachometer

Вот мой файл bench.json, который возьмёт 300 образцов для каждой цели:

{
  "timeout": 5,
  "sampleSize": 300,
  "benchmarks": [
    {
      "measurement": {
        "mode": "performance",
        "entryName": "discourse-init-to-paint"
      },
      "expand": [
        {
          "url": "http://localhost:3000",
          "name": "before"
        },
        {
          "url": "http://localhost:3001",
          "name": "after"
        }
      ]
    }
  ]
}

Шаг 4: Запустите бенчмарк

Чтобы снизить уровень шума, остановите все несвязанные действия на вашей рабочей станции, а затем запустите бенчмарк командой, например:

pnpx tachometer --config ./bench.json

По завершении вы должны увидеть сравнение производительности до и после изменений.

Ограничения

Как и в случае с любыми подобными экспериментами, стоит учитывать ограничения. Например:

  • Различия в производительности на вашей рабочей станции разработки могут не соответствовать другим браузерам или устройствам.

  • Процесс загрузки Discourse в режиме разработки не совсем такой же, как в production. При внесении структурных изменений (например, обновлений фреймворка) это может иметь значение.

  • Производительность часто варьируется в зависимости от состояния приложения (например, количества отображаемых тем), поэтому ваши результаты могут не воспроизводиться точно в других средах.


Этот документ находится под контролем версий — предложите изменения на github.

17 лайков