Why there is huge difference in Pageviews tracking number on discourse admin dahboard and on google analytics

Выкапываю этот пост…

@sam Я нашел ваш пост ниже, в котором точно описано, что Discourse и Google Analytics считают «просмотром страницы».

По-прежнему ли просмотр страниц считается именно так? Мы пытаемся разобраться, какие инструменты аналитики использовать в будущем, поскольку пока что GA, Plausible и Fathom все занижают количество просмотров страниц по сравнению с собственной аналитикой Discourse.

Мое безосновательное предположение: у них есть кусок JavaScript-кода, который не срабатывает повторно при выполнении этих AJAX-запросов. Или он может загружаться только один раз за сеанс.

@codinghorror @sam Я просмотрел форум, и, кажется, у всех возникает проблема, противоположная моей. То есть все сообщают, что Discourse фиксирует больше просмотров страниц, чем GA.
У меня же наблюдается обратное.

Когда я начал разбираться, оказалось, что для каждого просмотра страницы действительно отправляется два события:
одно для GA4, а затем для аккаунта UA.
Кажется, мы раньше использовали UA, но сейчас уже нет. Однако, если при проверке страницы в поле «ga universal tracking code» есть какое-либо значение, я вижу на странице как новый код GA4, так и старый код UA.
Если удалить значение из поля «ga universal tracking code», оба вышеупомянутых JS-включения исчезают со страницы.
Как мне отладить это? Стоит ли искать значение кода UA в базе данных и разобраться таким образом?
Я посмотрел в таблице SiteSettings и нашёл только код GA4.

Мое отношение к Google и их интерфейсу такое же, как и к старому подходу Windows — отстой. Но GA4 превзошло все ожидания. В чем смысл? Эта GA4 даже не может предоставить почасовой отчет о статистике трафика! Почему мне приходится переходить в другой набор инструментов, чтобы получить то, что мне нужно?

Решение для всех может заключаться в том, чтобы просто отказаться от этого. Было бы здорово иметь в админ-панели график посещений пользователей по часам, базовое отображение трафика, которое обновляется в реальном времени.

У меня разрыв между старыми показателями UA и новыми просмотрами страниц GA4 становится ещё больше.

А показатели просмотров страниц в AdSense составляют лишь крошечную долю от обоих показателей.

Привет, @sam!

Пытаюсь разобраться в этом в контексте GA4 и, возможно, помочь менее технически подкованным пользователям, таким как я, понять разницу простыми словами.

Вы имеете в виду, что когда пользователь прокручивает длинную ветку и загружаются следующие 20 сообщений, GA4 считает эту автоматическую подгрузку как просмотр страницы? Пользователь фактически не меняет страницу вручную, но по сути это новая порция контента, поэтому логично считать это просмотром страницы. На старом форуме вам пришлось бы вручную нажимать на СТРАНИЦУ 2, СТРАНИЦУ 3 и так далее в пагинации, чтобы пройти длинную беседу, но бесконечная прокрутка делает это автоматически за вас.

А внутренний показатель просмотров страниц в Discourse учитывается только тогда, когда вы действительно переходите к новой теме или полностью меняете страницу?

Или это слишком сильное упрощение того, что вы имеете в виду?

Я просто пытаюсь понять, почему мои показатели просмотров в GA4 так сильно отличаются от показателей в Discourse.

Это данные за вчера, и это даже не крайний пример, так как на моем сайте сейчас тихое время, но разница видна:

Итак, GA4 показывает 39 тыс. просмотров страниц за вчера:

А сам Discourse показывает:

Хорошо, я только что провёл тест на теме на моём сайте, которая обычно не очень активна. Это старая и длинная тема, идеально подходящая для такого теста.

В начале теста в реальном времени GA4 в списке страниц за последние 30 минут не было ни одного просмотра этой страницы. Я прокрутил вниз несколько сотен сообщений в теме и снова проверил представление GA4 в реальном времени — теперь у меня отображается 25 просмотров страницы за последние 30 минут.

Похоже, что каждая автоматическая загрузка страницы учитывается как просмотр страницы в GA4. Что, на мой взгляд, логично: даже если следующая страница загружается автоматически, это всё равно считается просмотром страницы.

Это может объяснить расхождения, которые замечают некоторые пользователи: у кого-то больше просмотров в GA4, чем просмотров страниц в Discourse. Такое может происходить на активных длинных темах, как на моём сайте. В то же время пользователи с большим количеством тем, но меньшим количеством длинных тем, могут видеть больше просмотров страниц в Discourse, чем в GA4, из-за различий, которые упомянул Сэм (например, GA не учитывает просмотры при отключённом JavaScript и т. д.).

По памяти, если отключить JavaScript, можно увидеть пагинацию в Discourse.

Это может помочь с вашим тестом по учету.

Мне никогда не удавалось свести статистику Discourse: только зарегистрированные пользователи — что вообще означает «1 зарегистрированный пользователь»? Это действительно просто «один пользователь, вошедший в систему»?

Я обнаруживал, что общее количество вошедших пользователей в статистике Discourse может быть примерно в 3–4 раза больше, чем общее количество пользователей Google (не GA4) за день.

Возвращаюсь к этой теме снова, но теперь сравниваю показатели просмотров страниц в GA4 и на Discourse с показателями в Google AdSense. Я считаю, что существует серьёзная проблема с подсчётом просмотров страниц в Google AdSense по сравнению с Google Analytics (GA4) и статистикой Discourse, даже при использовании официального плагина AdSense.

Как уже упоминалось выше, GA4, на мой взгляд, правильно учитывает бесконечную прокрутку как новые просмотры страниц. В старых системах для перехода к следующей группе постов требовалась пагинация, что влекло за собой полную перезагрузку страницы. Загрузка следующей группы постов в современных системах — это динамический или виртуальный просмотр страницы, как я это понял.

Discourse, как объяснялось выше, считает только те случаи, когда пользователь переходит на новую страницу, меняя тему или возвращаясь на главную страницу, что вызывает полную перезагрузку страницы. Это допустимо, хотя я считаю, что бесконечная прокрутка тоже должна учитываться как просмотр страницы.

Однако Google AdSense показывает значительно, значительно меньшее общее количество просмотров страниц, чем даже статистика Discourse.

Возьмём, к примеру, субботу, 15 июля 2023 года

  • В GA4 у меня было 152 000 просмотров страниц:
  • В Discourse у меня было 93 561 просмотр страниц — разница объясняется вышеизложенным:
  • В Google AdSense, используя официальный плагин, у меня было всего 6 000 просмотров страниц, и я заработал всего 3,55 евро.

Я понимаю, что просмотры страниц в AdSense ниже, так как они учитывают только страницы с рекламой, но у меня реклама размещалась в нескольких позициях практически на каждой странице сайта и каждые 20 постов в темах. Даже с учётом блокировщиков рекламы, поисковых роботов и прочего, такое падение не может быть верным… не так ли?

Я думаю, что здесь есть несколько проблем. Я подозреваю, что AdSense, как и Universal Analytics до него, не учитывает бесконечную прокрутку и виртуальные просмотры страниц, но я не думаю, что он даже учитывает те просмотры страниц, которые учитывает Discourse. Это даже близко не так.

Тест с Fathom Analytics

Я провёл эксперимент с использованием Fathom Analytics в течение недели, добавив код на свой сайт через Tag Manager, настроив его на срабатывание при просмотрах страниц.

Используя отладчик GTM, я заметил, что при просмотре нескольких страниц сайта тег отправлял сигнал только один раз. Я оставил его работать в таком режиме неделю, и количество ПРОСМОТРОВ оказалось намного ниже, чем в GA4.

При такой настройке Fathom показал всего 7,3 тыс. просмотров
GA4 в тот же день показал 62 тыс.
Discourse показал: 34 тыс.

На тот момент я уже отключил AdSense во время проведения тестов, но похоже, что уровень падения был очень похож.

Я немного почитал о SPA (одностраничных приложениях) и узнал, что триггер HISTORY может подойти для Discourse:

Я добавил его и оставил работать на пару недель, и вы можете увидеть резкий скачок:

15 августа Fathom показал 37,5 тыс. просмотров, что совпадает с моей статистикой GA4 за этот день:

Здесь есть интересная тема на эту тему:

После почти трёх недель работы с баннерной рекламой с использованием официального плагина рекламы Discourse мы можем подтвердить все наши предыдущие выводы, основанные на SEO-анализе одностраничных веб-сайтов (SPA).

Discourse является худшим веб-сайтом с точки зрения доходов от рекламы среди всех множества веб-сайтов, которыми мы управляли за эти годы. Итог:

  • Google «видит» начальную загрузку страницы как «просмотр страницы», но последующие просмотры после начальной загрузки SPA-приложения не «видятся» как «просмотр страницы».

Это кажется серьезной проблемой для любого, кто хочет монетизировать свои усилия или трафик.

Возможно, я ошибаюсь, но мне кажется, что плагин AdSense не срабатывает при динамической загрузке страниц. Я подозреваю, что он даже не срабатывает на то, что Discourse считает просмотром страницы, что не может быть верным, верно?

Мне удалось подключить код AdSense с помощью GTM и настроить его на HISTORY, как указано выше. Я сообщу, сколько просмотров страниц он получит теперь.

Как я уже писал выше — в качестве эксперимента я добавил AdSense на свой сайт через GTM.

Метод GTM далеко не идеален, как видно из этого скринкаста: там показано, что теги не срабатывают при изменениях на странице, или, точнее, теги срабатывают в отладчике GTM, но объявления не отображаются при просмотре сайта.

https://www.loom.com/share/44888fe583ec468f99e3114a0c8c714b

Из видео видно, что при настройке триггера на ВСЕ СТРАНИЦЫ можно перемещаться по сайту от темы к теме, и теги вообще не срабатывают, даже если перейти со главной страницы в другую тему, вернуться обратно и снова зайти в другую тему.

В то же время теги, настроенные на триггер «История» (то есть «все»), срабатывают при каждом изменении страницы — при переходе от страницы к странице, а также при срабатывании бесконечной прокрутки.

Вот определение триггера HISTORY (ВСЕ) в GTM:

Но даже при срабатывании тегов объявления не загружаются при просмотре сайта. Однако, как видно из статистики ниже, доля просмотров страниц в AdSense от общего трафика GA4 у меня всё ещё выше, чем при использовании плагина AdSense.

Интересно, не происходит ли что-то подобное с официальным плагином для рекламы. Показатели просмотров страниц были хуже (см. подробности ниже), когда я использовал плагин, по сравнению с первыми днями эксперимента, когда я добавлял объявления через Tag Manager.

Как видно ниже:

Таким образом, по данным за 15 июля выше:

  • Google Analytics GA4: 152 тыс. просмотров страниц
  • Google Analytics GA4: 6,8 тыс. событий первого визита
  • Discourse (логи): 93 тыс. просмотров страниц
  • Google AdSense: 6 тыс. просмотров страниц

Это событие первого визита и просмотры страниц в AdSense выглядят удивительно похожими — не отслеживает ли Google AdSense ничего, кроме первой загрузки страницы каждого визита?

РЕДАКТИРОВАНИЕ: добавлены ранние данные по моим объявлениям AdSense через GTM

Просмотры страниц в Google Analytics с 2 июня по 26 августа — видно, что высоконагруженная часть сезона закончилась 31 июля = 211 тыс. просмотров страниц:

Просмотры страниц в Google AdSense:

ПРИМЕЧАНИЕ:

  • Я использовал официальный плагин до 31 июля.
  • Убрал AdSense с 3 по 23 августа = спад до минимума.
  • Добавил AdSense через Google Tag Manager 24 августа.

Как видно, несмотря на серьёзные проблемы, показанные в скринкасте выше, и при значительно меньшем общем трафике, доля просмотров страниц в AdSense относительно просмотров страниц в GA4 при использовании GTM для подключения AdSense гораздо выше, чем при использовании официального плагина.

  • Вчера у меня было 53 тыс. просмотров страниц в GA4.
  • При 7 тыс. просмотров страниц в AdSense (используя описанный в видео несовершенный метод GTM).
  • Это 13% коэффициент попадания просмотров страниц AdSense к просмотрам страниц GA4.
  • В то время как с официальным плагином AdPlugin у меня был коэффициент 3,9% просмотров страниц AdSense к просмотрам страниц GA4.

Странно, что с официальным плагином на сайте отображалось гораздо больше объявлений, и они лучше показывались при переходе от страницы к странице, чем при использовании GTM, но просмотры страниц, записываемые в AdSense, составляли лишь малую часть от того, что должно быть.

Кажется, проблема в плагине AdPlugin и в том, как он (или, точнее, как он не) срабатывает при динамической загрузке страниц.

Отслеживают ли AdButler или какие-либо другие интеграции рекламы просмотры страниц лучше, учитывая несколько уникальную природу Discourse?

@Shaneod Я согласен с тем, что вы говорите. Доходы от рекламы AdSense в Discourse действительно низкие. Как вы отметили, AdSense не учитывает просмотры страниц. Официальный плагин для рекламы требует настройки для срабатывания при изменении URL страницы и подсчёта просмотров. Просмотры страниц в AdSense — это ситуация, которая увеличивает количество показов рекламы с высоким CPC и повышает доходы от рекламы. Надеюсь, что скоро будет выпущено обновление по этому вопросу.

Да, похоже, что событие некорректно срабатывает при любом просмотре страницы, кроме первого или полной перезагрузки. Или, по крайней мере, подавляющее большинство просмотров страниц теряется.

Например, в июле у меня было:

  • 172K событий Первый визит в GA4
  • 177K Просмотров страниц в Google AdSense

На мой взгляд, эти цифры слишком близки, чтобы быть случайностью.

За этот период:

  • Discourse зафиксировал 1,7 миллиона просмотров страниц
  • Google Analytics зафиксировал 3,9 миллиона (у меня много длинных тем).

Похоже, что все последующие просмотры страниц теряются в AdSense.

Вы пробовали Adbutler или любую другую интеграцию через плагин для рекламы? Предполагаю, что у них будет та же проблема?

Более года я использую AdSense в плагине для рекламы. У меня та же проблема с отображением. Я провел много исследований на форуме, но не нашел решения. Я пробовал решения для одностраничных приложений вне форума, но у меня не получилось. Были случаи, когда количество показов страниц в день составляло 150 тысяч, но эта статистика не отражалась в AdSense. При том же уровне статистики я видел, что WordPress и другое форумное ПО приносили больше дохода.

Честно говоря, мой исторический опыт показывает, что AdSense обвалился вместе с Discourse (просмотры страниц). Это было более 4 лет назад. Было бы неплохо понять это заранее, прежде чем переходить на Discourse, который оказался катастрофой для рекламных доходов из-за резкого падения количества просмотров страниц. Уроки жизни, но это может подорвать жизнеспособность сайта. Вы провели гораздо более глубокий анализ, и это здорово видеть.

К тому же в последнее время, насколько я могу судить, AdSense обвалился в целом. Так что теперь это двойной удар.

Если почитать жалобы других владельцев сайтов на самых разных платформах, становится ясно, что проблема носит системный характер, и особенно ярко она проявилась в Discourse. Мне кажется, что Google во многих отношениях тоже исчерпал себя, но это не помогает, если ваша платформа или плагин не работают на 100%.

Очень тревожно, если это продолжается уже 4 года и решения пока не видно?

Предполагаю, что та же проблема возникает при использовании AdButler или любого другого официального плагина для рекламы в Discourse?

Новый Google Analytics GA4 учитывает динамические просмотры страниц и изменения истории как события «Просмотр страницы» и считает бесконечную прокрутку в длинных темах как события «Просмотр страницы», что является положительным моментом.

Однако интеграция с AdSense в рамках плагина для рекламы, похоже, не учитывает ни динамические просмотры страниц при бесконечной прокрутке, ни даже переходы между страницами как просмотры страниц, что по сути делает плагин неработоспособным.

Это действительно нужно проверить. Возможно ли это исправить?

Да, я решил полностью отказаться от Google, так как это того не стоило и не было сбалансированным партнерством: вся аналитика, которую они собирали, практически не давала отдачи, а с появлением ИИ-Борга это стало последним гвоздем в гроб.

Какой процент этого краха был усугублен ужасной работой рекламы на Discourse — я не знаю, но с самого начала всё шло плохо. Я думал, что через несколько месяцев работы система наладится и баланс восстановится, но нет, ситуация лишь ухудшалась, следуя общим трендам, и теперь индустрия для многих оказалась в тупике.

Было настолько плохо, что я знаю одного другого администратора сайта, который быстро перешёл с Discourse на другую платформу из-за рекламы, проработав там совсем недолго. Возможно, он даже писал здесь. Кажется, писал. Производительность была шокирующей, но не у всех есть технические навыки, чтобы разобраться или провести расследование, как у вас. Кроме того, за это время многое изменилось: алгоритмы, версии, тренды в сети — столько переменных.

Итог: просмотры страниц рухнули, как с обрыва, и никогда не восстановились.

Поэтому, если доход от рекламы составляет 50% ваших критериев, я не могу рекомендовать этот вариант — это стоп-фактор. Было бы неплохо узнать об этом заранее; скорее всего, я бы не мигрировал и провёл бы больше исследований. Но иногда исследование «на лету» — единственный вариант. Живём и учимся.