Индексация контента сообщества в Glean AI

Если вы установите их user agent как бота-краулера, Discourse отобразит базовый HTML-вид, который гораздо проще индексировать.

Или добавьте их user agent в скрытую настройку сайта crawler_user_agents.