# Индексация контента сообщества в Glean AI

**URL:** <https://meta.discourse.org/t/indexing-discourse-community-content-in-glean-ai/363335>\
**Category:** Product Support\
**Tags:** ai\
**Created:** [24.Апрель.2025 17:53:20 UTC](https://meta.discourse.org/t/indexing-discourse-community-content-in-glean-ai/363335 "2025-04-24T17:53:20Z")\
**Posts on this page:** 1\
**Showing post:** 3

<div class="post-metadata">

**Author:** ![Jagster](https://sea3.discourse-cdn.com/meta/user_avatar/meta.discourse.org/jagster/32/192154_2.png) [@Jagster](https://meta.discourse.org/u/Jagster)\
**Post date:** [24.Апрель.2025 18:08:45 UTC](https://meta.discourse.org/t/indexing-discourse-community-content-in-glean-ai/363335/3 "2025-04-24T18:08:45Z")

</div>

Дело не в ИИ, а в краулерах. Насколько мне известно, ответ — и да, и нет. Если категория доступна для «всех», её можно скрапить. Именно так работает Googlebot. Если форум закрыт входом по паролю или доступ к категории ограничен уровнями доверия, скрапинг невозможен. И я очень надеюсь, что это никогда не будет нарушено, поскольку это одна из важнейших мер безопасности.

Однако, конечно, вы можете скрапить такое «скрытое» содержимое, если:

- у вас есть система, где бот может войти в систему и читать содержимое, или
- вы проиндексируете содержимое изнутри, используя Discourse AI, подключенный к нужной модели (или аналогичную систему).

---

_[View the full topic](https://meta.discourse.org/t/indexing-discourse-community-content-in-glean-ai/363335)._