Мне нравится, что так много людей в интернете считают себя экспертами в технологиях, которые существуют всего несколько месяцев 
Я считаю, что приведённый выше текст вполне разумен: он охватывает все важные моменты и содержит минимальное количество токенов. Он направляет роботов, как им следует себя вести, указывает на наш всеобъемлющий MCP и предлагает несколько конечных точек (endpoints), которые агент может использовать для изучения сайта, если MCP недоступен.
Сайты на Discourse в каком-то смысле везунчики, потому что LLM уже знают нас ОЧЕНЬ хорошо. Сказав это, стоит отметить, что они хорошо знают наш «образ» двухлетней давности, а с тех пор многое изменилось:
Так что даже такая модель, как sol 5.6, не знает о нашем MCP-сервере, потому что это новшество последних лет; то же самое, вероятно, касается и конечной точки фильтрации.
Менее продвинутые модели могут знать ещё меньше.