Еженедельная сводка по темам AI

Новости и события Сводки форумов
130

Обзор

На этой неделе обсуждения по теме ai на #meta.discourse.org сосредоточились на контроле и понимании стоимости использования ИИ и фоновой нагрузки, ужесточении требований безопасности в отношении входных данных для суммаризации, а также на улучшении пользовательского опыта и интеграций в рамках набора функций Discourse AI.

В сфере затрат и эксплуатации в Discourse были внедрены квоты на основе расчетной стоимости в долларах для использования Discourse AI (в дополнение к ограничениям по токенам), что упростило бюджетирование при работе с различными провайдерами (см. Квоты на основе стоимости для Discourse AI и сопутствующее руководство Настройка квот использования LLM в Discourse AI). Администраторы также обменивались опытом относительно периодических вызовов AI API, которые могут происходить даже при неактивном использовании функций ИИ в интерфейсе, из-за фоновых задач, таких как создание эмбеддингов и заполнение суммаризаций (см. Вызывает ли Discourse AI API в фоновом режиме и подтверждение от Falco).

В сфере безопасности вновь возникло внимание к вопросу что именно передается в промпты для суммаризации — в частности, может ли включение HTML-комментариев создать «скрытый канал» для манипуляций (см. HTML-комментарии также суммируются ИИ, ответ Falco и последующие опасения).

Тем временем несколько тем были посвящены вопросам «приведения в рабочее состояние в реальных условиях»: устранение неполадок с ошибками 500 при генерации заголовков ИИ и поиск мест хранения журналов аудита (см. Тема поддержки Qwen3.7-plus и руководство по использованию ai_api_audit_logs), настройка внутренних конечных точек ИИ / sidecar-контейнеров LiteLLM (см. Как использовать внутренние конечные точки ИИ? и описание решения здесь), а также самостоятельный хостинг перевода через OpenAI-совместимый API Ollama (см. Самостоятельный хостинг OpenSource LLM для DiscourseAI, рекомендации по моделям/токенизаторам и обсуждение ограничений перевода здесь).

Также внимание уделялось пользовательскому опыту и доработке продукта: было предложено исправление для позиционирования иконки предложения заголовка ИИ (см. Иконка предложения заголовка ИИ размещена над полем ввода заголовка), «встроенные» предложения ИИ вызвали вопросы относительно задержек и поведения (см. Встроенная интеграция предложений ИИ (в редакторе) и вопрос о задержке), а закрепленный редактор для разговоров с ИИ-ботами был повторно включен после случайного отключения (см. вопрос и решение).

Интересные темы

  • Квоты на основе стоимости для Discourse AI (расчетные доллары, а не только токены) в #Announcements #ai: sam объявил о новом способе ограничения использования ИИ по расчетной стоимости в долларах для каждой группы, чтобы помочь с бюджетированием при работе с разными провайдерами (объявление). Эта функция интегрируется в существующий процесс настройки квот (Настройка квот использования LLM в Discourse AI).

  • Суммаризация ИИ включает HTML-комментарии (и потенциальные проблемы с инъекцией промптов) в #Feature ai #ai-summarize: Ed_S поднял вопрос о риске того, что HTML-комментарии могут стать «скрытым каналом» для влияния на суммаризацию (опасения). Falco признал такую возможность — особенно при использовании старых или небольших моделей — и указал на разделение системных и пользовательских промптов как на концепцию смягчения последствий (ответ), однако Ed_S возразил, что это не является надежным механизмом защиты от jailbreak-атак (последующий комментарий).

  • Настройка Qwen3.7-plus: инструмент предложения заголовков возвращает ошибки 500 + как отлаживать с помощью журналов аудита в Support #ai: bird сообщил об ошибке 500 при использовании генерации заголовков ИИ, несмотря на то, что другие инструменты ИИ работали корректно (отчет). Falco порекомендовал запросить данные из ai_api_audit_logs для более детальной диагностики (совет), а затем разъяснил, как проверить самую последнюю запись и указал, что ошибка 500 исходила от Discourse (а не от Qwen) (последующий комментарий). В теме также содержалась ссылка на документацию по генерации изображений в ответ на вопрос о поддержке этой функции в Discourse AI (ответ + ссылка, а также Улучшенная поддержка генерации изображений в Discourse AI).

  • Запуск Discourse AI с использованием внутренних конечных точек (sidecar LiteLLM, списки разрешенных внутренних хостов, очистка MCP) в Support #ai: evantobin описал процесс настройки внутреннего подключения с использованием DISCOURSE_ALLOWED_INTERNAL_HOSTS для локального sidecar-контейнера LiteLLM, а также упомянул последующие работы по аутентификации Vertex AI (детали). satonotdead поделился полным решением с использованием внутреннего IP-адреса шлюза Docker, маппинга портов и очистки неработающих инструментов MCP (решение).

  • Запрос функции / PR: добавить шаблонный параметр {username} в системные промпты системы персон ИИ в #Feature #ai: 42aross предложил добавить {username} в список разрешенных шаблонных параметров, чтобы персона ИИ могла надежно идентифицировать текущего пользователя на стороне сервера (вместо того чтобы LLM выводил его из текста или метаданных темы) (запрос + обоснование). Он также отметил завершение процесса подписания CLA (последующий комментарий).

  • Закрепленный редактор для разговоров с ИИ-ботами: был отключен на Meta, затем повторно включен в #Announcements ai #ai-bot: putty спросил, почему на Meta больше не отображается интерфейс закрепленного редактора (вопрос). keegan ответил, что он был случайно отключен, и включил его обратно, отметив, что функция переходит в статус beta (обновление статуса). nicolsdennis задал дополнительный продуктовый вопрос об ограничении длины ответов в разговорах с ботами (вопрос).

  • Встроенные предложения ИИ в редакторе: согласованность + вопросы о задержках и поведении в #Announcements ai #ai-helper: chapoi обсудил необходимость согласования поведения на похожих точках входа в интерфейсе и попросил обратной связи (пост). nicolsdennis спросил о задержках при двунаправленном обмене данными и о том, основываются ли предложения исключительно на заголовке темы (вопрос).

  • Исправление UX: позиционирование иконки предложения заголовка ИИ в ux #ai: chapoi опубликовал исправление реализации для проблемы с отображением иконки предложения заголовка над полем ввода, попросив подтвердить отсутствие побочных эффектов (исправление + ссылка на PR).

  • Изменения в API-ключе Gemini: сервисные аккаунты, проблемы миграции в #Integrations how-to #ai: m_terenui отметил сообщаемые Google изменения в безопасности вокруг API-ключей Gemini, которые потенциально требуют использования сервисных аккаунтов и миграции старых ключей, и спросил, какую конфигурацию от администраторов ожидает Discourse в дальнейшем (вопрос). (Ссылка на тему: Настройка API-ключей Gemini для Discourse AI)

  • Самостоятельный хостинг перевода в Discourse AI с помощью Ollama: выбор провайдера, токенизатор/контекстное окно и почему «конечные точки перевода» не являются универсальным решением в #Self-Hosting #ai: mononym спросил, как попробовать использовать перевод в Discourse AI через Ollama и где находятся новые настройки в интерфейсе администратора (вопрос). Falco предложил использовать OpenAI-совместимый API Ollama, выбрав OpenAI в качестве провайдера (рекомендации), а затем дал практические советы по конфигурации (выбор токенизатора, контекстное окно) и предостерег от использования неподходящих или старых моделей (детали). В теме также обсуждалось, почему перевод в Discourse AI не предназначен для простой замены конечных точек LibreTranslate и почему старый плагин Translator все еще можно использовать «как есть» (ограничения).

Активность

Спасибо за прочтение, увидимся на следующей неделе! :slight_smile: