Discourse AI - Резюме

:bookmark: Эта тема посвящена настройке функции «Сводка» плагина Discourse AI.

:person_raising_hand: Требуемый уровень доступа пользователя: Администратор

Создавайте сводки тем и каналов чата для быстрого повторения. Используйте их в масштабных темах и крупных обсуждениях, чтобы понять, что происходит.

Возможности

  • Создание сводок тем из карты тем (в начале и в конце темы)
  • Создание сводок каналов чата за определённый период (до 7 дней)
  • Кэширование ранее сгенерированных сводок тем
  • Пересоздание старых сводок
  • Просмотр даты сводки и использованной модели ИИ

Включение функции «Сводка»

Предварительные требования

Необходимо настроить как минимум одну большую языковую модель (LLM) от провайдера.

Для начала вы можете настроить их на странице настроек Discourse AI — большая языковая модель (LLM).

Настройка

  1. Перейдите в АдминистрированиеПлагиныИИВозможности и убедитесь, что плагин включён (discourse ai enabled).
  2. Выберите агента ИИ для создания сводок через параметр ai summarization agent (агент Summarizer настроен по умолчанию).
  3. Установите флажок ai summarization enabled, чтобы включить функцию «Сводка».
  4. Настройте группы пользователей, которые могут создавать и просматривать сводки, изменив разрешённые группы для агента Summarizer (в разделе АдминистрированиеПлагиныИИАгенты).
  5. (Необязательно) Включите сводки личных сообщений (ЛС) для определённых групп пользователей через параметр ai pm summarization allowed groups.

Технические вопросы и ответы

Кэширует ли функция «Сводка» результаты?

  • Да, функция «Сводка» кэширует результаты и делает их доступными для всех пользователей, даже вне выбранных групп.

Важные замечания

  • Результаты сводок могут быть не на 100% точными, поэтому внимательно проверяйте любой вывод.
  • Вызовы LLM могут быть дорогими. Мы рекомендуем включать функцию «Сводка» только для определённых групп пользователей, чтобы контролировать расходы.
20 лайков

Вопрос

Резюмирование

Сегодня на форуме OpenAI было активировано резюмирование. В ходе обсуждения с одним из пользователей выяснилось, что для модераторов отображается опция Резюмировать эту тему с гораздо меньшим объёмом контента по сравнению с другими пользователями.

Как модераторы, мы видим опцию Резюмировать эту тему:

  • Для форума: опция появляется, если есть один пост темы и один ответный пост.
  • Для личных сообщений: опция появляется, если есть один пост темы.

Пытался найти документацию по этому вопросу, но ничего не нашёл. Не упустил ли я что-то?



Обратная связь по резюмированию

Ого! Это идеально!

Нам нужно резюмирование, и нам нужно его прямо сейчас!

(ссылка)

Тема, посвящённая резюмированию, указана сразу выше этого ответа, здесь.



Предложение

Автоматически добавлять ответ с резюме в темы с большим количеством ответов и просмотров, особенно в темы, связанные с обсуждениями.

Очевидно, что потребуются настройки для кастомизации частоты и выбора тем, что может потребовать использования ИИ для отбора.

Также необходимо идентифицировать ответ(ы) с резюме таким образом, чтобы код резюмирования не использовал ни один из таких ответов, так как это могло бы исказить релевантность информации для последующих резюме.


За последние несколько дней я, как модератор, вручную отбирал темы и добавлял резюме, созданные с помощью Discourse AI, в качестве ответов. Обратная связь, хоть и ограниченная, была положительной.

Примеры



Безумное предложение

Создать новостной сайт на базе Discourse


Каждый день я посещаю множество сайтов, чтобы получить обновления. Некоторые из них публикуют новостные статьи о последних тенденциях в области ИИ. Многие из этих статей представляют собой просто набор однострочных фактов. Одна новостная статья, которую я прочитал сегодня утром, была взята с форума OpenAI Discourse и форумов Discord. При использовании функции резюмирования для этой темы заметил, что сгенерированный результат был не хуже, а возможно, и лучше новостной статьи.

Теперь многие из нас знают о Hacker News.

Так почему бы не создать новостной сайт Discourse, который будет собирать новости на основе сайтов Discourse, согласившихся предоставить контент для новостного сайта Discourse. Очевидно, что для каждого сайта, пользователя и темы должны быть предусмотрены опции добровольного участия, но кто знает — это может стать новым источником информации для The Pile, и при условии получения надлежащего одобрения это принесёт пользу многим.



Обратная связь

Создал резюме для этой темы, но не опубликовал его публично

Резюме было создано после этого сообщения (номер 5)

Резюме

Пользователь jy.genre сообщил о том, что код-интерпретатор находится в автономном режиме, и прикрепил изображение. EricGT ответил, что для него он работает и генерирует код. Также были опубликованы изображения форума Discourse и страницы статуса OpenAI с сообщением о техническом обслуживании, которое пользователь ранее не видел. Были также предоставлены обновлённые сообщения о техническом обслуживании. Markanthonykoop также сообщил о появлении всплывающего окна с сообщением о техническом обслуживании и ранее сталкивался с циклическими сбоями сервиса. Magejosh подтвердил, что не может открывать новые чаты с код-интерпретатором, но может загружать файлы в ранее открытые чаты. Они заметили более частые повторяющиеся ошибки и забывание инструкций, но предположили, что это связано с техническим обслуживанием. EricGT поделился ещё одним обновлением о техническом обслуживании со страницы статуса OpenAI.

Два наблюдения

  • Время или последовательность событий имеют важное значение, но отсутствуют в резюме.
  • В изображениях содержится много критически важной информации, которая не извлекается для резюме; возможно, можно использовать OCR.

Оригинальная тема находится в категории Lounge на OpenAI Discourse, куда большинство пользователей не имеет доступа.
Опубликовано здесь для Романа и Фалько, чтобы они могли увидеть это, а также чтобы сэкономить Саму работу по пересылке этой информации; Сам отлично справляется с поддержанием связи по вопросам суммаризации в OpenAI.

Мне нравится идея перезапуска.

Также стоит рассмотреть похожие темы, которые следует объединить в одну, например:

2 лайка

14 сообщений были перенесены в новую тему: Добавить поддержку большего количества языков для сводок ИИ

Есть ли способ очистить кэшированные сводки, сгенерированные другими LLM? Я спрашиваю, потому что одна из LLM предоставила мне вот такую замечательную сводку, и с тех пор я перешёл на другую модель, но не уверен, как удалить эту старую сводку из системы форума.

В настоящее время сотрудники могут перегенерировать сводки через 1 час. Другой способ — использовать консоль Ruby для удаления конкретной кэшированной сводки из базы данных.

3 лайка

Кстати, мы сочли существующие модели суммаризации недостаточно хорошими для Discourse и перешли на использование LLM для этих целей. Если у вас есть сервер с достаточным объемом видеопамяти GPU, запуск LLM на базе Llama2 обеспечит отличные результаты для тегов #ai-summarization и ai-helper. Я обновил руководство по самостоятельной установке Discourse AI, добавив базовые инструкции по запуску указанной LLM.

3 лайка

Меня раздражает, когда люди задают этот вопрос, но не могли бы вы намекнуть, что имеется в виду под «достаточным»?

Например, ASUS Dual NVIDIA GeForce RTX 3060 V2 OC Edition 12GB GDDR6 Gaming Graphics Card (PCIe 4.0, 12GB GDDR6 Memory, HDMI 2.1, DisplayPort 1.4a, 2-Slot, Axial-tech Fan Design, 0dB Technology) Amazon.com: ASUS Dual NVIDIA GeForce RTX 3060 V2 OC Edition 12GB GDDR6 Gaming Graphics Card (PCIe 4.0, 12GB GDDR6 Memory, HDMI 2.1, DisplayPort 1.4a, 2-Slot, Axial-tech Fan Design, 0dB Technology) : Electronics

1 лайк

Вам стоит взглянуть на редактирование, на которое я ссылался выше — там как раз это и есть!

Но если говорить подробнее, квантование позволяет найти компромисс между качеством и скоростью работы на оборудовании с более низкими характеристиками. Если вы хотите запускать лучшие модели без квантования, вам понадобится около 160 ГБ видеопамяти (VRAM). Если же вы готовы пойти на компромисс в качестве, скорости, задержках и т. д., можно использовать всего 5% от этого объёма.

У нас есть результаты, которые можно считать «достаточно хорошими», при запуске модели, которую я привёл в качестве примера: она едва работает на машине с 96 ГБ видеопамяти.

3 лайка

Возможно, я что-то упускаю, поэтому прошу прощения, если это так, но где находится опция принудительного обновления сводки для сотрудников?

Извините за всплытие темы, но я не смог найти метод для сотрудников по регенерации сводок через 1 час. Требует ли этот 1-часовой промежуток, чтобы в теме был сделан ответ, существует ли какая-то секретная комбинация интерфейса, которую нужно выполнить для доступа к этому и т. д.?

Существует ли способ использовать стратегию суммирования Anthropic's claude-2 с помощью AWS Bedrock при наличии доступа к Anthropic (в AI Chat Bot есть такая опция)?

В настоящее время модель Anthropic можно выбрать только в том случае, если настроен параметр ai_anthropic_api_key.

1 лайк

Да, вам необходимо:

  • Установить ai_anthropic_api_key в значение ‘a’ (чтобы обойти проверку)
  • Ввести ваши учётные данные для Bedrock
  • Выбрать модель Claude 2 для суммирования

Мы планируем масштабное обновление способа выбора моделей, инференса и API в интерфейсе, но до этого момента описанный вариант будет работать.

4 лайка

Отзыв.

В целом сводка работает нормально.

Ссылки на изображения в сообщении некорректны.

Например:

После нескольких фотографий, опубликованных [Foxabilo](/t/-/475167/13; /t/-/475167/24; /t/-/475167/34; /t/-/475167/37)

Это часть старого доброго вопроса о языках… но есть ли у кого-нибудь идея, почему иногда суммаризация соблюдает язык темы, а иногда использует английский? Кажется, что это происходит совершенно случайно.

И фактический вопрос может быть таким: есть ли системный промпт, в котором мы можем предложить используемый язык, или это исходит из инструмента суммаризации?

1 лайк

В данный момент это жёстко задано внутри системы, но мы планируем предоставить здесь гибкость.

Некоторым нравятся более длинные сводки, другим — более короткие и т. д.

4 лайка

Этот текст, возможно, требует обновления, так как, по моему мнению, также поддерживается Gemini.

Кроме того, есть ли обратная связь по интерфейсу настроек? Не было ли какой-то особой причины переместить настройки summarization_strategy и custom summarization allowed groups на страницу Others, а не оставить их на странице Discourse AI вместе с остальными настройками ИИ? На их поиск ушло много времени, и они теряются среди набора несвязанных настроек.

Как включить и выключить эту функцию? Я не вижу кнопку «Сводка» для тем с необходимым количеством сообщений, а также вижу сообщения в логах ошибок, поэтому хочу попробовать сначала отключить, а затем снова включить её.

Как можно полностью отключить функцию «Суммаризация с помощью ИИ»?

Качество очень низкое, и я считаю эту кнопку совершенно бесполезной — я хочу её убрать.

Точно так же, как вы её включили через настройку summarization strategy. Чтобы отключить, просто сбросьте её к значению по умолчанию для сайта.

Какую модель вы используете? Мы обнаружили, что Claude 3 Opus показывает наилучшие результаты в этой задаче.