Пробуем новые AI-модели

Создание сообщества
1

Привет :waving_hand:

Я создал эту тему, чтобы поделиться опытом использования новых моделей ИИ в Discourse.

Несколько дней назад я настроил grok-2-1212 для создания кратких резюме тем. Он работает очень хорошо: определение языка и качество ответов вполне удовлетворительны. Я также пробовал использовать его с AI-ботом, но, похоже, в большинстве случаев он не справляется, вероятно, потому что пока не умеет корректно работать с инструментами.

Также я пробовал Gemini Flash 2 для AI-бота. Он работает быстро и даёт отличные ответы, однако иногда, похоже, не справляется с инструментами и срывает ответ. Иногда проблема в простой разметке Markdown, иногда он не может выполнить поиск. На моём форуме в большинстве случаев он пишет, что ничего не нашёл на форуме, хотя я знаю, что темы по этой теме существуют…

4 лайка
2

Что касается проблемы с поиском, вы думаете, это может быть связано с тем, что ИИ не полностью проиндексировал содержимое форума, или, возможно, есть несоответствие в понимании запроса?

2 лайка
3

Если у меня нет идеи. В большинстве случаев поиск не находит ничего «» или завершается с ошибкой тайм-аута… но иногда поиск выполняется корректно и находятся нужные темы. Это было бы хорошо, я думаю, но пока это всё ещё сильно экспериментальная функция.

1 лайк
4

Вы пробовали xml инструменты? Я обнаружил, что на grok они работают довольно хорошо

3 лайка
5

Спасибо, я попробовал сейчас. Да, выглядит лучше, но проблема в основном возникает, когда я создаю новое обсуждение. Оно начинается на английском примерно так: I am searching for…in sitename… и перестает отвечать. Иногда оно продолжает ответ после английского предложения I am searching… на правильном венгерском языке и дает хороший ответ. Однако, если я отвечаю на ответ grok в этом обсуждении, всё работает отлично.

2 лайка
6

Это действительно интересно. Мне бы хотелось добавить возможность использования «обосновывающих» примеров в качестве опции для персонажей — это могло бы полностью решить эту проблему.

2 лайка
7

Отлично! Но, по-вашему, не замедлит ли это работу, особенно при больших объемах данных? Может ли это повлиять на время отклика при запросах к ИИ или поиске, или всё в порядке?

1 лайк
8

Основные проблемы, с которыми сталкиваются примеры, — это «загрязнение».

Модель усваивает форму, но также может ошибочно полагать, что пользователь сказал то, чего не говорил.

В идеале тщательная проработка системных сообщений может решить эту задачу; это было бы моим первым выбором.

Примеры в системном сообщении могут привести к меньшей утечке, так как для модели будет понятнее, что это просто пример.

Минимальная рекомендация для Дона — написать ваше системное сообщение на венгерском языке; это может помочь.

Может быть, стоит попробовать добавить один-два примера XML-инструмента в системное сообщение?

4 лайка
9

Это действительно звучит хорошо, спасибо, что поделились : )

10

Я попробовал, но результат тот же с grok-2-1212. Затем я переключился на grok-beta, и всё заработало идеально. При этом оно работает и с системным сообщением на английском языке…

4 лайка