Эксперименты с комбинированными моделями поиска и принятия решений на основе ИИ

Мы тестируем новый поисковый заголовок в Meta, который объединяет ИИ-поиск и поиск по ключевым словам в одном месте, а вы сами решаете, какой из них использовать.

Сегодня мы внедряем новый этап: использование модели принятия решений, чтобы предугадать, какие результаты вам подойдут лучше — от ИИ или по ключевым словам. Эта функция уже доступна как экспериментальное изменение «Объединенный ИИ-поиск».

Модели принятия решений — это небольшие модели, созданные для очень быстрого ответа на структурированные вопросы, результатом чего является простая вероятность. Если на вашем сайте такая модель настроена, объединенный поиск задает ей два вопроса:

  • Ответ или поиск по ключевым словам? Нужен ли этот запрос объяснение или решение проблемы, или же конкретная тема, страница или человек?
  • Здесь или по всему сайту? Для поисковых запросов, сделанных внутри темы или категории, касается ли поиск именно этого места или форума в целом?

Модель действует только тогда, когда она уверена в своем решении; если ответ занимает слишком много времени, шаг пропускается. Также у нас есть встроенные правила на случай, если модель принятия решений недоступна. Эти правила проверяют:

  • синтаксис поиска (операторы, #категория, @пользователь, фразы в кавычках)
  • совпадение внутри темы, где выполняется поиск
  • текст на системах письма, отличных от стандартной (например, если стандартным является английский… китайский, арабский, кириллица)
  • повторные поисковые запросы в рамках одной сессии поиска
  • ваши усвоенные предпочтения
  • формулировку вопроса (знак ? в конце, пять и более слов)
  • какие вкладки действительно содержат результаты

Мы будем измерять эффективность этой функции в Meta, поэтому для каждого поискового запроса мы будем анализировать:

  • вердикт правил резервного копирования (fallback rules)
  • вердикт модели и ее уверенность
  • какая вкладка открылась и почему
  • переключился ли пользователь на другую вкладку и как быстро

Переключение с вкладки ИИ — хороший сигнал того, что мы ошиблись, а если вы переключаетесь несколько раз, мы запомним ваше предпочтение.

Если вы хотите настроить и поэкспериментировать с этим на своем собственном сайте, вы можете установить модель принятия решений через админ > плагины > ИИ > модели. Когда экспериментальное изменение «Объединенный ИИ-поиск» будет включено, вы сможете указать свою модель принятия решений с помощью параметра сайта AI ask AI search intent decision model.

4 лайка