Мы уже некоторое время используем этот плагин для внутренних встреч, что отлично помогло собирать обратную связь и дорабатывать его на основе реальных сценариев использования. Вот главные нововведения за последние две недели:
Шумоподавление на базе ИИ
Функция шумоподавления была полностью переделана с внесением нескольких изменений. Теперь мы предоставляем управление стандартными функциями WebRTC:
- Шумоподавление (Noise Suppression)
- Автоматическая регулировка громкости (Auto Gain Control)
- Эхоподавление (Echo Cancellation)
Кроме того, теперь плагин включает три разные модели ИИ для тех, кому требуется более качественное шумоподавление, от базового к продвинутому:
- RNNoise
- DTLN
- DeepFilter3
Прямые звонки
Теперь пользователи могут инициировать прямые звонки «один на один» или «один ко многим» с помощью кнопки на карточке пользователя. Для этого используется инфраструктура эфемерных комнат, которую мы создали; в будущем она также будет использоваться для обработки интеграций, например, с плагином событий.
Приглашения
Щелчок правой кнопкой мыши по комнате позволяет генерировать приглашения, при этом система предлагает пользователей на основе истории ваших разговоров в этой комнате.
Пакеты звуков
Звуки Resenha теперь соответствуют вашему предпочтительному пакету звуков уведомлений о новых сообщениях в чате из New chat notification sound packs.
UX комнат
Щелчок правой кнопкой мыши для копирования ссылки на комнату, автоматическое изменение размера и сворачивание плиток виджетов, позиционирование виджетов над заголовком сайта, поддержка нажатия Shift+клик по комнате, повышение точности и производительности индикатора голосовой активности.
Переключение камер на Android
Теперь вы можете бесшовно переключаться между передней и задней камерами вашего смартфона на Android прямо во время звонка.
Предупреждение о сетевом подключении (Mesh)
В первый раз, когда пользователь пытается подключиться к комнате, использующей WebRTC mesh, мы показываем предупреждение, объясняющее возможное раскрытие IP-адреса.
И, наконец, но не менее важное, две экспериментальные функции 
Живые субтитры
Мы добавили опциональные живые субтитры, работающие на базе передовых моделей ИИ, запускаемых непосредственно на устройстве.
При включении этой функции загружается модель ИИ размером 2,5 ГБ, которая работает с использованием WebGPU, поэтому совместимость ограничена быстрыми и современными устройствами.
Этой функции еще нужно многое доработать и отладить, поэтому дайте знать, как она работает для вас.
Транскрипция
Пользователи, у которых включены живые субтитры, теперь могут начинать создание транскриптов из них, которые сохраняются в новый черновик темы. После завершения записи вы получаете редактор со всеми сохраненными транскриптами, использующий тот же формат, что и цитаты в чате.