Сбер представил обновлённую языковую модель GigaChat Audio. Она обрабатывает голосовые сообщения и аудиофайлы. При этом не требует предварительного преобразования речи в текст. Это ключевое отличие от предыдущих версий. Модель получила нативную поддержку аудио. Она научилась учитывать интонацию и эмоциональную окраску речи. Также расширились возможности работы с длинными записями.
Распознавание эмоций и адаптация ответов
GigaChat Audio распознаёт эмоциональный контекст по нескольким параметрам. По интонации. По тембру голоса. И по особенностям произношения. Благодаря этому ИИ-помощник точнее подбирает стиль ответа. Он адаптирует общение к состоянию пользователя. Например, если человек расстроен, модель отвечает мягче. Если возбуждён — спокойнее. Это делает взаимодействие более естественным.
Работа с длинными аудиозаписями
Модель работает с аудиозаписями до трёх часов. Это позволяет обрабатывать длинные совещания, интервью или лекции. Пользователь может быстро найти нужный фрагмент разговора. Также можно получить краткое содержание всей записи. Или отдельного отрезка с таймкодами. Кроме того, GigaChat Audio различает участников беседы. Это упрощает анализ групповых обсуждений.
Долговременная память в голосовом взаимодействии
Ещё одно нововведение — долговременная память. Модель запоминает важные сведения из диалога. И использует их при следующих обращениях. При этом пользователь сохраняет полный контроль. Сохранённые данные доступны для просмотра. Также их можно редактировать или удалять в настройках профиля. Это даёт гибкость и безопасность.
Открытый исходный код облегчённой версии
Сбер открыл исходный код облегчённой версии. Она называется GigaChat3.1-Audio-10B. Разработчики смогут создавать на её основе свои сервисы. Например, транскрибацию. Или голосовой перевод. Также анализ длинных аудиозаписей. И оценку качества речи. Это расширяет экосистему вокруг GigaChat.
Семейство моделей GigaAM Multilingual
Вместе с GigaChat Audio представили ещё одну новинку. Это семейство моделей GigaAM Multilingual. Они предназначены для автоматического распознавания речи. Поддерживают русский, английский, казахский, киргизский и узбекский. Благодаря предварительному обучению на многих языках модели легко адаптируются к новым.
Предыдущие достижения Сбера
Напомним, ранее Сбер представил GigaChat 3.5 Ultra. Эта модель лучше пишет код. Также решает агентные задачи. И работает с длинными текстами. Таким образом, Сбер системно развивает ИИ-продукты.
Что будет дальше
Сбер продолжит улучшать GigaChat Audio. Появятся новые функции и языки. Модель станет ещё точнее и быстрее. Как результат, пользователи получат мощного голосового ассистента.
