00:49 Почему кыргызский сложен для ИИ
Оцифрованных данных мало, население билингвальное, а речь смешанная: в одной фразе встречаются и кыргызские, и русские слова.
01:50 Особенности телефонии
В телефонном канале звук теряет часть информации, появляются шумы и искажения — модель получает неидеальный сигнал.
02:12 Зачем банку своя модель
Данные клиентов не должны выходить за пределы контура банка, поэтому внешние облачные сервисы не подходят.
02:34 Данные — главная ценность
Большая часть работы — это данные. Записи звонков есть, но из них нужно сделать размеченный датасет: ошибки в разметке сразу снижают качество модели.
04:55 Свои правила разметки
Команда разработала правила: как писать спорные слова, диалекты, смешанную речь, термины, имена и названия организаций.
05:50 Модель-учитель на GigaAM
Взяли открытую модель Сбера для русского языка, доработали архитектуру под стриминг и добавили поддержку кыргызского.
Большая модель-учитель размечает данные, которые не транскрибировали вручную. Так получается промежуточный датасет для обучения целевой модели.
07:24 Потоковое распознавание на FastConformer
Речь распознаётся в реальном времени, без ожидания всего аудио. Архитектура быстрая, но у неё меньше параметров, чем у тяжёлых моделей.
08:52 Постобработка через KenLM
Языковая модель выбирает лучшую гипотезу из вариантов распознавания. Внутри — модифицированный поиск по графу: вот зачем на собеседованиях спрашивают алгоритмы.
10:23 Контекст между аудио-чанками
В стриминге аудио приходит порциями, и модели нужен контекст предыдущих. Для этого приходится держать кэш в памяти видеокарты.
Массовые обзвоны требуют стриминга без задержек. Чтобы видеокарты использовались эффективно, команда применила решения Nvidia.
14:41 WER около 15% — хороший уровень для телефонии
WER — доля ошибок в словах. Для шумной телефонной речи около 15% считается хорошим результатом, и чем метрика ниже, тем лучше.
15:28 Метрики зависят от домена
Даже звонки по взысканию и в поддержку дают разные результаты: важны не только акустика, но и смысл разговора.
16:41 14% на смешанной речи
На реалистичном датасете смешанной речи ошибка — около 14%. Каждый следующий процент даётся всё сложнее.
Обзвон клиентов по возврату кредитов — проект уже окупается. А ещё транскрибация речи операторов в контакт-центре.
Главное — данные и правильная разметка. Распознаванию речи нужна постобработка, а оценивать его стоит в связке со всей системой.
Главная боль — нехватка данных. Команда хочет запустить инициативу, где люди смогут размечать аудио на кыргызском языке.
22:02 Почему не подошли казахские модели
Проверили модель для русского и казахского, а также новую GigaAM с кыргызским — качество для их задач оказалось неприемлемым.
Распознавание от OpenAI уже неплохо понимает кыргызский, но банк упирается в безопасность данных и зависимость от внешнего вендора.
Это было сделано в
