Российские ученые научили смартфон читать по губам

Специалисты Санкт-Петербургского федерального исследовательского центра РАН создали компьютерную программу с видеокамерой, которая может распознавать речь по движению губ. В ее основе лежат технологии искусственного интеллекта.

Сообщается, что это первая нейросеть, понимающая именно русский язык. Она предназначается для цифровых ассистентов, оснащенных голосовым управлением, которые могут работать в условиях шума. В частности, разработка может пригодиться пилотам авиации, рассказали «Известиям» в Минобрнауки.

«Программа совмещает и изучает информацию из двух источников для улучшения точности распознавания. Эксперименты показали, что такая гибридная система значительно эффективнее распознает команды человека в сложных и шумных условиях», — добавил старший научный сотрудник лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН Денис Иванько.

Ученые создавали систему с помощью метода машинного обучения, проводимого по видеозаписям со звуком. Так, программа запомнила несколько сотен самых распространенных команд.

Эксперимент с внедрением разработки провели среди водителей большегрузных автомобилей. Результат показал, что нейросеть распознала 60-80% визуальных сигналов и 90% — звуковых.

Фото: freepik.com

(Пока оценок нет)

Загрузка...