«Яндекс» запустил синхронный перевод прямых трансляций в браузере
«Яндекс» добавил в свой браузер уникальную технологию автоматического закадрового перевода прямых трансляций на YouTube. Функция пока работает в режиме открытого бета-тестирования и доступна только для некоторых YouTube каналов.
По словам представителей компании, синхронный перевод видеороликов сильно отличается от перевода прямых эфиров. Если в первом случае нейросеть получает сразу всю звуковую дорожку и может понять контекст, то во втором случае такой возможности нет и текст надо переводить сразу.
Для качественной и быстрой работы разработчикам пришлось полностью переделать архитектуру технологии закадрового перевода видео. В синхронном переводе прямых трансляций участвует несколько нейросетей: первая распознаёт речь и сразу же переводит её в текст, вторая определяет пол спикера.
На втором этапе подключается еще пара нейросетей: одна расставляет знаки препинания и выбирает те части, которые содержат законченные мысли. Их забирает еще одна нейросеть, которая переводит фразы на русский язык и сразу же озвучивает.
«Мы продолжаем совершенствовать технологии, которые помогают стирать языковые границы в интернете. Например, за 10 месяцев пользователи Яндекс Браузера посмотрели 81 млн видеороликов с закадровым переводом. Потом мы взялись за субтитры, а теперь пришло и время перевода лайвов. Следующий шаг — перевод потоковых трансляций и видеороликов не только на YouTube, но и, например, в Twitch. Перевод трансляций уже можно запустить на английском, немецком, французском, итальянском и испанском. Далее мы добавим новые пары европейских языков, а также китайский, японский и другие».
Руководитель приложения «Яндекс» и «Яндекс Браузера» Дмитрий Тимко
Фото: Яндекс
(Пока оценок нет)
Загрузка...