«Яндекс» научил свой браузер переводить видео с китайского на русский

Разработчики «Яндекс Браузера» улучшили функцию нейросетевого перевода. Теперь приложение умеет автоматически создавать русскую озвучку для роликов на китайском языке.

Наиболее сложной задачей, как рассказали в компании, было обучить нейросеть понимать четыре тона, от которых в китайском зависит смысл слов — на значение влияет то, как произносится тот или иной слог. Алгоритму пришлось «скормить» 1.5 млн роликов и выбрать среди них 100 тысяч с самыми качественными субтитрами. Именно по ним нейросеть учится понимать речь.

Сейчас перевод с китайского доступен на YouTube, а чуть позже функция заработает и на китайском видеохостинге Bilibili. В «Яндексе» отметили, что благодаря проделанной работе у них появилась достаточная технологическая база для других сложных языков — в будущем может появиться поддержка корейского и японского.

Напомним, что нейросетевой переводчик в «Яндекс Браузере» появился в сентябре 2021 года. Изначально он поддерживал только английский, но позже добавили немецкий, французский, итальянский и испанский.