Виртуальный сурдопереводчик дополнит цифровую платформу «Сурдо-помощь»

Компания «Сенсор-Тех» совместно со студией «Союзмультфильм» разрабатывает виртуального сурдопереводчика, который в режиме 24/7 будет помогать глухим и слабослышащим людям. Разработка ведется в рамках проекта «Сурдо-помощь», реализуемого на грант РФРИТ.

Виртуальный сурдопереводчик генерирует русский жестовый язык на основе введенного текста или записанного голоса. Сервис разработан с помощью технологии «motion capture» на базе искусственного интеллекта, который был обучен на основе собранного датасета из более чем 50 тыс. жестов.

Виртуальный переводчик - одна из функций, которая будет доступна в ПО.

Всего в цифровую платформу будут интегрированы три функции: перевод речи в текст, виртуальный сурдоперевод и видеосвязь с реальным сурдопереводчиком.

ПО распознает устную речь, переведет ее в текст, и выведет в виде субтитров на экран смартфона. Пользователь сможет напечатать ответ текстом, а программа озвучит его, переформатировав в устную речь для собеседника.

В случае необходимости получения консультаций, а также в экстренных ситуациях поможет функция видеоконференции, с помощью которой пользователь может связаться с переводчиком русского жестового языка в любое время суток.

Платформа будет доступна в виде веб-портала и мобильного приложения для iOS и Android в 2024 году. 

«Сурдо-помощь» использует API только российских разработчиков (ЦРТ, Яндекс, Труконф), а также впервые в мире задействует алгоритмы deepfake для генерации виртуального сурдопереводчика, неотличимого от реального человека.

Продукт будет способствовать развитию цифровых инструментов для социальной адаптации людей с нарушениями слуха: они смогут самостоятельно посещать общественные места, общаться, получать образование, путешествовать и найти работу.

Проект вошел в ТОП-1000 Форума «Сильные идеи для нового времени» и был представлен на ПМЭФ-2023.

Среди потенциальных заказчиков Всероссийское общество глухих, Фонд социального страхования, ГК «Исток Аудио», ООО «Бизнес Бюро».