Microsoft разрабатывает решение на базе искусственного интеллекта, которое помогают слабослышащим студентам и студентам, лишенным слуха, усваивать материал во время лекций. Система использует продвинутую форму автоматического распознавания речи, чтобы конвертировать голосовые сообщения в связный письменный текст с грамотной пунктуацией в реальном времени.
Решение, которое называется Presentation Translator, работает вместе с Microsoft PowerPoint. Все, что говорит лектор, трансформируется в субтитры и отображается в презентации в режиме онлайн. Таким образом, студенты, страдающие проблемами со слухом, могут увидеть и прочитать все, о чем говорит преподаватель. Приложение Microsoft Translator можно установить на ноутбук, смартфон или планшет и читать субтитры на любом языке.
При конвертации речи в субтитры система удаляет слова-паразиты и добавляет знаки препинания — это позволяет приложению делать грамотные переводы на более чем 60 языков. Глухонемые и слабослышащие студенты воспринимают чистый текст с пунктуацией как идеальный инструмент для получения информации.
В рамках этого проекта Microsoft сотрудничает с Национальным техническим институтом для глухонемых RIT в Рочестере (США) для анализа и тестирования языковых технологий. В ходе проверки выяснилось, что субтитры, созданные Microsoft Translator, превращают взаимодействие слабослышащих студентов с преподавателями в коммуникацию нового уровня: лекторы ведут занятия, не переживая о том, понимают ли учащиеся, о чем идет речь.
Системе удается распознавать даже сложные научные термины: для этого были разработаны базы транскрипций слов, которые чаще всего встречаются в лекциях по определенным дисциплинам. Искусственный интеллект использует эти данные для создания моделей по произношению специфических слов, чтобы правильно конвертировать их в письменный текст. Термин, который произносит лектор, тут же транскрибируется и появляется на экране в режиме реального времени.
Система предлагает еще одну полезную для студентов функцию: субтитры можно сохранять на своих устройствах и получать подробные конспекты лекций.
Заглавное фото: helpingmehear.com
