Российские разработчики научили смартфон читать по губам
Ученые из Санкт-Петербурга разработали программу, которая с помощью встроенной камеры способна анализировать движения губ и понимать сказанные беззвучно слова.
Об этом пишет издание «Известия».
Отмечается, что работает новый сервис на базе искусственного интеллекта и является первой в мире программой, созданной специально для работы с русскоговорящей аудиторией.
Приложение станет полезным для виртуальных Ассистентов, чье управление напрямую связано с голосовыми командами, но при этом они находятся в зоне с повышенным уровнем шума.
Например, полагают ученые, инновация может пригодиться пилотам самолетов.
"Программа совмещает и изучает информацию из двух источников для улучшения точности распознавания. Эксперименты показали, что такая гибридная система значительно эффективнее распознает команды человека в сложных и шумных условиях", - рассказал старший научный сотрудник Денис Иванько.
Сервис прошел специально обучение посредством видеороликов со звуком, из которых нейросеть смогла освоить самые часто используемые голосовые команды.
Тестирование разработки петербургских инженеров прошло в реальном времени: нейросетью пользовались профессиональные водители, работающие на большегрузных автомобилях.
Полевые испытания продемонстрировали, что новая нейросеть способна проанализировать и узнать до 90% голосовых команд и 60-70% жестов и иных визуальных сигналов.
