Американцы научились говорить без звука

В Массачусетском технологическом институте разработали новое устройство, которое может «понимать», что человек говорит без звука, «одними губами». Для этого устройство — его называют интерфейсом безмолвного доступа — считывает микроскопические движения лицевых мышц. Также они разработали устройство передачи сигнала непосредственно через кость и вспомогательную систему распознавания речи на основе нейросети, точность которой составила более 90%. Доклад с описанием был представлен на прошедшей в Японии Conference on Intelligent User Interface.

Одно из актуальных направлений развития электроники — персональные гарнитуры, взаимодействие с которыми происходит без помощи рук и даже голоса. В частности, сейчас разрабатывают системы, считывающие электрические сигналы мозга, однако их точность пока недостаточна для широкого использования. В начале 2000-х было доказано, что в электрическом сигнале, который возникает в мышцах лица при «мысленном» произнесении слов — субвокализации, — достаточно информации для того, чтобы восстановить текст. Подобные системы получили название интерфейсов безмолвного доступа.

Исследователи из MIT представили новую систему, основанную на этом принципе. Она состоит из носимой гарнитуры, прикрепляющейся к уху и челюсти, а также компьютера для обработки сигнала. Новая разработка отличается от предыдущих дополнительной системой искусственного интеллекта на основе нейросети, с которой можно общаться посредством интерфейса и получать от нее ответы.

Во время тестирования авторы обучили нейросеть понимать простые задания, вроде арифметических операций: достаточно мысленно произнести пример, чтобы система распознала слова, выполнила операцию и сообщила ответ через колебания костей черепа, не мешая человеку воспринимать окружающие звуки. Также систему протестировали при помощи игры в шахматы — человек мог отдавать команды, думая о клетках в стандартной нотации.

Видео, созданное разработчиками интерфейса

Разработка получила название AlterEgo и требует калибровки под каждого пользователя, так как миоэлектрические сигналы каждого человека слегка различаются, поэтому для того, чтобы увеличить точность, нужно обучить нейросеть под индивидуальный «акцент». Во время испытаний десять человек калибровали систему в течение 15 минут на арифметических заданиях, а затем в течение 90 минут пользовались ею непосредственно. В результате оказалось, что система смогла понимать слова с точностью около 92%. Чем дольше человек пользуется интерфейсом, тем выше становится точность понимания.

Понравился материал? Добавьте Indicator.Ru в «Мои источники» Яндекс.Новостей и читайте нас чаще.