Искусственный интеллект смог связать осязание и зрение

Исследователи из Массачусетского технологического университета (MIT) создали алгоритм, который по тактильным ощущениям предсказывает вид предмета и по изображению прогнозирует, каков предмет на ощупь. О разработке ученые рассказали на конференции по компьютерному зрению и распознаванию образов CVPR 2019.

«По изображению модель способна вообразить ощущение от прикосновения к плоской поверхности или к острому краю. Ощупав, модель может предсказать внешний вид предмета. Объединение двух чувств поможет расширить возможности роботов и сократить объем данных, необходимых для выполнения задач», — отметила одна из разработчиков, аспирант MIT Юньчжу Ли.

Осязание дает возможность определять форму и свойства предметов, предупреждает о препятствиях и опасности. Зрение же достраивает картину, определяя природу и внешний вид объектов. Таким образом оба чувства позволяют исследовать окружающий мир. Однако в отличие от человека роботы до сих пор могут либо одно, либо другое.

Исследователи задались целью преодолеть этот сенсорный разрыв и разработали генеративно-состязательную сеть и массив данных. Ученые записали на веб-камеру около 200 объектов, таких как инструменты, предметы домашнего обихода, ткани, создав более 12 000 видео. Разбив эти 12 000 видео на статичные кадры, команда собрала набор данных VisGel из более чем 3 миллионов визуальных и тактильных парных изображений.

Сперва алгоритм на основе зрительных образов генерировал тактильные ощущения, а роботизированная рука KUKA с сенсором GelSight позволяла ему сравнивать ожидания и реальность. Затем алгоритм «вслепую» на основе тактильных данных с манипулятора создавал изображение объекта и сравнивал результат с действительностью.

Обученная модель позволяет, например, загружать в систему изображение или тактильные данные компьютерной мыши и получать предсказания, как ее использовать. В будущем это знание позволит машинам действовать безопаснее и эффективнее. Также в перспективе исследователи надеются расширить возможности модели, научив ее предсказывать цвет объекта по прикосновению и определять мягкость дивана с первого взгляда.

Понравился материал? Добавьте Indicator.Ru в «Мои источники» Яндекс.Новостей и читайте нас чаще.