Нейросети научились определять настроение толпы

Ученые ВШЭ разработали алгоритм, позволяющий распознавать эмоции группы людей по видео низкого качества. Разработка выдает итоговое решение всего за одну сотую секунды — быстрее, чем любые другие существующие алгоритмы. Результаты работы опубликованы в материалах конференции Analysis of Images, Social Networks and Texts.

Анализ социального поведения людей по изображениям и видео — одна из наиболее популярных задач для разработчиков умных человеко-машинных интерфейсов. Ученые добились достаточно высокой точности в определении эмоций группы лиц, однако до сих пор массово внедрить разработку не представлялось возможным. Все дело в требованиях большинства видеосистем — анализируемые изображения должны содержать крупные планы лиц в хорошем разрешении. При этом обычная камера, установленная на улице или в супермаркете, обладает низким разрешением и расположена достаточно высоко.

Исследователи НИУ ВШЭ разработали алгоритм, который по точности распознавания сопоставим с существующими программами (75,5%). При этом он занимает в памяти видеосистемы всего 5 Мб и справляется с задачей всего за одну сотую секунды, и применим на видеоданных низкого качества.

Алгоритм работает в несколько этапов. Вначале фото обрабатывает нейросеть MTCNN, которая традиционно используется для работы с небольшими изображениями лиц. Далее подключается нейросеть-классификатор изображений fully convolutional network, предварительно обученная распознавать эмоции на лицах в очень маленьком разрешении — не больше аватара в социальных сетях. Она извлекает из каждого портрета векторы признаков. Итоговое решение об эмоции анализируемой группы (негативная, позитивная или нейтральная) принимается на основе усредненного вектора признаков всех выделенных лиц, полученного при помощи методов машинного обучения random forest и опорных векторов support vector machine.

Новая разработка имеет перспективы использования в самых разнообразных системах видеонаблюдения. С ее помощью можно зафиксировать изменение настроения толпы на концерте, футбольном матче или митинге, что позволит вовремя предотвратить развитие конфликта. Интегрированная в системы видеонаблюдения супермаркета, она будет определять эмоциональную реакцию посетителей на различные промо-акции. А в связке с видеокамерой, снимающей публичное выступление, — измерять отклик зрителей.

Понравился материал? Добавьте Indicator.Ru в «Мои источники» Яндекс.Новостей и читайте нас чаще.

Пресс-релизы о научных исследованиях, информацию о последних вышедших научных статьях и анонсы конференций, а также данные о выигранных грантах и премиях присылайте на адрес science@indicator.ru.