Груши помогли изучить жестикуляцию людей

Ученые из Института языкознания РАН и МГУ имени М.В. Ломоносова создали единую схему для обозначения всех компонентов, которые собеседники используют при общении: слов, жестов рук, движений головы, направления взора, мимики. Работа проходит в рамках проекта «Язык как он есть», поддержанного Российским научным фондом (РНФ), его текущие результаты были представлены на ежегодной Международной конференции по компьютерной лингвистике и интеллектуальным технологиям «Диалог-2017».

В рамках проекта был создан видеоресурс «Рассказы и разговоры о грушах», который основан на пересказах испытуемыми «Фильма о грушах» известного американского лингвиста Уоллеса Чейфа. Ресурс включает серию записей естественной коммуникации между четырьмя участниками и совокупное описание вокальной (речь) и кинетической (движения) составляющих этих записей. Записи были включали высококачественную аудио- и видеозапись, а также регистрацию движений глаз. В представленном докладе ученые подробно описали один из аспектов этого исследования, а именно аннотирование (подробную запись с помощью системы обозначений) жестов рук.

Движения рук говорящего, взятые в целом, представляют собой кинетический «фон», на котором ученые выделяют кинетические «фигуры». Среди них выделяются иллюстративные жесты, непосредственно связанные с содержанием речи. Например, можно руками изобразить геометрическую форму или траекторию движения. Ритмические жесты подчеркивают наиболее важные моменты дискуссии, а указательные жесты локализуют объект разговора в пространстве и времени. Важная составляющая кинетического «фона» — это так называемые адапторы, то есть физиологически мотивированные движения, связанные с поиском более удобного положения и снятием телесного дискомфорта (поправить волосы, почесаться).

В своей работе ученые предложили аннотационную схему — систему обозначений для каждого жеста и его части. Жест — центральное понятие такой схемы. Жесты далее объединяются в жестовые цепочки, а они сами состоят из отдельных фаз. Важнейшая фаза жеста — мах, в котором реализуется значение жеста; это единственная обязательная фаза жеста.

Предложенная учеными схема ориентирована на среду ELAN — одну из наиболее известных программ для аннотирования движений. Важной отличительной особенностью этой программы является возможность многослойной покадровой аннотации видеофайлов. Авторы выделяют отдельные независимые, привязанные лишь к временной шкале, слои для жестовых цепочек, смены положений рук, жестов, фаз жестов и адапторов. Каждый слой представлен отдельно для правой и левой руки. Группа зависимых слоев, привязанных к слою жестов, позволяет более подробно описывать характеристики жеста и некоторые важные особенности, такие как наличие многократного маха или наложения соседнего жеста. Частота видеозаписи 100 кадров в секунду дает возможность аннотировать жесты с шагом всего в 10 миллисекунд.

Проанализировав материал, ученые обнаружили значительные индивидуальные различия между жестикуляцией говорящих. В частности, одни люди постоянно переходят от жестикуляции к сериям адапторов и обратно, а другие, наоборот, между сериями жестов сохраняют неподвижность. Для описания различных движений авторы ввели понятие «жестикуляционного портрета». Этот портрет показывает, каковы типичные для данного говорящего человека скорость и амплитуда движений, естественные положение рук в покое, привычное количество адапторов, а также предпочтения в использовании при жестикуляции правой или левой руки.

«Предлагаемая схема нацелена на согласованность аннотаций разных слоев между собой. Это отражает реальное положение дел в естественной коммуникации, где движения разных частей тела задействованы синхронно и направлены на передачу единого послания. Создаваемый на базе данной аннотационной схемы ресурс позволит проводить широкий круг исследований в области взаимодействия коммуникативных каналов у говорящего человека», — рассказал один из авторов доклада Андрей Кибрик, доктор филологических наук, директор Института языкознания РАН.

Пресс-релизы о научных исследованиях, информацию о последних вышедших научных статьях и анонсы конференций, а также данные о выигранных грантах и премиях присылайте на адрес science@indicator.ru.