Во многих социальных ситуациях слова вторичны - невербальная коммуникация в ряде случаев занимает ⅔ от всего взаимодействия. Американский лингвист и этнолог Эдуард Сепир в начале прошлого века говорил о коде, который “нигде не записан, никому не известен, но всем понятен”. Расшифровать этот код попытаются исследователи Университета Карнеги-Меллон при помощи специальной “студии”, обрудованной несколькими сотнями видеокамер. Одновременно регистрируется и анализируется 480 видеопотоков, фиксирующих, как ведут себя люди, когда они общаются.

Как идут исследования? Люди заходят в комнату и общаются, а их движения захватывают камеры с низким (640х480) разрешением, используется тот же принцип, что у Kinect. Совмещая картинки, система получает 24.9 гигабит данных в секунду.

Компьютеры регистрируют перемещение элементов скелета участников, представляют людей в виде роя точек, раскладывают все движения на траектории, напоминающим мазки кисти импрессиониста.

Создатели системы надеются, что она поможет выделить общие схемы взаимодействия людей и сопоставить язык тела с конкретными ситуациями. Составив “словарь” языка тела, можно будет научить ему роботов. Если эксперимент увенчается успехом, последующие поколения социальных роботов станут намного более эффективными по части взаимодействия с людьми.