В Колумбийском инженерном институте группа ученых представила робота Emo, который распознает улыбку человека и воспроизводит ее в виде ответной реакции. Робота даже научили предсказывать предстоящую улыбку примерно за 840 миллисекунд до того, как человек улыбнется.

Emo — это человекоподобная голова с лицом, оснащенная 26 исполнительными механизмами, которые позволяют создавать широкий спектр нюансов мимики. Голова покрыта мягкой силиконовой кожей с магнитной системой крепления, что позволяет легко настраивать ее и быстро обслуживать. Для более реалистичного взаимодействия исследователи интегрировали камеры высокого разрешения в зрачок каждого глаза, что позволяет Emo устанавливать зрительный контакт, крайне важный для невербального общения.

Для того, чтобы научить робота предугадывать будущие выражения лица человека и улыбаться одновременно с ним, ученые использовали две модели искусственного интеллекта (ИИ). Одна ИИ-модель предсказывает выражение лица человека, анализируя тонкие изменения на лице объекта, а другая генерирует двигательные команды, используя соответствующую мимику.

Чтобы обучить робота мимике, исследователи поставили Emo перед камерой и позволили ему совершать произвольные движения. Через несколько часов робот усвоил связь между мимикой и двигательными командами — примерно так же, как люди тренируют мимику, глядя в зеркало. Это то, что команда называет "самомоделированием" — подобно нашей человеческой способности представлять, как мы выглядим, когда делаем определенные выражения.

Затем команда запустила видео с человеческими выражениями лица, чтобы Emo мог наблюдать за ними кадр за кадром. После обучения, которое длится несколько часов, Emo смог предсказывать выражения лиц людей, наблюдая за крошечными изменениями на их лицах, когда они начинают формировать намерение улыбнуться.

На текущий момент исследователи работают над тем, чтобы интегрировать в Emo вербальную коммуникацию, используя большую языковую модель типа ChatGPT.