Ученые из Университета Карнеги-Меллона представили новый инструмент EgoTouch, который использует искусственный интеллект (ИИ) для управления интерфейсами дополненной и виртуальной реальности с помощью касания кожи. Исследование было опубликовано в журнале Proceedings of the 37th Annual ACM Symposium on User Interface Software and Technology.

EgoTouch решает задачу создания управления для AR/VR, которое предоставляет тактильную обратную связь, используя лишь стандартные сенсоры, встроенные в гарнитуру. Ранее разработанный метод OmniTouch требовал громоздкой камеры с сенсором глубины, но новая технология обходит это ограничение, применяя обычные камеры и алгоритмы машинного обучения.

Для создания EgoTouch команда собрала данные с помощью специального сенсора, размещенного на указательном пальце и ладони. Сенсор фиксировал разные типы касаний с различной силой, при этом оставался невидимым для камеры. Алгоритм обучался распознавать визуальные особенности деформации кожи и тени, которые возникают при касании.

EgoTouch позволяет с точностью более 96% определять касания, а также различать силу нажатия с точностью до 98%. Эта система может быть использована для создания интерфейсов, аналогичных касаниям на сенсорных экранах, прямо на коже пользователя, например, для прокрутки страниц или зума.

Технология имеет широкие перспективы. Она не требует дополнительных калибровок и может быть сразу использована на большинстве гарнитур AR/VR.