Проект Reface — управление смартфоном мимикой от российского разработчика

Не так давно на нашем YouTube-канале выходил ролик о Google Pixel 4, одной из главных фишек которого должна стать технология Project Soli, представленная на Google I/O ещё в 2015 году. Она позволит управлять смартфоном с помощью жестов над устройством, а также движениями глаз и мимикой лица. 

После публикации ролика нам в редакцию написал российский разработчик Денис Шилов — он работает над аналогичным проектом под названием Reface. Его идея показалась нам интересной, во многом благодаря тому, что Reface не требует смотреть на смартфон и в принципе брать его в руки или доставать из кармана.

Как это работает?

Для работы Reface требуется две вещи: гарнитура, которая умеет снимать электроэнцефалограмму и программа, которая расшифровывает сигналы мозга и мышц и преобразует их в команды для смартфона.

За расшифровку электроэнцефалограммы отвечает разработанная Денисом нейросеть. Сейчас она умеет распознавать следующие жесты: моргание, сильное моргание, посмотрел налево, посмотрел направо, посмотрел вверх, посмотрел вниз, сжал челюсть, помотал головой. В будущем планируется добавить ещё несколько движений, в том числе бровями.

В данный момент прототип Reface использует гаджет компании Muse, но по словам Дениса, он не удобен при повседневном использовании. В будущем разработчик планирует сделать свою собственную гарнитуру, которая бы имела форму спортивных наушников.

Зачем это нужно?

Использовать Reface можно для управления смартфоном или компьютером: отвечать на звонок, переключать треки, изменять громкость музыки, копировать и вставлять текст, перелистывать страницы электронной книги, переключать слайды презентации и так далее. Необходимая функция выбирается в приложении, после чего для неё настраивается последовательность действий.

Чтобы исключить ложные срабатывания, Reface предлагает использовать последовательности из минимум трёх действий, например, моргнуть три раза подряд с небольшим интервалом, чтобы поставить трек на паузу.

Это может быть полезно как рядовым пользователям, так и людям с ограниченными возможностями, которые не могут полноценно управлять смартфоном в привычном виде. В отличие от управления глазами на смартфонах Samsung и Project Soli, смартфон не должен находится в этот момент перед лицом или рукой. Его вообще можно не доставать из кармана, так как сигналы считываются из импульсов мозга и мышц.

Кроме того, Reface может послужить помощником в области здоровья. Допустим, вы стали моргать чаще обычного, и тогда смартфон сообщит о том, что пора отвлечься от монитора и дать глазам отдохнуть. Или напомнит закапать глазные капли, если вы ими пользуетесь. В будущем Денис обещает реализовать и более сложные штуки, которые позволят отслеживать стрессовые состояния и негативные реакции.

Отдельно в разговоре с нами Денис отметил, что Reface можно интегрировать в оправу умных очков, и такой принцип взаимодействия с ними будет гораздо удобнее, чем сенсорные площадки и другие элементы управления. К слову, Reface уже интегрирован в качестве триггера для IFTTT, а значит мимикой можно управлять, например, элементами умного дома.

Если вас заинтересовал проект Reface, вы можете помочь Денису, пройдя небольшой опрос, а также подписаться на его странички во «ВКонтакте» или Telegram. Все ссылки находятся на официальном сайте проекта.