Разработчик придумал новый способ ввода текста при помощи всего тела и компьютерного зрения
Потребуется камера и приличный уровень координации движений.
Разработчик Флетчер Хейслер представил новый способ ввода под названием Semaphore. Он не подразумевает привычные клавиши, зато требует наличия камеры и алгоритма компьютерного зрения. Ведь символы предлагается вводить всем телом.
Пользователь должен «печатать» символы, руководствуясь семафорной азбукой — она использовалась на флоте для передачи сигналов. Дополнительные жесты для выполнения значений привычной клавиатуры вроде Shift и Control Хейслер придумал сам. А для удобства он предусмотрел и жест повтора предыдущего символа: для этого нужно просто подпрыгнуть.
Отслеживание перемещений тела обрабатывает алгоритм MediaPipe Pose Landmarker от Google.
«Я считал, что просто придумываю забавный способ печатать с элементами кардиотренировки, но оказалось, что это ещё и выразительная форма современного танца. А заодно — и полноценный игровой контроллер: с ним геймплей любой игры можно сделать ещё более потрясающим», — Флетчер Хейслер, разработчик
Semaphore — не теоретический проект: Хейслер выложил необходимый код для распознавания жестов на GitHub, и его можно использовать как способ ввода на macOS.