Google разрабатывает приложение Lookout, призванное помочь миллионам слепых и слабовидящих людей лучше ориентироваться в пространстве. Аудиоподсказки будут сообщать, что находится вокруг.

Lookout работает в четырёх режимах: Home, Work&Play, Scan и Experimental. После выбора режима Home или Work&Play приложение соответственно расскажет, что окружает пользователя: как по отношению к нему расположен диван или где искать лифт. Например, фраза «кровать на три часа» даст понять, что справа от пользователя находится постель. Функция Scan прочтёт рецепт из поваренной книги или надпись на стене. Режим Experimental позволит протестировать функции, которые только разрабатываются.

Смартфон пользователя должен располагаться в нагрудном кармане или на шнурке на шее камерой вперёд. Приложение не требует доступа к интернету и использует машинное обучение, чтобы понять, что требуется пользователю в данный момент.