Смотрим, как работает распознавание объектов в приложении «Яндекс»

«Яндекс» сегодня — это не только поиск! Но именно поиск остаётся для компании приоритетом: его алгоритмы постоянно улучшаются, а у привычных функций появляются новые фишки.

Так, у умной камеры в фирменном приложении теперь есть возможность определения предметов в реальном времени.

Предлагаем вместе посмотреть, как это работает, но для начала давайте разберёмся, как работает компьютерное зрение.

Что такое компьютерное зрение, и как оно работает

Люди довольно легко определяют различные предметы и отличают их друг от друга за счёт приобретённого опыта. Мы знаем, что коробка — это не только прямоугольник, но и предмет, который можно открыть за одну из сторон и поместить что-то внутрь.

То есть, главные свойства — внутри объект должен быть полым и иметь стенки. А как вы думаете, что можно назвать стулом? Самое очевидное, что приходит в голову: четыре ножки, спинка и доска, на которую можно сесть. А как вам такое:

Технически, это тоже стул. Основное свойство — это возможность на нём сидеть. Получается, чтобы обучить компьютер распознавать стул, необходимо, чтобы он понял, что «стул — это то, на чём можно сидеть», при этом необходимо, чтобы нейросеть также отличала его от кресел и диванов. Как раз этим и занимаются разработчики, обучая нейросети распознавать, что изображено на фотографиях.

Судя по тому, что сделали «Яндекс», у компании опыт и прогресс в этом огромный, так что давайте разберём на примерах, как хорошо работает их компьютерное зрение, и в каких сценариях оно может быть полезно.

Ухаживаем за растениями

Ситуация: вам дарят на день рождения какой-то комнатный цветок, за которым вы не знаете, как ухаживать, сколько раз поливать, и как он вообще называется. Открываем приложение «Яндекс». Ищем в поисковой строке значок умной камеры и нажимаем на него.

Наводим камеру, и оказывается, что это Аихризон, который ещё называют «деревом любви»!

Здесь же, в поисковой выдаче, можем найти подходящий сайт, на котором мы можем узнать, как правильно ухаживать за этой красотой. Но это ещё не всё.

Покупаем всё, что можем

Допустим, вы увидели в кафе или в гостях какой-то классный предмет интерьера, и вы сразу хотите его себе купить. Снова открываем приложение и наводим камеру. Отмечу, что компьютерное зрение «Яндекса» отлично справляется с анализом почти всех предметов окружения и помечает их точками.

Отдельно можно открыть раздел со списком товаров и магазинов, после чего перейти к покупке. Ну и к поиску в сети, конечно. Аналогично можно поступить с одеждой, кроссовками и косметикой.

Можете взять и попробовать самостоятельно, технология из будущего — не иначе! Я так, наверное, час бегал по квартире и сканировал всё, что только можно.

Определение объектов работает не только на товарах, но ещё на животных (можно определить породу кошки или собаки) и на шедеврах живописи (приходите в музей, наводите камеру на статую или картину и узнаёте что-то новое).

Сканируем и переводим

Чтобы отсканировать печатный документ, наводим на него камеру в «Яндексе», предварительно включив режим «сканер» с помощью свайпа. 

Уже через несколько секунд алгоритм вырежет документ, выровняет его по перспективе и сохранит в память устройства. Хотя, при желании, вы можете его сохранить на «Яндекс.Диск» или поделиться в других сервисах.

Помимо сканера документов и определения объектов можно переводить текст по фото, причём не только на русский язык. В режиме дополненной реальности переведённый текст накладывается на источник. Функция будет очень полезна в поездках за рубеж.

Милая история

Когда я готовил материал, в Facebook нашлась очень милая история от женщины, дочь которой во время поездки в Стамбул потеряла свой любимый рюкзак, подаренный бабушкой с дедушкой. Когда семья приехала домой, во время уборки женщина нашла детский рисунок, на котором был изображён тот самый рюкзак.

При помощи функции умной камеры в приложении «Яндекс» женщине удалось найти точно такой же рюкзак в интернете, купить его и порадовать свою дочь. Уверен, что таких случаев масса! Здорово, что современные технологии идут нам на пользу и делают жизнь проще, лучше и удобнее.