10 лет эволюции нейросетей в «Яндекс Поиске». 10 фактов!

От первого применения нейронных сетей при поиске картинок до генерации готовых ответов вместо поисковой выдачи.

10 лет эволюции нейросетей в «Яндекс Поиске». 10 фактов!

Ровно 10 лет назад, 5 декабря 2014 года разработчики «Яндекса» встроили поиск по загруженному изображению при помощи нейросети. С тех пор поисковой движок умеет находить не только точные копии картинок в другом качестве, но и другие, похожие по смыслу.

А сегодня на благо пользователей «Яндекс Поиска» и сопутствующих продуктов трудится целый набор умных алгоритмов, включая генеративные модели искусственного интеллекта.

В начале было слово

«Яндекс» появился в ту эпоху, когда количество сайтов в рунете исчислялось сотнями. Тогда достаточно было искать по простому совпадению слов. 

По мере увеличения объёма информации в сети оказалось, что результаты необходимо ранжировать. Сначала алгоритм учитывал частоту совпадений слов в запросе, а потом появился ТИЦ — тематический индекс цитирования, своего рода индикатор «важности» сайта. Показатель демонстрировал, как много других источников ссылаются на искомую страницу.

А как же нейросети?

Впервые «Яндекс» задействовал нейронную сеть для текстового поиска в 2016 году. Собственная модель отвечала за оценку смысловой близости заголовков веб-страниц и запросов пользователей.

Через год алгоритм начали применять и к текстам самих страниц. Всё это помогло улучшить поиск по уникальным запросам, для ранжирования ответов на которые недоставало другой информации.

Русский трансформер

В 2020 году поиск «Яндекса» стал использовать нейронную сеть YATI (Yet Another Transformer with Improvements). Трансформер — это архитектура нейросетей, разработанная в Google.

Применение новой технологии позволило улучшить релевантность поисковых результатов по метрике NDCG до 95,4%, хотя до внедрения YATI он составлял 91,6%.

YandexGPT

Сейчас ключевая нейросетевая модель «Яндекса» — YandexGPT. За менее чем два года компания выпустила четыре поколения технологии.

Актуальная версия YandexGPT способна обработать без потери контекста до 60 страниц текста. В некоторых бенчмарках алгоритм приближается к GPT-4o от OpenAI. А доля ошибок снизилась до 2,1%.

Переводной поиск

Если достаточно полного ответа на ваш запрос в русскоязычном интернете не окажется, «Яндекс» любезно просканирует англоязычные ресурсы и покажет их в выдаче тоже — причём сразу в переводе.

Например, если вы хотите приготовить блюдо какой-нибудь экзотической кухни, не отклоняясь от канонического рецепта, «Яндекс» предложит обсуждение кулинаров на местном форуме. А заодно переведёт на русский не только заголовок сайта, но и его содержимое.

多么有趣的视频 Ой, то есть какое интересное видео!

Нейросети не обошли стороной и «Яндекс Браузер». Самая полезная его фишка — перевод видео в реальном времени. Запускаете YouTube, Vimeo или другой популярный видеохостинг — и узнаёте новое без языкового барьера. В основе функции сразу несколько алгоритмов: распознавания речи, расстановки знаков препинания, перевода на русский язык и генерации речи. 

Функция работает с английским, испанским, французским, итальянским, немецким, китайским, японским и корейским языками. И не только с загруженными видео — с трансляциями тоже!

Скажите 300.ya.ru

Если смотреть и читать всё многообразие контента некогда (понимаем), запоминайте адрес: 300.ya.ru. Здесь можно оставлять ссылки на видео и статьи: генеративная модель YandexGPT изучит и составит краткий пересказ.

А пользователи «Яндекс Браузера» могут вызвать функцию без перехода на отдельный сервис. Например, прямо из выдачи «Яндекс Поиска».

Словами не описать

В мобильном приложении «Яндекса» есть «Умная камера». Наводите смартфон на объект — и тут же получаете описание увиденного. Например, породу кошки, вид растения или название достопримечательности. А если это товар, то «Яндекс» найдёт его в интернет-магазинах и покажет цену.

Функций в «Умной камере» намного больше: она и распознает текст, и отсканирует документ, и переведёт вывеску на иностранном языке. Ещё можно загрузить свою картинку и задать вопрос о ней текстом. Мультимодальная нейросеть справится!

Вот скажи мне, Алиса… 

Конечно, искусственный интеллект не обошёл стороной голос «Яндекса» — виртуального помощника «Алиса». Под капотом ассистента трудится YandexGPT, что позволило реализовать генеративные функции. Например, «Алиса» способна придумывать идеи, сочинять тексты и объяснять сложные понятия простыми словами. 

Ещё у «Алисы» появилась платная опция «Алиса Про» на базе более продвинутой модели YandexGPT 4 Pro.

А зачем нам список результатов?

Поиск «Яндекса» уже давно умеет показывать сниппеты — карточки, которые содержат наиболее вероятный ответ на запрос. Но теперь есть генеративная модель YandexGPT! Она в паре с другими нейросетями может самостоятельно сходить по релевантным сайтам, проанализировать информацию и составить готовый ответ. Конечно, со ссылками на источники. 

Такая функция появилась с обновлением весной 2024 года. Карточка с ответом «Нейро» отображается над списком остальных результатов поиска.