Как эксперты «Яндекса» оценивают результаты выдачи?

В декабре 2019 года «Яндекс» внедрил алгоритм ранжирования «Вега», для которого компания собрала команду асессоров-экспертов, готовых работать над качеством выдачи.

В 2020 компания представила ещё одно обновление Поиска — большие нейросети-трансформеры под названием YATI. Подробнее мы рассказывали о них здесь. Оценки экспертов, которые компания продолжает активно накапливать, стали основным материалом для финального обучения моделей YATI.

В рамках рубрики #КухняПоиска сегодня подробнее расскажем, как эксперты помогают создавать более релевантную выдачу в Поиске.

Какая задача у алгоритма ранжирования и асессоров-экспертов?

Алгоритм ранжирования помогает определять в Поиске ценность веб-страниц в рамках того или иного запроса. Чтобы пользователь нашёл то, что ему нужно, в поисковой выдаче предлагаемые сайты сортируются — приоритет отдаётся страницам, которые максимально подходят запросу.

Модель ранжирования обучается на размеченных оценках релевантности документов (веб-страниц из Интернета) запросу. Чтобы в выдаче оказывались только самые качественные результаты по запросу, к процессу оценки подключены асессоры — эксперты в той или иной области.

Чтобы эта система работала ещё лучше, в «Яндексе» алгоритму помогают асессоры-эксперты. Они ранжируют страницы в выдаче, проверяя, насколько информация на веб-странице отвечает соответствующему запросу.

Теперь асессор, являющийся профессионалом в определённой области, может заниматься разбором ответов по своей тематике. Это немаловажно для улучшения результатов поисковой выдачи.

Допустим, асессор-сисадмин разбирается в системных ошибках. Он знает, как исправить ошибку lvrs64. Именно поэтому он может определить, верно ли на странице описан ответ на этот вопрос.

А вот асессор-медик знает, какие лабораторные показатели, определяемые для оценки внешнего пути свёртывания крови, рекомендуются людям, которые страдают от тромбоза. Если информация по этой теме оказывается неверной, то эксперт не одобрит её.

Для качественной оценки запроса не всегда нужны формальные знания или опыт работы. Пользователи задают очень разные запросы. Кто-то ищет последние новости любимого вида спорта, кто-то решает бытовые задачи, а кто-то интересуется полюбившимися персонажами из книг, игр или фильмов.

И если находится асессор, который отлично разбирается в теме, он лучше поймёт задачу пользователя и сможет дать более взвешенную оценку найденному ответу.

Как подбираются эксперты на выполнение конкретной задачи?

К участию в проекте приглашаются люди, которые обладают необходимой квалификацией в конкретной области. Далее каждый потенциальный асессор выполняет тренировочные и практические задачи, цель которых — познакомить его с принципами и дизайном оценки.

Если асессор успешно справился с первыми задачами, он может указать свои области интересов и дополнительные знания, которые позволят более аккуратно сформировать для асессора его персональный набор запросов для оценки.

При появлении новой задачи, «Яндекс» в приоритетном порядке сортирует асессоров-кандидатов на её выполнение. Выбор экспертов настроен достаточно гибко. Всё просто: если запрос и тема страницы из поисковой выдачи касается правового дела, то их будет проверять юрист.

Контроль качества работы асессоров-экспертов

Размер заработка асессора зависит от качества и требуемого уровня экспертности для выполнения задачи. Сложные тематики, в которых разберётся далеко не каждый, стоят дороже общедоступных, понятных каждому пользователю.

Кроме того, «Яндекс» знает, насколько точно эксперт выполняет задачу. Качество определяется на основе многих показателей, и асессоры, которые стараются максимально разобраться в запросе, получают более высокую оплату за задание, чем их менее вовлечённые коллеги.

Все эти показатели входят в одну формулу, по которой и определяется качество выполнения задач асессора. Если раньше это был примерный порог точности, то сейчас «Яндекс» пользуется достаточно сложной моделью, которая состоит из различных факторов, указывающих на качество выполнения задач.

Нам важно, чтобы в любое время года, в любую погоду, в Новый год, 8 марта или любой день мы хорошо отвечали на те запросы, которые пользователи нам в этот день и час задают.

В «Яндексе» считают, что есть ещё дополнительный тонкий слой, который нельзя терять — это свежие запросы, что-то, возникающее прямо сегодня. Например, это могут быть какие-то новости.

Особенности работы нового алгоритма ранжирования

В распоряжении у «Яндекса» имеется большое количество разных типов оценок. Все они способствуют более точному ранжированию в Поиске.

Накопленные за время работы поисковика богатые данные позволяют оценить ценность результата — web-странички — с разных сторон. Например, можно отдельно оценивать, насколько полна или актуальна представленная на странице информация.

В новом алгоритме «Яндекс» научился эффективно использовать все накопленные данные и извлекать из них максимум информации для ранжирования: начиная с работы нейросетей и заканчивая экспертными оценками. И всё это, конечно же, способствует улучшению точности результатов выдачи.

31-летний Павел из Краснодара, владеющий специальностью математика-программиста, рассказал о своём опыте работы асессором. Примерно семь лет назад он уволился с прошлой работы и поделился этим со своими знакомыми.

По счастливому стечению обстоятельств жена одного из них работала асессором и предложила мне пройти вступительный тест. Мне стало любопытно, и я решил попробовать, в итоге работа асессора мне очень понравилась, в том числе благодаря возможности работать из дома по свободному графику.

Павел подчёркивает, что его работа состоит из выполнения различных задач. Чаще всего — это задания по оценке сайтов: например, по их соответствию запросам пользователей, по авторитетности и безопасности, по наличию или отсутствию спама и мошеннических элементов.

В работе экспертом-асессором есть немало плюсов: например, ты чувствуешь повышенную ответственность за свои оценки и тем самым поддерживаешь собственный уровень оценок на высоком уровне, консультируясь с коллегами, обращаясь к инструкции или задавая вопросы кураторам заданий.

По его словам, необходимость задавать вопросы кураторам или коллегам теоретически возможна, но чаще всего бесполезность страницы по запросу очевидна и не вызывает сомнений. Они могут возникнуть скорее в других ситуациях: например, если страница полезна частично.

Тогда необходимо измерить уровень этой самой полезности, который зависит от большого количества различных факторов.

Ошибки — это естественный процесс работы, стопроцентная точность чаще всего невозможна. Однако благодаря тому, что в некоторых заданиях другие коллеги могут проконтролировать выставленные оценки, а в некоторых итоговая оценка ставится в перекрытии, по оценке большинства коллег из группы, подобные ошибки исправляются.

Павел выражает готовность работать с новыми интересными заданиями или пробовать свои силы, например, в организаторской работе. По его мнению, помимо очевидной усидчивости стоит выделить повышение уровня общей эрудиции, так как ежедневно встречая в оценке тысячи различных новостей и фактов, многое можно узнать и запомнить.