«Яндекс» в рамках конференции NeurIPS 2021 запускает конкурс. Его участникам предстоит решить так называемую проблему «сдвига данных» в машинном обучении.

Суть в том, что когда алгоритмы, обученные на одних данных, попадают в новые условия, они могут работать не так хорошо, как от них ожидают. Один из примеров: беспилотный автомобиль, обученный движению в Москве, начинает ездить в Лас-Вегасе. От того, насколько хорошо алгоритм умеет действовать в условиях «сдвига данных» (в разных условиях, проще говоря), будет зависеть эффективность его работы и широта применения.

«Яндекс» вместе с учёными Оксфорда и Кембриджа придумал соревнование, в рамках которого программистам предстоит разработать алгоритмы для предсказания поведения участников автомобильного движения, а также для машинного перевода текстов или для предсказания погоды. Ребятам нужно будет обучить свои алгоритмы на предоставленных данных, а затем проверить качество их работы в «условиях сдвига». Создатели самых эффективных алгоритмов получат денежные призы. 

Ребята смогут пользоваться данными самого большого в мире датасета по беспилотным автомобилям, который «Яндекс» открыл специально для конкурса. Он содержит 600 000 дорожных сцен или более 1,6 тысяч часов движения, собранных за полгода в России, Израиле и США, в совершенно разных погодных условиях. Два других датасета — это реальные данные из сервисов «Яндекс.Погода» и «Яндекс.Переводчик». 

В компании пояснили, что в настоящее время доступные учёным наборы данных «со сдвигом» ограничены и зачастую созданы искусственным путём. «Яндекс» же предоставит данные из своих сервисов, которые на протяжении многих лет работают в повседневных условиях, используются в различных сценариях, и потому часто сталкиваются со «сдвигом данных». Решения, которые будут разработаны в рамках конкурса, можно будет применять в других сферах, где есть проблема «сдвига данных». Это поспособствует развитию всей отрасли, — подчеркнули в «Яндексе».