Речь идёт об алгоритмах, которые в режиме предпросмотра используются для фокусировки на наиболее интересных частях загружаемого пользователем фото.

Как сообщает The Guardian, в 2020 году пользователи впервые заметили, что алгоритмы соцсети предвзято относятся к темнокожим людям и чёрным собакам на фото. В Twitter после этого принесли извинения и заявили:

Наша команда провела проверку и в ходе тестирования не обнаружила доказательств расовой или гендерной предвзятости модели. Но из этих примеров ясно, что нам предстоит ещё многое проанализировать.

Более позднее внутреннее исследование Twitter показало, что алгоритмы редко отдают предпочтения женским лицам со светлой кожей. В итоге спор вокруг алгоритмов вынудил компанию объявить награду в размере 3500 долларов тому, кто сможет доказать предвзятость алгоритмов Twitter.

Чтобы понять, на чём фокусируются алгоритмы, Кулыныч при помощи ИИ-программы StyleGAN2 для генерации большого числа реалистичных лиц cоздал несколько рядов с лицами, которые отличались лишь по цвету кожи, женственным или маскулинным чертам лиц и полноте.

В результате проверки на искусственно сгенерированных лицах он выяснил, что алгоритмы чаще выбирают худые лица молодых людей со светлой кожей. Кулыныч подчеркнул, что «алгоритмический вред — это не просто баги».

По его словам, имеет важность то, что много вредных технологий «вредны не из-за непреднамеренных ошибок, а скорее по замыслу». Он уверен, что это происходит «от желания максимизировать выгоду для себя и затраты для других».