Исследователи сервиса потокового воспроизведения музыки Deezer разработали искусственный интеллект, способный определять настроение и интенсивность музыкальных композиций. Соответствующая работа была опубликована на arXiv.org.

Для определения настроения треков исследователи учли как аудиосигнал, так и тексты песен. Сперва они подают звуковые сигналы в нейронную сеть вместе с моделями, которые реконструируют лингвистический контекст слов.

Затем в целях обучения ИИ получает базу Million Song из метаданных более одного миллиона современных аудиокомпозиций. В частности, специалисты из Dezeer задействовали базу Last.fm, в которой трекам присваиваются идентификаторы из более чем 500 тысяч уникальных тегов.

База Million Song содержит только метаданные, а потому исследователи связали полученную информацию с каталогом Dezeer посредством идентификаторов, как название песни, альбома и исполнителя. Порядка 60 процентов полученного набора данных (18 644 трека) были использованы для тренировки ИИ, а остальные 40 процентов будут использованы для проверки и дальнейшего тестирования.

Проделанная работа поможет изучить, как музыка, тексты и настроение песен коррелируют между собой.