C выходом iOS 16.2, стала доступна функция Sing в Apple Music, которая позволяет регулировать громкость вокала, а также привносит более продвинутые синхронизированные тексты песен. Как на самом деле работает эта технология «за кулисами»? И почему функцию не получат iPhone X, XR и XS? Об этом в данной коротенькой статье.

Материал подготовлен читателем Rozetked. Стилистика сохранена, откорректирована только грамматика и оформление. 

Как это могло быть реализовано

Компания Apple могла бы «прогнать» все 100 миллионов треков через специальные алгоритмы, убрать у них вокал и затем загрузить к себе на сервера копию этих треков, но без вокала. Это бы значительно увеличило занимаемое место, как на серверах Apple Music, так и на самих устройствах прослушивания. Поэтому компания пошла по другому пути.

Как это было реализовано

Компания Apple решила задействовать мощности непосредственно того устройства, которое запрашивает караоке-версию песни. Вместе с обновлением iOS 16.2, устройство получает обученную нейронную сеть, которая способна использовать мощность нейронного движка внутри чипа для превращения обычной песни в караоке-версию. 

Это значит, что даже те песни, которые уже скачаны на устройстве, также получат караоке-версию, при этом совсем не занимая места. Конвертация песни происходит непосредственно при нажатии на кнопку «Караоке», на iPhone 13 это занимает меньше секунды.

Если песня воспроизводится в формате Dolby Atmos, то при включении режима «пение», песня переключится в формат стерео. Сделают ли иначе в будущем — неизвестно.

Каковы плюсы и минусы такого подхода?

Среди плюсов можно выделить следующее:

• Устройству не требуется подключение к интернету, чтобы скачать «специальную» караоке-версию песни
• Караоке-версия песни не занимает места на устройстве

Среди минусов можно выделить следующее:

• При «создании» караоке версии тратится немного больше энергии, так как происходят нейронные вычисления, что весьма энергоёмкий процесс. Эти слова можно подтвердить тем, что при включенной функции энегросбережения iPhone не позволит включить функцию управления вокалом. Но слишком переживать за заряд аккумулятора не стоит: современные процессоры Apple уже давно научились энергоэффективно работать с вычислениями для нейронных сетей.

• Старые устройства и Android-устройства не получат эту функцию, так как к ней достаточно высокие системные требования, в основном — из-за нейронных сетей.

Именно поэтому эта функция, по информации TechCrunch, будет доступна на iPhone 11 и выше, iPad Pro на 11" (третьего поколения и выше), iPad Air (четвёртого поколения и выше), iPad mini (шестого поколения и выше), iPad (девятого поколения и выше) и Apple TV 4K (третьего поколения и выше).

По всей видимости, более старые устройства (iPhone X, XR, XS) не подходят для такого рода нейронных вычислений, поскольку тратили бы слишком много ресурсов на создание караоке-версий песен.