Представитель проекта Anemll рассказал, что смог запустить на iPhone 17 Pro полноценную нейронную модель Flash-MoE с 400 млрд параметров. Даже сжатая версия этой модели потребляет минимум 200 ГБ оперативной памяти, поэтому разработчикам пришлось пойти на ухищрения.
Вместо того чтобы загружать всю LLM в память, что было бы невозможно, так как iPhone 17 Pro поставляется с 12 ГБ ОЗУ, Flash-MoE использует SSD устройства для прямой трансляции на GPU. Термин MoE означает модель Mixture-of-Experts, поэтому для каждого генерируемого слова требуется лишь часть из 400 млрд параметров.
Со всеми этими трюками 17 Pro смог генерировать лишь 0,6 токена в секунду — это примерно одно слово в две секунды. Поэтому говорить об удобном использовании модели не приходится. Также, очевидно, такой сценарий значительно сокращает срок службы встроенного SSD и даёт максимальную нагрузку на аккумулятор. Тем не менее это демонстрирует производительность современных мобильных устройств.