Sony работает над ИИ-технологией, которая позволит персонажам видеоигр взаимодействовать с игроками и поддерживать с ними разговор. Утечкой поделились в The Verge — видео с работой технологии прислал анонимный источник.
На видео с комментариями от директора по разработке ПО в Sony Interactive Entertainment показан прототип ИИ-версии с Элой из Horizon Forbidden West — ей управляет ИИ, который также позволяет персонажу отвечать на вопросы игрока.
Видеоролик выложили на YouTube, но после публикации The Verge его удалили из-за иска о нарушении авторских прав PlayStation.
На видео показали только прототип технологии, над которой работают в Sony. «Это всего лишь проблеск того, что возможно», — говорит директор по разработке ПО.
«Эта техническая демонстрация не отвечает на более очевидные вопросы о том, имеет ли вообще смысл разговаривать с Элой, когда вы должны играть за неё в Horizon Forbidden West, или какое влияние такая технология может оказать на актёров озвучивания и разработчиков игр»— The Verge
Для работы прототипа используется несколько ИИ-моделей:
- Whisper от OpenAI для преобразования речи в текст.
- GPT-4 и Llama 3 для разговоров и принятия решений.
- Собственная система Sony синтеза эмоциональной речи (EVS), которая используется для генерации речи.
- Анимация лица на основе аудио выполняется с помощью собственной технологии Sony под названием Mockingbird.
Демонстрацию для видео проводили на ПК, но, по словам специалистов Sony, компания также работает над запуском технологии непосредственно на PS5.