Интерактивная генеративная видеомодель Genie 3 от Google приближает нас к Holodeck
DeepMind, исследовательская лаборатория Google в области искусственного интеллекта, объявила о выпуске Genie 3 — новой системы искусственного интеллекта, способной создавать интерактивные виртуальные среды в режиме реального времени и приближающей нас к Holodeck.
В обновлении DeepMind Google сообщает, что с помощью простого текстового запроса Genie 3 может создавать динамичные сцены с возможностью навигации, которые воспроизводятся с частотой 24 кадра в секунду в разрешении 720p.
Конечно, Genie 3 можно использовать только на плоских мониторах, поэтому неизвестно, когда мы получим что-то подобное для VR-гарнитур. Например, дисплей гарнитуры Quest 3 имеет разрешение 2064 × 2208 пикселей на глаз и базовую частоту обновления 90 Гц, что, как обычно, ставит виртуальную реальность на самый крайний уровень производительности.
Однако это, несомненно, пророческий взгляд на будущее. В отличие от статичных или предварительно отрендеренных симуляций, Google заявляет, что модель генерирует каждый кадр «на лету», что обеспечивает более быстрое взаимодействие с пользователем и обратную связь с окружающей средой.
Более того, по словам Google, эти сгенерированные миры могут оставаться визуально и физически согласованными в течение нескольких минут, поскольку система сохраняет своего рода кратковременную память для отражения прошлых действий.
Genie 3 также способен моделировать широкий спектр сценариев, включая естественные среды, исторические локации, а также вымышленные и анимированные миры. При этом пользователи могут запускать «события в мире», внося изменения в мир с помощью текстовых команд, например, изменять погоду или добавлять новые объекты. Помимо увлекательного воссоздания Осаки XIX века или запуска гидроцикла в каналах Амстердама, Google заявляет, что Genie 3 также станет инструментом для обучения искусственного интеллекта с потенциалом применения в таких областях, как робототехника, игры и исследования общего искусственного интеллекта.
На данный момент существует несколько ограничений. Google заявляет, что Genie 3 в настоящее время имеет ограниченное «пространство действий» для агентов и испытывает трудности с точным моделированием многоагентного взаимодействия в общих средах. Под «агентами» компания подразумевает системы искусственного интеллекта, которые работают автономно в виртуальных средах, принимая решения, выполняя действия и обучаясь на собственном опыте.
Кроме того, проект сталкивается с трудностями в имитации реальных локаций с «идеальной географической точностью», чёткой визуализацией текста и поддержанием длительных взаимодействий, превышающих несколько минут.
Тем не менее, это довольно впечатляющий скачок по сравнению с неинтерактивными видеороликами, которые мы видим сейчас в интернете, многие из которых довольно сложно отличить от настоящих. Симуляции поедания спагетти Уиллом Смитом будут становиться все более реалистичными, а с такими системами, как Genie 3, еще и интерактивными.