Компания Google представила свой новый ИИ для создания видео под названием Lumiere. Это не коммерческий продукт, а исследовательский проект для отработки инновационных технологий. На текущем этапе он не имеет ограничений, которые накладывают законодательство и общественные нормы на работу генеративных сетей, а потому и результат на диво хорош.
В основе Lumiere лежит «пространственно-временная архитектура U-net», которая формирует структуру видео сразу на всем его протяжении. Это в корне отличается от классического подхода, когда ИИ генерирует начальный и конечный кадры, а потом пытается угадать, чем заполнить пространство между ними. Lumiere создает видео длительностью всего в 5 секунд, но они удивительно реалистичные — или сюрреалистичные, в зависимости от изначальных настроек.
Языковая модель Lumiere позволяет ему интерпретировать текстовые инструкции пользователей с высокой точностью понимания. Он может анимировать статичные картинки, добавлять или удалять объекты и персонажей из видео, угадывать скрытые части изображений. ИИ может скопировать стили или сюжет исходного контента и создать на его основе множество самых разных версий.