У пользователей нейросети Сбера Kandinsky 2.2 появилась возможность создавать видеоролики по текстовому описанию в режиме анимации. По одному текстовому описанию генерируется четырехсекундное видео c выбранным эффектом анимации, с частотой 24 кадра в секунду и разрешением 640x640 пикселей. Синтез одной секунды видео в среднем занимает около 20 секунд.
Генерация анимационных видеороликов работает в тестовом режиме и доступна самым активным пользователям Kandinsky 2.2, которые получат приглашение в ближайшее время. До конца года оценить новые возможности нейросети смогут абсолютно все. Те пользователи, которые хотят попробовать новые возможности модели сейчас, могут оставить заявку на получение доступа в Telegram-боте.
Для того чтобы сгенерировать видео в режиме анимации, нужно описать текстом то, что хочется увидеть. Далее бот предложит на выбор 16 вариантов анимации сцены, а после этого нейросеть сгенерирует анимированный видеоролик. Также доступна генерация составных сцен: пользователь может ввести несколько текстовых описаний (до трех), затем выбрать для каждого свою механику анимации, а после этого модель создаст «мини-фильм».
«С момента выхода модели Kandinsky 2.2 пользователи уже сгенерировали более 50 миллионов изображений. Теперь у них появилось еще больше возможностей для творчества совершенно бесплатно. Сегодняшний запуск видео-функции в режиме анимации — это важный шаг в развитии нашей нейросети и для всей глобальной индустрии мультимодальных моделей искусственного интеллекта. Мы продолжим и дальше совершенствовать Kandinsky, и в следующих обновлениях качество будет только улучшаться», — отметил первый заместитель председателя правления Сбербанка Александр Ведяхин.
Нейросеть разработали и обучили исследователи Sber AI совместно с учеными из Института искусственного интеллекта AIRI на объединенном датасете Sber AI и компании SberDevices.