Stability AI 开源视频生成模型 Stable Video Diffusion

Stability AI 发布了开源视频生成模型 Stable Video Diffusion，该模型基于该公司现有的 Stable Diffusion 文本转图像模型，能够通过对现有图像进行动画化生成视频。

主要特性

• 文本到视频
• 图像到视频
• 14 或 25 帧，576 x 1024分辨率
• 多视图生成
• 帧插值
• 支持3D 场景
• 通过 LoRA 控制摄像机

Stable Video Diffusion 提供两个模型，分别为 SVD 和 SVD-XT。其中，SVD 将静止图像转换为 14 帧的 576x1024 视频，而 SVD-XT 在相同的架构下将帧数提升至 24。

两者都能以每秒 3 到 30 帧的速度生成视频。白皮书显示，这两个模型最初在数百万个视频的数据集上进行训练，然后在数十万到百万数量级的较小数据集上进行“微调”。

Stability AI 称正在开发一个新的网络平台，包括一个文本到视频的界面。这个工具将展示Stable Video Diffusion在广告、教育、娱乐等多个领域的实际应用。

开源地址

• GitHub：https://github.com/Stability-AI/generative-models
• 论文：https://stability.ai/research/stable-video-diffusion-scaling-latent-video-diffusion-models-to-large-datasets
• HuggingFace：https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt