昆仑万维开源面向 AI 短剧创作的视频生成模型 SkyReels-V1
昆仑万维宣布开源中国首个面向AI短剧创作的视频生成模型SkyReels-V1、中国首个SOTA级别基于视频基座模型的表情动作可控算法SkyReels-A1。
根据介绍，SkyReels-V1可实现影视级人物微表情表演生成，支持33种细腻人物表情与400+种自然动作组合，高度还原真人情感表达。以及电影级光影美学，基于好莱坞级的高质量影视数据训练，当前SkyReels生成的每一帧画面，在构图、演员站位、相机角度等都具备电影级的质感。
SkyReels-V1不仅支持文生视频、还能支持图生视频，是开源视频生成模型中参数最大的支持图生视频的模型，在同等分辨率下各项指标实现开源SOTA。
具体来说，SkyReels-V1可以实现：
- 影视化表情识别体系：11种针对影视戏剧中的人物表情理解，如不屑、不耐烦、无助、厌恶等表情的理解；
- 人物空间位置感知：基于人体三维重建技术，实现对视频中多人的空间相对关系理解，助力模型生成影视级人物站位；
- 行为意图理解：构建超过400种行为语义单元，实现对人物行为的精准理解；
- 表演场景理解：实现人物-服装-场景-剧情的关联分析。
昆仑万维方面表示，SkyReels-V1不仅是全球极少数开源的视频生成模型，还是围绕人物表演、开源视频生成模型中性能最强的。
在自研推理优化框架「SkyReels-Infer」的加持下，大幅提升推理效率，实现544p分辨率，推理基于单台4090只需80s，还支持分布式多卡并行，支持Context Parallel，CFG Parallel，和 VAE Parallel。此外，采取fp8 quantization以及parameter-level offload，满足低显存用户级显卡运行需求；支持flash attention、SageAttention，模型编译优化等，进一步优化延迟；基于开源diffuser库，提升易用性。
在同等RTX4090资源情况下对比(4卡)，SkyReels-Infer版本比HunyuanVideo官方版本端到端延迟减少58.3%(293.3s vs 464.3s)；SkyReels-Infer版本具备更鲁棒的部署策略，支持用户级别显卡1卡-8卡的推理部署。
在同等A800资源情况下对比，SkyReels-Infer版本比HunyuanVideo官方版本端到端延迟减少14.7%～28.2%，SkyReels-Infer版本具备更鲁棒的多卡部署策略。
而SkyReels-A1则对标Runway的Act-One，支持视频驱动的电影级表情捕捉，实现高保真微表情还原。
SkyReels-A1能够基于任意人体比例（包括肖像、半身及全身构图）生成高度逼真的人物动态视频，其真实感源自对人物表情变化和情绪的精准模拟、皮肤肌理、身体动作跟随等多维度细节的深度还原。
