火山引擎:Seedance 2.0 上线火山方舟体验中心,API 即将开放

2 月 12 日消息,据火山引擎官方微信公众号消息,今天,豆包视频生成模型 Seedance 2.0 正式上线火山方舟体验中心。

2 月 12 日消息,据火山引擎官方微信公众号消息,今天,豆包视频生成模型 Seedance 2.0 正式上线火山方舟体验中心。

Seedance 2.0 采用多模态音视频联合生成架构,支持文字、图片、音频、视频四种模态输入,集成了目前业界最全面的多模态内容参考能力。

相比 1.5 版本,Seedance 2.0 的生成质量大幅提升,其在复杂交互和运动场景下的可用率更高,物理准确度、逼真度、可控性显著增强,更加贴合工业级创作场景的需求。

企业和个人用户可以在火山方舟体验中心体验 Seedance 2.0:基于火山方舟素材库,选择多张图片、多段视频和音频作为参考素材,选取模板 prompt 或简单描述你想生成的场景,就可以快速体验多模态参考生视频的能力。

Seedance 2.0 的 API 服务,预计将在二月中下旬上线火山方舟。

IT之家附官方介绍如下:

多模态参考素材输入,创作更简单

Seedance 2.0 支持多模态全能参考,支持最多 9 张图片、3 段视频、3 段音频,最长可生成 15 秒时长。

其中,参考图生视频可精准锁定主体、元素、场景,还原画面构图、角色细节;参考视频生视频可参考输入素材的镜头语言、运镜、复杂动作、音效等。这意味着,企业现有的任何数字资产,产品图、广告片、品牌音乐、角色资产等,都能成为创作的起点。

Seedance 2.0 还可以同时处理混合模态的输入信息。比如输入环境和人物主体图片,搭配音乐生成模型制作的一段歌曲,Seedance 2.0 就能生成 MV,歌手的口型、鼓手的打击动作都与音乐完美匹配。

真实还原物理规律,复杂场景下更高可用率

Seedance 2.0 画面真实感大幅提升,运动轨迹符合物理规律,在多主体交互和复杂运动场景中表现出色,生成可用率达到业界领先水平。比如生成体操运动员比赛视频,运动员的动作流畅自然,同时符合重力、惯性、人体力学等物理规律。

精准遵循生成和编辑指令,视频生成更可控

Seedance 2.0 拥有非常强大的指令遵循能力,能精准还原复杂脚本,保持稳定的主体一致性。同时,模型还具备一定的编导思维,可自主规划镜头语言,并设计视觉呈现。

例如,使用 Seedance 2.0 生成水墨长镜头视频,模型能精准理解包含风格、特效、运镜、时序动作等细节的复杂创作指令,不仅完美呈现写意质感,还精准实现从升空、穿越云雾到掠水停落的流畅镜头调度,让创意完整落地,真正做到所想即所见。

同时,基于参考视频生视频能力,Seedance 2.0 具备视频编辑能力,支持对指定片段、角色、动作或剧情进行定向修改。模型还提供了视频延长功能,可按用户提示生成连续镜头,不止擅长生成,还能“接着拍”。

基于上述能力升级,Seedance 2.0 大幅降低了专业内容的制作门槛,能够替代复杂的特效制作和实拍流程,大幅度降低专业音视频内容的制作成本,缩短生产周期,可广泛应用于电商、广告营销、影视创作、短剧漫剧、在线教育等行业。

版权声明:本站文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明出处!

评论加载中...