尽管 OpenAI 近期关闭了 Sora 应用程序,似乎正在缩减其在视频生成领域的投入,但字节跳动于周四确认,其最新的音视频模型 Dreamina Seedance 2.0 正开始在旗下的视频编辑平台剪映(CapCut)中推广。
字节跳动表示,该模型允许创作者通过输入提示词、上传图片或使用参考视频,来快速起草、编辑并同步音视频内容。
此次推广将分阶段进行,首批面向巴西、印度尼西亚、马来西亚、墨西哥、菲律宾、泰国和越南的剪映用户开放,后续将逐步拓展至更多市场。
此次在剪映上的发布消息,是在此前有报道称该模型的全球推广将因知识产权问题而暂停之后传来的。此前,该模型因涉嫌侵犯版权而遭到好莱坞的批评,字节跳动正在努力解决这些问题。这很可能解释了为何目前该模型在剪映中仅能在有限的市场使用。
在中国,该模型已可供字节跳动旗下“剪映”应用的用户使用。
字节跳动在公告中表示,该视频生成模型无需参考图像即可工作,即使创作者只用寥寥数语描述他们脑海中的场景。剪映还擅长渲染各种视觉视角和角度下的逼真纹理、动作和光影,公司指出,这可用于编辑、增强或修正创作者自己的素材。
另一个应用场景是,允许创作者在拍摄真实视频之前,根据初步概念或草图来测试潜在创意。
此外,字节跳动解释称,Dreamina Seedance 2.0 还可用于多种内容创作,包括烹饪食谱、健身教程、商业或产品概览,以及包含运动或以动作为主的内容的视频,而这些正是 AI 视频模型历来面临挑战的领域。
在发布之初,该模型支持长达 15 秒的短片,并提供六种宽高比。
在剪映中,该模型将应用于不同领域,包括 AI 视频等编辑功能,以及视频工作室等生成工具。它还将登陆字节跳动的 AI 生成平台 Dreamina 及其营销平台 Pippit。
鉴于其能够创建逼真的内容,字节跳动表示已添加了安全限制,因此该模型将无法根据包含真实人脸的图像或视频制作新视频。剪映还将阻止未经授权生成知识产权内容的行为。(然而,如果这些限制措施运行正常,该模型现在应该已经在美国可用。很可能,字节跳动仍在进行更多调整。)
字节跳动还补充道,由 Dreamina Seedance 2.0 生成的内容将包含一个隐形水印,这将有助于在内容被分享到平台之外时识别其来源。如果该模型允许受版权保护的内容通过,这有助于版权所有者发出下架请求等操作。
字节跳动表示,随着模型的推广,它将与专家和创意社区合作,不断迭代和提升模型的能力。