继豆包图像模型攻克汉字生成的难题后,国内AI视频生成领域在中文生成方面再次来了新突破!
今年年初,阿里云推出了全新升级的的视频生成模型——通义万相2.1。据了解,这是⌈ 首个具备中文文字生成能力的视频生成模型 ⌋ 。
通义万相2.1视频模型一经推出,便以 84.70% 总分登顶权威评测榜单VBench榜首。除了中文文字生成的创新,该模型在复杂运动、大幅度动作生成、还原真实世界物理规律等方面都有了都有显著提升。
实测模型效果:
下面我们重点实测通义万相2.1视频模型在文字生成方面的表现:
1、中文单字生成
提示词:天空中飘着云朵,逐渐呈现出“福”字,微风吹过,云朵随着风轻轻飘动。
(准确生成)
同样的提示词分别用Kling(可灵)和Runway测试了一下,生成的效果是这样的:
Kling可灵:即使单个中文文字也无法生成,不过天空效果还是挺逼真的
Runway:生成了三个不明字体
2、中文多文字生成
提示词:中文文字“梦想成真”以金色的烟花效果在夜空中绽放,背景是星空。
(中文多文字生成也没问题)
3、中英文混合生成
提示词:以宣纸为背景,中英文字“你好hello”逐渐出现,背景要高级简洁。
(中英文字混合也准确生成,并且文字不是静止而是混合了运动效果)
4、更多效果:
除了文字生成,该模型在大幅度运动生成方面的效果也很不错:
提示词:一位舞者在舞台上旋转,裙摆随着动作飞舞,灯光随着节奏闪烁,地面有轻微的灰尘被扬起
(即使是大幅运动,人物肢体也没有出现扭曲的情况)
在同一提示词下,Runway生成效果是这样的:
(人物的右手在初始就出现轻微扭曲)
如何在302.AI上使用:
302.AI提供按需付费无订阅的服务方式,用户可按业务需求灵活选择使用。
使用模型生成视频
1、登录302.AI后,点击左侧菜单栏选择全能工具箱→快捷使用,即可快速进入工具箱页面。
2、进入后依次点击:工具超市→视频相关→AI视频生成器
3、选择模型,以上模型实测使用的是通义万相-Turbo模型。
通义万相-Turbo:对应的是官方的极速版本;
通义万相-Plus:对应的是官方专业版;
4、输入提示词后点击【生成视频】,并等待页面右侧的效果出现:
使用模型API
企业用户可以通过302.AI的API超市快速、便捷地调用模型,相关文档如下:
进入工具箱页面后依次点击:API超市→视频生成→ 通义万相→查看文档
开源链接:
AI视频生成器已经在Github上开源,有需求的用户可以在此基础上二次开发或本地化部署,以实现更贴合自身业务的功能拓展。