智谱清影AI视频还在内测阶段,背后的模型CogVideoX 突然宣布开源?!

近日,国外的AI视频生成模型竞争依然在不断升温,国内的AI视频模型赛道也迎来了前所未有的“内卷”潮。

7月26日,智谱清影(Ying)AI视频生成工具正式上线,这款由智谱AI推出的视频生成工具,允许用户通过输入文本描述或上传图片,在大约30秒内生成一段6秒长的视频。

而在8月6日,智谱AI宣布清影背后的视频生成模型——CogVideoX正式开源。

或许很多人看到这里就会发出疑问,智谱清影和CogVideoX是什么关系?下面来说一下:

CogVideoX:这是智谱AI自研的视频生成模型的技术基础。CogVideoX模型采用了Diffusion Transformer架构,能够将文本、时间和空间三个维度融合起来,生成具有连贯性和逻辑一致性的视频内容。它是一个技术平台,为视频生成提供底层支持。

智谱清影AI:智谱清影AI是智谱AI推出的一款AI视频生成工具,具有文生视频和图生视频的功能。它依托于智谱AI自研的新一代视频生成大模型技术CogVideoX,能够根据用户输入的文本或上传的图片生成视频内容。

简单地理解:CogVideoX相当于视频生成领域的“GPT-4o”,它是一个自研的视频生成大模型,提供了视频内容生成的核心技术。智谱清影AI则是基于CogVideoX技术的应用产品,类似于“ChatGPT”。

因此,在智谱清影AI生成的视频内容,均是来自CogVideoX技术,下面来看看效果视频:

首先是镜头推拉的效果,船是随海浪移动的,可以看到整体基本连贯的:

智谱清影AI视频还在内测阶段,背后的模型CogVideoX 突然宣布开源?!

提示词:一艘帆船被海浪打翻,紧张刺激的镜头,4K高清,电影质感,水平旋转镜头拍摄

接下来看下人物近景视频生成,这对于AI视频生成来说是比较有技术的,人物的表情是很细微复杂的,可以看到这一视频中嘴角微微抖动这种细节很真实,但是老人的眼球稍微的不太流畅:

智谱清影AI视频还在内测阶段,背后的模型CogVideoX 突然宣布开源?!

提示词:一位白发苍苍、满脸皱纹的老妇人坐在一辆老旧的模型车里,从侧窗向外望去,脸上带着沉思或略带悲伤的表情。

再来看一个3D动画视频生成,小编个人挺喜欢这种3D动画风的,但是可以看到在处理人物动作时缺乏物理逻辑,女生眨眼的时候眼部的不连贯:

智谱清影AI视频还在内测阶段,背后的模型CogVideoX 突然宣布开源?!

提示词:动画场景,展示一个男生和一个女生在一棵大树下约会,3d风格,需要注重画面的细节,画面中两个人的神情有些害羞,还有一只小狗蹲在旁边,表现出天真的样子。温暖的颜色和氛围的灯光。

以上都是文生视频的视频效果,CogVideoX除了文生视频,还支持图生视频,来看下视频,华妃的好像突然变得温柔了,但是仔细看可以发现手的部位还是出现了一样问题:

智谱清影AI视频还在内测阶段,背后的模型CogVideoX 突然宣布开源?!

提示词:对着镜头微笑,拿着手帕捂嘴

看了这么多的视频效果,那CogVideoX的原理是怎么样的呢,其中CogVideoX采用了3D Causal Variational Autoencoder(变分自编码器),一种用于视频重建和压缩的技术,能够几乎无损地重构视频,减少存储和计算需求。

在3DVAE中,编码器将视频转换成简化的代码,而解码器根据这些代码重建视频,潜在空间正则化器确保编码和解码之间的信息传递更准确。

智谱清影AI视频还在内测阶段,背后的模型CogVideoX 突然宣布开源?!

CogVideoX的训练过程采用混合时长训练与多阶段训练,允许模型学习不同长度的视频,提高泛化能力。同时CogVideoX的训练分为几个阶段,包括低分辨率预训练、高分辨率预训练和高质量视频微调,逐步提升模型的生成质量和细节。

一般来说,想要使用AI模型的API,需要自己上网找源代码资源,下载后还要设置所需的运行环境,包括操作系统、编程语言版本、数据库等一系列繁琐部署,时间和资源消耗相对较大,且开源模型社区更新,需要用户自己跟踪和实现这些更新,这可能导致额外的维护工作。

而302.AI的API超市提供多种不同类型的API,且分类清晰,开发者能快速找到所需的API,比如CogVideoX的API,在API分类中找到【视频生成】类目即可看到,支持在线调试,还会持续维护和更新模型,用户只需使用最新的API版本,即可享受最新的技术成果。

智谱清影AI视频还在内测阶段,背后的模型CogVideoX 突然宣布开源?!

CogVideoX有两种生成视频方式,一个是【文字生成视频】另一个是【图片生成视频】,302.AI的API超市同时提供了这两种生成方式的API,还提供了详细的API文档,能够帮助开发者快速上手并正确地集成API,通过302.AI的API超市,还能快速接入CogVideoX的视频生成功能。

智谱清影AI视频还在内测阶段,背后的模型CogVideoX 突然宣布开源?!

智谱清影AI视频虽仍处于内测阶段,但其同源模型CogVideoX的突然开源着实令人惊讶。这一出人意料的举动无疑将AI视频领域的竞争推向了新的高度。但是无论如何,这种良性竞争和多元化的发展路径,都是能够推动AI视频生成技术向前迈进的,尽管CogVideoX目前还不完美,但我们相信随着不断的迭代和优化,它将为我们带来更多创新和突破。

参考文章:https://github.com/THUDM/CogVideo/blob/main/resources/CogVideoX.pdf

Like (0)
302.AI302.AI
Previous 2024 年 8 月 8 日 下午6:53
Next 2024 年 8 月 13 日 下午6:23

相关推荐

  • 13.8和13.11哪个大这都能吵起来?不如先来看看AI模型的数学能力怎么样

    7月13日,最新一期的《歌手》公布排名,孙楠得票13.8%,外国歌手香缇莫得票13.11%,以微小的分数差距引发网友热议:13.8和13.11哪个大? 看了一下评论,居然有不少网友认为是13.11比13.8大,顺带在评论区分析了一番。看到评论的小编,有那么一瞬间以为他们在玩抽象。怪不得网友戏称这一群认为13.11更大的人是“九年义务漏网之鱼”,毕竟这是小学的…

    2024 年 7 月 22 日
    38900
  • 资讯丨MINIMAX发布abab7-preview模型,数学编程能力不足但推理长文理解表现都不错?!

    11月初,MINIMAX发布了新款abab7-preview模型,该模型支持245K上下文,相对于abab6.5系列模型在长文、数学、写作等能力有大幅度提升。 根据网上搜索到的关于abab7-preview模型的资料并不多,想要进一步了解这一模型,可以通过实测看看真实的表现。 > 在302.AI上使用 目前,302.AI已经提供了abab7-previ…

    2024 年 12 月 18 日
    14400
  • 资讯丨首个支持多主体一致性的大模型Vidu 1.5,在302.AI上玩到停不下来!

    11中旬,生数科技推出了最新AI视频生成模型Vidu 1.5版本,并声称这一版本模型为“全球首个支持多主体一致性的大模型”。 先简单理解下多主体一致性的意思,多主体一致性即多个主体如人物、物体、场景等,在不同场景、不同镜头下的形象、特征和行为都是连贯和一致的。更简单地说,就是视频里的每个角色或物体在不同时间和不同地点都能保持他们的特征和行为,使得整个视频看起…

    2024 年 12 月 19 日
    34100
  • 开发故事丨302.AI新工具:AI头像制作的过程和原理解析

    最近302.AI上线了一款新的AI工具——AI头像制作,这一工具能够根据用户提供的人物照片,生成人物一致的多种风格的头像。这些风格包括但不限于复古风、未来感、卡通化、艺术抽象等,还可以自定义风格。今天就给大家分享一下这个工具开发背后的故事,希望可以对相关方向的开发者有一些启发和帮助。 试用一下: 先来看下如何获取并使用这一工具,以下是具体的步骤: 1、进入3…

    2024 年 11 月 13 日
    38100
  • Ideogram推出2.0版本,连Midjourney都感受到了压力?看看到底有多厉害?!

    8月21日,由Ideogram团队倾力打造的创新型文本生成图像模型 Ideogram 2.0正式发布。 其实早在今年2月,Ideogram团队就发布了Ideogram模型1.0版本,但是其在AI生图领域并未引起太大波澜,但在这一次 Ideogram 2.0版本发布后,Ideogram官方直接在社交媒体平台自信宣称,这一版本比FLUX Pro和DALL·E3要…

    2024 年 8 月 26 日
    41300

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注