Skip to content
国内首个人人可用的国产Sora「清影」，已经引起了AI视频圈的轰动！才发布6天，生成视频数就已经破百万。并且，智谱AI也将同源的视频生产模型CogVideoX，一并开源了。
7月26日，智谱发布AI 生视频产品「清影」，30秒将任意文图生成视频，并上线在他们的AI助手「智谱清言」上，被誉为是国内首个人人可用的Sora。
就在发布6天后，「清影」生成到视频数便已突破了百万量级。
今天，智谱AI宣布将与「清影」同源的视频生成模型——CogVideoX正式开源。
团队表示，希望每一位开发者、每一家企业都能自由地开发属于自己的视频生成模型，从而推动整个行业的快速迭代与创新发展。
打开AI助手「智谱清言」即可体验
随着大型模型技术的持续发展，视频生成技术正逐步走向成熟。
以Sora、Gen-3等闭源视频生成模型为代表的技术，正在重新定义行业的未来格局。
然而，截至目前，仍未有一个开源的视频生成模型，能够满足商业级应用的要求。
CogVideoX系列包含多个不同尺寸大小的开源模型。目前已经开源的CogVideoX-2B，提示词上限为226个token，视频长度为6秒，帧率为8帧/秒，视频分辨率为720×480。它在FP-16精度下的推理仅需18GB显存，微调则只需要40GB显存。这意味着单张4090显卡即可进行推理，而单张A6000显卡即可完成微调。
代码仓库：https://github.com/THUDM/CogVideo
模型下载：https://huggingface.co/THUDM/CogVideoX-2b
技术报告：https://github.com/THUDM/CogVideo/blob/main/resources/CogVideoX.pdf目前，该项目已在GitHub上斩获了3.8k星。
下面，我们就来看看CogVideoX生成的效果到底如何？
一个木制玩具船，在模拟海浪的蓝色地毯上航行，宛如在真的海水行驶一般。
A detailed wooden toy ship with intricately carved masts and sails is seen gliding smoothly over a plush, blue carpet that mimics the waves of the sea. The ship’s hull is painted a rich brown, with tiny windows. The carpet, soft and textured, provides a perfect backdrop, resembling an oceanic expanse. Surrounding the ship are various other toys and children’s items, hinting at a playful environment. The scene captures the innocence and imagination of childhood, with the toy ship’s journey symbolizing endless adventures in a whimsical, indoor setting.
一辆白色越野车沿着松树环绕的陡峭土路快速行驶，可以看到车尾的尘土飞扬。
其实这个场景对于AI来说，相对较难，只有正确理解了物理世界，才不会让生成的尘土在车前扬起。
The camera follows behind a white vintage SUV with a black roof rack as it speeds up a steep dirt road surrounded by pine trees on a steep mountain slope, dust kicks up from it’s tires, the sunlight shines on the SUV as it speeds along the dirt road, casting a warm glow over the scene. The dirt road curves gently into the distance, with no other cars or vehicles in sight. The trees on either side of the road are redwoods, with patches of greenery scattered throughout. The car is seen from the rear following the curve with ease, making it seem as if it is on a rugged drive through the rugged terrain. The dirt road itself is surrounded by steep hills and mountains, with a clear blue sky above with wispy clouds.
下面这幅在战乱中，人物表情细节的刻画，细腻丰富。
In the haunting backdrop of a war-torn city, where ruins and crumbled walls tell a story of devastation, a poignant close-up frames a young girl. Her face is smudged with ash, a silent testament to the chaos around her. Her eyes glistening with a mix of sorrow and resilience, capturing the raw emotion of a world that has lost its innocence to the ravages of conflict.
针对更宏观的场景，CogVideoX也能将白雪皑皑的森林、无人穿梭的宁静小路，生动地描绘出来。
A snowy forest landscape with a dirt road running through it. The road is flanked by trees covered in snow, and the ground is also covered in snow. The sun is shining, creating a bright and serene atmosphere. The road appears to be empty, and there are no people or animals visible in the video. The style of the video is a natural landscape shot, with a focus on the beauty of the snowy forest and the peacefulness of the road.
舌尖上的美食，还得看国产AI视频模型。烧烤架上烤制的鸡肉和青椒烤串，让人看了垂涎欲滴。
Extreme close-up of chicken and green pepper kebabs grilling on a barbeque with flames. Shallow focus and light smoke. vivid colours
CogVideoX
见识到CogVideoX惊艳视频生成能力，你一定非常好奇这是怎么做到的？
VAE
视频数据因包含空间和时间信息，其数据量和计算负担远超图像数据。
为应对此挑战，团队提出了基于3D变分自编码器（3D VAE）的视频压缩方法。
其中，3D VAE通过三维卷积同时压缩视频的空间和时间维度，实现了更高的压缩率和更好的重建质量。
模型结构包括编码器、解码器和潜在空间正则化器，并通过四个阶段的下采样和上采样实现压缩。
时间因果卷积确保了信息的因果性，减少了通信开销。而上下文并行技术的采用，则可以适应大规模视频处理。
实验中，团队发现大分辨率编码易于泛化，而增加帧数则挑战较大。
因此，可将分两阶段训练模型：- 首先在较低帧率和小批量上训练；
– 然后通过上下文并行在更高帧率上进行微调。
训练损失函数结合了L2损失、LPIPS感知损失和3D判别器的GAN损失。
专家Transformer
团队使用VAE的编码器将视频压缩至潜在空间，然后将潜在空间分割成块并展开成长的序列嵌入z_vision。
同时，使用T5将文本输入编码为文本嵌入z_text，然后将z_text和z_vision沿序列维度拼接。拼接后的嵌入被送入专家Transformer块堆栈中处理。
最后，反向拼接嵌入来恢复原始潜在空间形状，并使用VAE进行解码以重建视频。
数据
视频生成模型训练需筛选高质量视频数据，以学习真实世界动态。但视频可能因人工编辑或拍摄问题而不准确。
为此，团队开发了负面标签来识别和排除低质量视频，如过度编辑、运动不连贯、质量低下、讲座式、文本主导和屏幕噪音视频。
通过video-llama训练的过滤器，团队标注并筛选了20,000个视频数据点。同时，计算光流和美学分数，动态调整阈值，确保生成视频的质量。
视频数据通常没有文本描述，需要转换为文本描述以供文本到视频模型训练。然而，现有的视频字幕数据集字幕较短，无法全面描述视频内容。
为了解决一问题，团队提出了一种从图像字幕生成视频字幕的管道，并微调端到端的视频字幕模型以获得更密集的字幕。
这种方法通过Panda70M模型生成简短字幕，使用CogView3模型生成密集图像字幕，然后使用GPT-4模型总结生成最终的短视频。
除此之外，团队还微调了一个基于CogVLM2-Video和Llama 3的CogVLM2-Caption模型，使用密集字幕数据进行训练，以加速视频字幕生成过程。
性能
为了评估文本到视频生成的质量，团队使用了VBench中的多个指标，如人类动作、场景、动态程度等。并排除了不适用于评估需求的指标，例如颜色指标，因为它可能误导视频生成模型。
此外，团队还使用了两个额外的视频评估工具：Devil中的Dynamic Quality和Chrono-Magic中的GPT4o-MT Score，这些工具专注于视频的动态特性。
值得一提的是，团队已经验证了scaling law在视频生成方面的有效性！
未来会在不断scale up数据规模和模型规模的同时，探究更具突破式创新的新型模型架构、更高效地压缩视频信息、更充分地融合文本和视频内容。
团队表示，目前的视频质量还有很广阔的提升空间，期待开发者们在提示词优化、视频长度、帧率、分辨率、场景微调以及围绕视频的各类功能开发上贡献开源力量。
此外，性能更强参数量更大的模型正在路上，敬请关注与期待。
参考资料：https://huggingface.co/THUDM/CogVideoX-2bhttps://github.com/THUDM/CogVideo?tab=readme-ov-file
AI 视频圈正「互扯头花」。
国外的 Luma、Runway，国内的快手可灵、字节即梦、智谱清影…… 你方唱罢我登场。无一例外，它们对标的都是那个传说中的 Sora。
其实，说起 Sora 全球挑战者，生数科技的 Vidu 少不了。
早在三个月前，国内外视频生成领域还一片「沉寂」之时，生数科技突然曝出自家最新视频大模型 Vidu 的宣传视频，凭借其生动逼真、不输 Sora 的效果，惊艳了一众网友。
就在今天，Vidu 正式上线。无需申请，只要有个邮箱，就能上手体验。（Vidu官网链接：www.vidu.studio）
例如，皮卡丘和哆啦 A 梦玩「贴脸杀」：
《暮光之城》男女主秀恩爱：
它甚至还解决了 AI 不会写字的问题：
此外，Vidu 的生成效率也贼拉猛，实现了业界最快的推理速度，仅需 30 秒就能生成一段 4 秒镜头。
接下来，我们就奉上最新的一手评测，看看这款「国产 Sora」的实力究竟如何。
上手实测：镜头语言大胆，画面不会崩坏！
这次，Vidu 亮出了绝活。
不仅延续了今年 4 月份展示的高动态性、高逼真度、高一致性等优势，还新增了动漫风格、文字与特效画面生成、角色一致性等特色能力。
主打一个：别人有的功能，我要有，别人没有的功能，我也要有。
哦莫，它竟然认字识数
现阶段，Vidu 有两大核心功能：文生视频和图生视频。
提供 4s 和 8s 两种时长选择，分辨率最高达 1080P。风格上，提供写实和动画两大选择。
先看看图生视频。
让历史重新鲜活起来，是当下最流行的玩法。这是法国画家伊丽莎白・路易丝・维瑞的名作《画家与女儿像》。
我们输入提示词：画家与女儿像，母女紧紧抱在一起。
生成的高清版本让人眼前一亮，人物动作幅度很大，连眼神都有变化，但效果挺自然。
再试试达芬奇的《抱银鼬的女子》。
提示词：抱银鼬的女子面露微笑。
长达 8 秒的视频里，女子和宠物动作幅度较大，特别是女子的手部抚摸动作，还有身体、面部变化，但都没有影响画面的自然、流畅。
大幅度、精准的动作有助于更好地表现视频情节和人物情绪。不过，动作幅度一旦变大，画面容易崩坏。因此，一些模型为保证流畅性，会牺牲动幅，而 Vidu 比较好地解决了这一问题。模拟真实物理世界的运动，还真不错。比如，复刻类似库布里克《2001 太空漫游》的情景！
提示词：长镜头下，缓缓走向消失。
提示词：长镜头下，漂浮着，慢慢飘向尽头。
除了图生视频，还有文生视频。
提示词：两朵花在黑色背景下缓慢绽放，展示出细腻的花瓣和花蕊。
提示语：这次只她一人，独自坐在樱花深处的秋千架上，穿着粉红的春衫，轻微荡着秋千，幅度很小，像坐摇椅一般，微垂着头，有点百无聊赖的样子，缓缓伸足一点一点踢着地上的青草。那樱花片片飘落在她身上头上，她也不以手去拂，渐渐积得多了，和她衣裙的颜色相融，远远望去仿佛她整个人都是由樱花砌成似的。
Vidu 语义理解能力不错，还可以理解提示中一次包含多个镜头的片段要求。
比如，画面中既有海边小屋的特写，还有运镜转向海面远眺的远景，通过镜头切换，赋予画面一种鲜明的叙事感。
提示语：在一个古色古香的海边小屋里，阳光沐浴着房间，镜头缓慢过渡到一个阳台，俯瞰着宁静的大海，最后镜头定格在漂浮着大海、帆船和倒影般的云彩。
对于第一人称、延时摄影等镜头语言，Vidu 也能准确理解和表达，用户只需细化提示词，即可大幅提升视频的可控性。
提示词：第一人称视角，女友牵着我的手，一起漫步在海边。
Vidu 是一款能够准确理解和生成一些词汇的视频生成器，比如数字。
提示词：一块生日蛋糕，上面插着蜡烛，蜡烛是数字 “32”。
蛋糕上换成「Happy Birthday」的字样，它也能hold住。
提示词： 一块蛋糕，上面写着”HAPPY BIRTHDAY”。
动漫风格嘎嘎好用
目前市面上的 AI 视频工具大多局限于写实风格或源于现实的想象，而 Vidu 除了写实风格外，还支持动漫风格。
我们选择动画模型，直接输入提示词即可输出动漫风格视频。
例如，提示词：动漫风格，小女孩站在厨房里切菜。
说实话，这画风有宫崎骏老爷子的味道。Vidu 读懂了提示词，小女孩切菜动作一气呵成，就是手指和刀具在不经意间仍有变形。
提示词：动漫风格，一个戴着耳机的小女孩在跳舞。
Vidu 的想象力还挺丰富，自个儿把背景设置为带有喷泉的公园，这也让视频画面不那么单调。
当然，我们还可以上传一张动漫参考图片，再输入提示词，如此一来，图片中的动漫人物就能动起来啦。
例如，我们上传一张蜡笔小新的静态图，然后输入提示词：蜡笔小新大笑着举起手里的小花。图片用途选择「用作起始帧」。
我们来瞅瞅效果：
再上传一张呆萌皮卡丘的图像，输入提示词为「皮卡丘开心地蹦起来」。图片用途选择「用作起始帧」。
继续上效果：
上传《海贼王》路飞的图像，再喂给它提示词：男孩突然哭起来。
效果如下：
不得不说， Vidu 的动漫效果相当惊艳，在保持风格一致性的同时，显著提高了画面的稳定性和流畅性，没有出现变形、崩坏或者六指狂魔、左右腿不分等「邪门」画面。
梗图、表情包燥起来
在「图生视频」板块中，除了支持首帧图上传，Vidu 这次还上新一项功能 —— 角色一致性（Charactor To Video）。
所谓角色一致性，就是上传一个角色图像，然后可以指定该角色在任意场景中做出任意动作。
我们就拿吴京为例。
提示词：在一艘宇宙飞船里，吴京正穿着太空服，对镜头挥手。
提示词：吴京穿着唐装，站在一条古街上，向镜头挥手。
如果说，首帧图上传适合创作场景一致性的视频，那么，有了角色一致性功能，从科幻角色到现代剧，演员七十二变，信手拈来。
此外，有了角色一致性功能，普通用户创作「梗图」、「表情包」可以燥起来了！
比如让北美「意难忘」贾斯汀・比伯和赛琳娜再续前缘：
《武林外传》中佟湘玉和白展堂嗑着瓜子，聊着同福客栈的八卦：
还有《甄嬛传》皇后娘娘委屈大哭：
只要脑洞够大，什么地铁老人吃手机、鳌拜和韦小宝打啵、容嬷嬷喂紫薇吃鸡腿，Vidu 都能整出来。
就一个字，快！
视频生成过程中，用户最烦啥？当然是龟速爬行的进度条。
试想，为了一段几秒的视频，愣是趴在电脑前等个十分钟，再慢性子的人也很难不破防。
目前，市面上主流 AI 视频工具生成一段 4 秒左右的视频片段，通常需要 1 到 5 分钟，甚至更长。
例如，Runway 最新推出的 Gen-3 工具需要 1 分钟来完成 5s 视频生成，可灵需要 2-3 分钟，而 Vidu 将这一等待时间缩短至 30 秒，速度比业内最快水平的 Gen-3 还要再快一倍。
基于完全自研的 U-ViT 架构，商用精心布局
「Vidu」底层基于完全自研的 U-ViT 架构，该架构由团队在 2022 年 9 月提出，早于 Sora 采用的 DiT 架构，是全球首个 Diffusion 和 Transformer 融合的架构。
在 DiT 论文发布两个月前，清华大学的朱军团队提交了一篇论文 ——《All are Worth Words: A ViT Backbone for Diffusion Models》。这篇论文提出了用 Transformer 替代基于 CNN 的 U-Net 的网络架构 U-ViT。这是「Vidu」最重要的技术基础。
由于不涉及中间的插帧和拼接等多步骤的处理，文本到视频的转换是直接且连续的，「Vidu」 的作品感官上更加一镜到底，视频从头到尾连续生成，没有插帧痕迹。除了底层架构上的创新，「Vidu」也复用了生数科技过往积累下的工程化经验和能力。
生数科技曾称，从图任务的统一到融合视频能力，「Vidu」可被视为一款通用视觉模型，能够支持生成更加多样化、更长时长的视频内容。他们也透露，「Vidu」还在加速迭代提升。面向未来，「Vidu」灵活的模型架构也将能够兼容更广泛的多模态能力。
生数科技成立于 2023 年 3 月，核心成员来自清华大学人工智能研究院，致力于自主研发世界领先的可控多模态通用大模型。自 2023 年成立以来，团队已获得蚂蚁集团、启明创投、BV 百度风投、字节系锦秋基金等多家知名产业机构的认可，完成数亿元融资。据悉，生数科技是目前国内在多模态大模型赛道估值最高的创业团队。
公司首席科学家由清华人工智能研究院副院长朱军担任；CEO 唐家渝本硕就读于清华大学计算机系，是 THUNLP 组成员；CTO 鲍凡是清华大学计算机系博士生、朱军教授的课题组成员，长期关注扩散模型领域研究，U-ViT 和 UniDiffuser 两项工作均是由他主导完成的。
今年 1 月，生数科技旗下视觉创意设计平台 PixWeaver 上线了短视频生成功能，支持 4 秒高美学性的短视频内容。2 月份 Sora 推出后，生数科技内部成立攻坚小组，加快了原本视频方向的研发进度，不到一个月的时间，内部就实现了 8 秒的视频生成，紧接着 4 月份就突破了 16 秒生成，生成质量与时长全方面取得突破。
如果说 4 月份的模型发布展示了 Vidu 在视频生成能力上的领先，这次正式发布的产品则展示了 Vidu 在商业化方面的精心布局。生数科技目前采取模型层和应用层两条路走路的模式。
一方面，构建覆盖文本、图像、视频、3D 模型等多模态能力的底层通用大模型，面向 B 端提供模型服务能力。
另一方面，面向图像生成、视频生成等场景打造垂类应用，按照订阅等形式收费，应用方向主要是游戏制作、影视后期等内容创作场景。
你规定路线，Tora 来生成相应轨迹的视频。
目前，扩散模型能够生成多样化且高质量的图像或视频。此前，视频扩散模型采用 U-Net 架构 ，主要侧重于合成有限时长（通常约为两秒）的视频，并且分辨率和纵横比受到固定限制。
Sora 的出现打破了这一限制，其采用 Diffusion Transformer（DiT）架构，不仅擅长制作 10 到 60 秒的高质量视频，而且还因其生成不同分辨率、各种纵横比、且遵守实际物理定律的能力而脱颖而出。
可以说 Sora 是 DiT 架构最有利的证明，然而，基于 Transformer 的扩散模型在有效生成可控动作视频方面还未被充分探索。
针对这一问题，来自阿里的研究者提出了 Tora，这是第一个面向轨迹的 DiT 架构，它将文本、视觉和轨迹条件同时集成在一起以生成视频。
Tora 的设计与 DiT 的可扩展性无缝契合，允许精确控制具有不同持续时间、宽高比和分辨率的视频内容。大量实验证明，Tora 在实现高运动保真度方面表现出色，同时还能细致模拟物理世界的运动。
论文地址：https://arxiv.org/pdf/2407.21705
论文主页：https://ali-videoai.github.io/tora_video/
论文标题：Tora: Trajectory-oriented Diffusion Transformer for Video Generation
一艘老式的木制帆船沿着规定好的路线在迷雾笼罩的河流上平稳地滑行，周围是茂密的绿色森林。
一条鲫鱼优雅地游过火星的红色岩石表面，鱼的轨迹向左，火星的轨迹向右。
热气球沿着不同的轨迹升入夜空，一个沿着规定的斜线，另一个沿着有弯度的轨迹。
两只可爱的小猫并排走在宁静的金色沙滩上。
气泡沿着轨迹轻轻地漂浮在盛开的野花中。
枫叶在清澈的湖面上颤动，映照着秋天的森林。
山间的瀑布倾泻而下，主题、背景的运动都可以按照不同的路线运动。
在 Tora 与其他方法的比较中，可以看出 Tora 生成的视频流畅度更高，更遵循轨迹，且物体不会存在变形的问题，保真度更好。
方法介绍
Tora 采用 OpenSora 作为其 DiT 架构的基础模型，包含一个轨迹提取器 (TE，Trajectory Extractor)、时空 DiT（Spatial-Temporal DiT ）和一个运动引导融合器 (MGF，Motion-guidance Fuser) 。TE 使用 3D 视频压缩网络将任意轨迹编码为分层时空运动 patch。MGF 将运动 patch 集成到 DiT 块中，以生成遵循轨迹的一致视频。图 3 概述了 Tora 的工作流程。
时空 DiT（ST-DiT）
ST-DiT 架构包含两种不同的块类型：空间 DiT 块 (S-DiT-B) 和时间 DiT 块 (T-DiT-B)，它们交替排列。S-DiT-B 包含两个注意力层，每个层按顺序执行空间自注意力 (SSA) 和交叉注意力，后面跟着一个逐点前馈层，用于连接相邻的 T-DiT-B 块。T-DiT-B 仅通过用时间自注意力 (TSA) 替换 SSA 来修改此架构，从而保持架构一致性。在每个块中，输入在经过规范化后，通过跳跃连接连接回块的输出。通过利用处理可变长度序列的能力，去噪 ST-DiT 可以处理可变持续时间的视频。
轨迹提取器
轨迹已被证明是一种更加用户友好的方法来控制生成视频的运动。然而，DiT 模型采用视频自编码器和 patch 化过程将视频转换为视频 patch。在这里，每个 patch 都是跨多个帧导出，因此直接采用帧间偏移是不合适的。为了解决这个问题，本文提出的 TE 将轨迹转换为运动 patch，运动 patch 与视频 patch 位于相同的潜在空间。
运动引导融合器
为了将基于 DiT 的视频生成与轨迹结合起来，本文探索了三种融合架构变体，将运动 patch 注入每个 ST-DiT 块。这些设计如图 4 所示。
实验结果
在实现细节上，研究者基于 OpenSora v1.2 权重来训练 Tora。训练视频的分辨率由 144p 到 720p 不等。为了平衡训练 FLOP 以及每次迭代不同分辨率和帧数所需的内存，研究者相应地将批大小从 1 调整到 25。
至于训练基础设施，研究者使用了 4 块英伟达 A100 和 Adam 优化器，学习率为 2 × 10^−5。
研究者将 Tora 与流行的运动指导视频生成方法进行了比较。评估中使用了三种设置，分别为 16、64 和 128 帧，所有设置都是 512×512 的分辨率。
结果如下表 1 所示，在 U-Net 方法常用的 16 帧设置下，MotionCtrl 和 DragNUWA 能够更好地与所提供的轨迹实现对齐，但仍弱于 Tora。随着帧数增加，U-Net 方法在某些帧中出现明显偏差，并且错位误差传播会导致后续序列中出现变形、运动模糊或物体消失。
相比之下，得益于集成了 Transformer 的缩放能力，Tora 对帧数变化表现出很高的稳健性。Tora 产生的运动更加流畅，且更符合物理世界。对于 128 帧测试设置下的评估，Tora 的轨迹精度达到其他方法的 3 到 5 倍，展现出了卓越的运动控制能力。
在下图 5 中，研究者对不同分辨率和持续时长的轨迹误差进行分析。结果显示，不同于 U-Net 随时间推移出现明显的轨迹误差，Tora 的轨迹误差随时间推移出现渐进增加。这与 DiT 模型中视频质量随时间增加而下降相一致。Tora 在更长的时间下保持了有效的轨迹控制。
下图 6 展示了 Tora 与主流运动控制方法的比较分析，在包含两人共同运动的场景中，所有方法都能生成相对准确的运动轨迹。不过，Tora 的视觉质量更好，这要归功于更长序列帧的使用，有助于实现更平滑的运动轨迹和更逼真的背景渲染。
可以看到，在 Tora 生成的自行车场景中，人的双腿表现出逼真的踩踏动作，而 DragNUWA 的双腿几乎水平漂浮，违反了物理真实性。此外，DragNUWA 和 MotionCtrl 在视频结尾处都出现了严重的运动模糊。
在另一个生成灯笼的场景中，DragNUWA 随着所提供轨迹的持续升降出现了严重的变形。MotionCtrl 的轨迹虽然相对准确，但生成的视频与两个灯笼的描述不相符。Tora 不仅严格地遵循了轨迹，而且最大程度地减少了物体变形，确保了更高保真度的动作表示。
智谱AI把自研打造的大模型给开源了。
国内视频生成领域越来越卷了。刚刚，智谱 AI 宣布将与「清影」同源的视频生成模型 ——CogVideoX 开源。短短几个小时狂揽 4k 星标。
代码仓库：https://github.com/THUDM/CogVideo
模型下载：https://huggingface.co/THUDM/CogVideoX-2b
技术报告：https://github.com/THUDM/CogVideo/blob/main/resources/CogVideoX.pdf
7 月 26 日，智谱 AI 正式发布视频生成产品「清影」，得到大家广泛好评。只要你有好的创意（几个字到几百个字），再加上一点点耐心（30 秒），「清影」就能生成 1440×960 清晰度的高精度视频。
官宣即日起，清影上线清言 App，所有用户都可以全方位体验。想要尝试的小伙伴可以去「智谱清言」上体验「清影」生视频的能力。
「清影」的出现被誉为是国内首个人人可用的 Sora。发布 6 天，「清影」生成视频数就突破百万量级。
PC 端访问链接：https://chatglm.cn/
移动端访问链接：https://chatglm.cn/download?fr=web_home
为何智谱 AI 开源模型如此爆火？要知道虽然现在视频生成技术正逐步走向成熟，然而，仍未有一个开源的视频生成模型，能够满足商业级应用的要求。大家熟悉的 Sora、Gen-3 等都是闭源的。CogVideoX 的开源就好比 OpenAI 将 Sora 背后的模型开源，对广大研究者而言，意义重大。
CogVideoX 开源模型包含多个不同尺寸大小的模型，目前智谱 AI 开源 CogVideoX-2B，它在 FP-16 精度下的推理仅需 18GB 显存，微调则只需要 40GB 显存，这意味着单张 4090 显卡即可进行推理，而单张 A6000 显卡即可完成微调。
CogVideoX-2B 的提示词上限为 226 个 token，视频长度为 6 秒，帧率为 8 帧 / 秒，视频分辨率为 720*480。智谱 AI 为视频质量的提升预留了广阔的空间，期待开发者们在提示词优化、视频长度、帧率、分辨率、场景微调以及围绕视频的各类功能开发上贡献开源力量。
性能更强参数量更大的模型正在路上，敬请关注与期待。
模型
VAE
视频数据因包含空间和时间信息，其数据量和计算负担远超图像数据。为应对此挑战，智谱提出了基于 3D 变分自编码器（3D VAE）的视频压缩方法。3D VAE 通过三维卷积同时压缩视频的空间和时间维度，实现了更高的压缩率和更好的重建质量。
模型结构包括编码器、解码器和潜在空间正则化器，通过四个阶段的下采样和上采样实现压缩。时间因果卷积确保了信息的因果性，减少了通信开销。智谱采用上下文并行技术以适应大规模视频处理。
实验中，智谱 AI 发现大分辨率编码易于泛化，而增加帧数则挑战较大。因此，智谱分两阶段训练模型：首先在较低帧率和小批量上训练，然后通过上下文并行在更高帧率上进行微调。训练损失函数结合了 L2 损失、LPIPS 感知损失和 3D 判别器的 GAN 损失。
专家 Transformer
智谱 AI 使用 VAE 的编码器将视频压缩至潜在空间，然后将潜在空间分割成块并展开成长的序列嵌入 z_vision。同时，智谱 AI 使用 T5，将文本输入编码为文本嵌入 z_text，然后将 z_text 和 z_vision 沿序列维度拼接。拼接后的嵌入被送入专家 Transformer 块堆栈中处理。最后，反向拼接嵌入来恢复原始潜在空间形状，并使用 VAE 进行解码以重建视频。
Data
视频生成模型训练需筛选高质量视频数据，以学习真实世界动态。视频可能因人工编辑或拍摄问题而不准确。智谱 AI 开发了负面标签来识别和排除低质量视频，如过度编辑、运动不连贯、质量低下、讲座式、文本主导和屏幕噪音视频。通过 video-llama 训练的过滤器，智谱 AI 标注并筛选了 20,000 个视频数据点。同时，计算光流和美学分数，动态调整阈值，确保生成视频的质量。
视频数据通常没有文本描述，需要转换为文本描述以供文本到视频模型训练。现有的视频字幕数据集字幕较短，无法全面描述视频内容。智谱 AI 提出了一种从图像字幕生成视频字幕的管道，并微调端到端的视频字幕模型以获得更密集的字幕。这种方法通过 Panda70M 模型生成简短字幕，使用 CogView3 模型生成密集图像字幕，然后使用 GPT-4 模型总结生成最终的短视频。智谱 AI 还微调了一个基于 CogVLM2-Video 和 Llama 3 的 CogVLM2-Caption 模型，使用密集字幕数据进行训练，以加速视频字幕生成过程。
性能
为了评估文本到视频生成的质量，智谱 AI 使用了 VBench 中的多个指标，如人类动作、场景、动态程度等。智谱 AI 还使用了两个额外的视频评估工具：Devil 中的 Dynamic Quality 和 Chrono-Magic 中的 GPT4o-MT Score，这些工具专注于视频的动态特性。如下表所示。
智谱 AI 已经验证了 scaling law 在视频生成方面的有效性，未来会在不断 scale up 数据规模和模型规模的同时，探究更具突破式创新的新型模型架构、更高效地压缩视频信息、更充分地融合文本和视频内容。
最后，我们看看「清影」的效果。
提示语：「一艘精致的木制玩具船，桅杆和船帆雕刻精美，平稳地滑过一块模仿海浪的蓝色毛绒地毯。船体漆成浓郁的棕色，有小窗户。地毯柔软而有质感，提供了完美的背景，类似于广阔的海洋。船周围还有各种玩具和儿童用品，暗示着一个好玩的环境。这个场景捕捉到了童年的纯真和想象力，玩具船的旅程象征着在异想天开的室内环境中无尽的冒险。」
提示语：「镜头跟随一辆装着黑色车顶行李架的白色老式 SUV，它在陡峭的山坡上沿着松树环绕的土路加速行驶，轮胎扬起尘土，阳光照射在沿着土路飞驰的 SUV 身上，为场景投下温暖的光芒。土路缓缓弯曲向远方延伸，看不到其他汽车或车辆。道路两旁的树木都是红杉，点缀着一片片绿植。从后面看，汽车轻松地顺着弯道行驶，让人觉得它正在崎岖的地形上行驶。土路周围是陡峭的山丘和山脉，头顶是湛蓝的天空，上面飘着薄薄的云彩。」
提示语：「一片白雪皑皑的森林景观，一条土路穿过其中。道路两旁是被白雪覆盖的树木，地面也被白雪覆盖。阳光灿烂，营造出明亮而宁静的氛围。道路上空无一人，视频中看不到任何人或动物。视频的风格是自然风景拍摄，重点是白雪皑皑的森林之美和道路的宁静。」
提示语：「鸡肉和青椒烤肉串在烧烤架上烧烤的特写。浅焦和淡烟。色彩鲜艳」