我们介绍了 Phenaki,这是一种能够在给定一系列文本提示的情况下进行逼真的视频合成的模型。由于计算成本、高质量文本视频数据的数量有限以及视频长度可变,从文本生成视频尤其具有挑战性。为了解决这些问题,我们引入了一种用于学习视频表示的新因果模型,该模型将视频压缩为离散标记的小型表示。这个分词器及时使用因果注意力,这使得它可以处理可变长度的视频。为了从文本生成视频标记,我们使用了一个以预先计算的文本标记为条件的双向屏蔽转换器。生成的视频令牌随后被去令牌化以创建实际视频。为了解决数据问题,我们展示了对大量图像文本对以及较少数量的视频文本示例的联合训练如何产生超出视频数据集中可用内容的泛化。与之前的视频生成方法相比,Phenaki 可以在开放域中以一系列提示(即时间可变文本或故事)为条件生成任意长视频。据我们所知,这是第一次有论文研究从时间变量提示生成视频。此外,所提出的视频编码器-解码器在时空质量和每个视频的令牌数量方面优于文献中当前使用的所有每帧基线。Phenaki 可以根据开放域中的一系列提示(即时间可变文本或故事)生成任意长视频。据我们所知,这是第一次有论文研究从时间变量提示生成视频。此外,所提出的视频编码器-解码器在时空质量和每个视频的令牌数量方面优于文献中当前使用的所有每帧基线。Phenaki 可以根据开放域中的一系列提示(即时间可变文本或故事)生成任意长视频。据我们所知,这是第一次有论文研究从时间变量提示生成视频。此外,所提出的视频编码器-解码器在时空质量和每个视频的令牌数量方面优于文献中当前使用的所有每帧基线。
类似的工具

DomoAI
产生高质量的视觉效果更快,生成一致的风格

pollinations
我们结合并微调算法以匹配任...

Decoherence
创建AI动画并将其与你的音乐...

Quinvio AI
用人工智能建议来涂鸦你的内...

PixelForge
制作一个更短的视频版本

WowTo
创建操作视频,并在几分钟内...
其他人也看的工具

Rewind
我们的团队很小但很强大。我们以归属感、热情和坦率为重点进行协作。我们在丹佛、纽约、旧金山、洛杉矶、奥斯汀和波特兰远程工作。

PaperBetterAI智能写作
AI自动完成万字论文全文、5000字开题报告、任务书、文献综述等

Stable Diffusion Models(2)
Stable Diffusion模型收录集合

【图查查】图片版权查询神器
图片版权一键查询、版权图片搜索、相似版权图片推荐、免费版权图供给等服务

Runway
Runway 拥有 30 多种 AI Magic Tools、实时视频编辑、协作等功能,是您的下一代内容创作套件。就在您的浏览器中。

Natural Language Playlist
Natural Language Playlist 探索语言和音乐之间丰富而复杂的关系,并使用 Transformer 语言模型构建播放列表。由于没有更好的术语,音乐推荐是一种“闭门造车”的东西。