B站团队开源动漫视频生成模型 AniSora，一键创建不同风格片段

5 月 18 日消息，B站团队 5 月 12 日开源了动漫视频生成模型 AniSora。

AniSora 能够一键创建多种动漫风格的视频片段，包括系列剧集、中国原创动画、漫画改编、VTuber 内容、动漫 PV 和鬼畜动画等。

B站团队表示，动画内容在当今影视行业中备受关注。尽管 Sora、Kling、CogVideoX 等先进模型在自然视频生成方面表现出色，但在动漫视频上仍捉襟见肘。

此外，由于动漫独特的艺术风格、夸张的运动以及对物理规律的打破，也给评测带来了巨大挑战。

该项目提出了完整的系统 AniSora，涵盖：

• 数据处理流水线：超过 1000 万高质量数据；

• 可控生成模型：引入时空掩码模块，支持图生视频、帧插值、局部图像引导等关键动画制作功能；

• 评测数据集：收集 948 段多样化动画视频，配套双盲人评实验及 VBench 测试，人物一致性与运动一致性均达到 SOTA。

附 AniSora 图生视频示例：

示例 1

图中的人物坐在一辆向前行驶的汽车里，向后挥手，他们的头发在风中左右摇摆：

示例 2

场景显示两个身穿红色婚服的人物手持红绳走向远方：

示例 3

金发人物伸手触摸跪着的人物的头部，跪着的人物随着呼吸身体上下起伏：

示例 4

视频中，一名白发女孩跳舞，镜头拉近。她一边唱歌一边将右手旋转向镜头，手指张开：

示例 5

视频中，五名女孩跳舞，镜头拉近。她们一边唱歌一边将左手举过头顶，然后下拉至膝盖高度：

示例 6

帧中，一个人高速向前冲刺，动作因速度而略显模糊：

示例 7

帧中，角色举起手臂，表面可见气流流动：

示例 8

老人凝视着宝石，右手微调放大镜，嘴唇在动 —— 仿佛这颗宝石是解开某些古老知识或秘密的关键：

示例 9

左边的男人紧闭双唇，脸上刻着愤怒和决心。他的每一个表情都散发着深深的挫败感和坚定不移的信念。与此同时，另一个人张开嘴巴 —— 似乎即将爆发成一声喊叫或激情宣言：

示例 10

场景描绘了一块岩石爆炸，发出耀眼的光芒，碎片四散飞溅：

附 AniSora 开源地址：

• https://github.com/bilibili/Index-anisora/tree/main

• https://huggingface.co/IndexTeam/Index-anisora

• https://www.modelscope.cn/organization/bilibili-index