B站开源AI动漫视频生成模型 AniSora,可一键创建不同风格片段!
就在最近,B站团队开源了它的动漫视频生成模型AniSora,该模型可一键创建多种动漫风格视频片段,涵盖系列剧集、中国原创动画、漫画改编等。目前AniSora拥有超1000万高质量数据,引入时空掩码模块,支持图生视频、帧插值等关键功能。评测数据集包含948段多样化动画视频,人物与运动一致性均达SOTA。
本篇文章,我将详细分享下AniSora是什么以及项目测评结果!
一、什么是AniSora?
AniSora是哔哩哔哩团队推出的开源动漫视频生成系统,是国内目前最强大的开源动漫视频生成模型,它彻底改变了传统动画制作方式。这个前沿技术平台能够自动生成多种风格的动漫视频内容,从经典番剧到国漫作品,再到虚拟主播内容,应有尽有。
系统训练使用了超过千万组高质量文本-视频配对数据,并创新性地采用了时空掩码技术,实现了从静态图像生成动态视频、智能补帧以及局部区域动画控制等突破性功能。为评估系统性能,团队还精心构建了包含948段多样化动画视频的基准测试集,专门用于检测人物形象一致性和动作流畅度等关键指标。
二、官网及开源地址
开发者可以通过以下途径获取AniSora相关资源:
- 代码仓库:https://github.com/bilibili/Index-anisora
- 模型下载:https://huggingface.co/IndexTeam/Index-anisora
- 技术文档:https://arxiv.org/pdf/2412.10255
三、核心功能解析
静态转动态魔法
只需一张图片,系统就能自动生成连贯流畅的动画场景,让静止画面瞬间”活”起来
智能补帧专家
通过自动计算生成中间过渡帧,大幅减少动画师手工绘制的工作量,使动作更加自然流畅
精准区域控制
用户可以指定画面中的特定区域进行动画处理,实现局部动态效果
时空双重调控
支持首尾帧设定、多帧引导等多种控制方式,让创作者精确把控每个动画细节
风格百变宝库
系统支持生成包括日式番剧、国漫、漫画改编作品及虚拟主播内容在内的多种动漫风格
四、技术架构
核心创新点:
✅ 高效视频预处理系统,大幅提升数据准备效率
✅ 通用时空掩码框架,一站式解决图像转视频、帧插补、局部引导等多元需求
✅ 首个动漫视频生成专用基准数据集
五、有哪些技术突破?
在当今影视产业中,动漫内容正掀起一股创新浪潮。虽然Sora、Kling、CogVideoX等顶尖模型在常规视频生成领域表现出色,但在动漫创作方面仍显不足。动漫特有的艺术风格、夸张动作表现以及对物理法则的突破,给评估工作带来了独特挑战。
AniSora系统提供全方位解决方案:
- 海量数据支持:超过1000万条高质量训练素材
- 精准控制生成:创新时空掩码技术,支持图像转视频、帧插补、局部引导等核心动画制作功能
- 专业评估体系:948段多样化动画视频库,配合双盲评测与VBench测试,在角色一致性和动作流畅度方面达到行业领先水平
六、未来规划
🔧 AniSora V2.0
- 14B版本预计5月底发布
📊 AniSora数据集
- 即将开放高质量训练集申请
📈 AniSora基准
- 持续更新最先进模型性能数据
七、应用前景展望
AniSora正在多个领域引发变革:
- 动画产业:显著缩短制作周期,降低人力成本
- 虚拟主播:快速生成各种表演内容,丰富直播形式
- 创意开发:即时呈现动画概念,加速创意验证
- 教育领域:帮助学习者快速掌握动画制作技巧
- 商业应用:高效制作营销动画内容,提升传播效果
总结
这款创新工具正在重新定义动漫内容创作的可能性,AniSora不仅简化了动画制作流程,还大幅提升了创作效率。展望未来,AniSora在动画产业、虚拟主播、创意开发等多个领域的应用前景广阔,有望成为推动行业创新的重要力量。