字节即梦AI基于Loopy上线全新数字人“对口型”功能

最近，字节跳动最新项目Loopy在即梦上线，该项目实现了数字人声音与画面、表情、情绪完美匹配，是国内所有已知数字人中支持中文效果最佳模型。之前我的文章也介绍了当前全球主流的AI数字人：，感兴趣的圈友们可以去看下！

Loopy大模型解决了视频中对口型造成的割裂感问题，角色说话时会自动带上语气、情绪和表情，精准捕捉虚拟形象的细微动作，大家先来看下效果：

今天这篇文章将带大家详细介绍下Loopy，以及如何使用即梦AI的对口型功能

1、Loopy是什么？

Loopy是字节跳动最新推出的一款音频驱动的AI视频生成模型。该模型可以将一张静态照片生成动态说话视频，并且可以根据给定的音频文件让照片中人物面部表情和头部动作实现完美同步，并且能跟着音乐微笑、说话、甚至眨眼。

• loopy项目官网：https://loopyavatar.github.io/
• arXiv技术论文：https://arxiv.org/pdf/2409.02634

2、Loopy的主要功能

• 音频驱动：只需提供一个音频文件，Loopy就能自动生成与音频同步的动态视频。
• 面部动作生成：从嘴型到眉毛、眼睛，Loopy能生成逼真的面部动作，让静态图像仿佛开口说话。
• 无需额外条件：不同于需要额外空间信号或条件的技术，Loopy独立工作，无需辅助信息。
• 长期运动信息捕捉：Loopy擅长处理长期运动信息，生成的动作自然流畅。
• 多样化的输出：根据音频的情感、节奏等特性，Loopy能生成多种面部表情和头部动作效果。

3、如何使用Loopy

目前loopy已被应用到即梦AI对口型的功能中，大家可以直接进入到即梦AI官网即可体验

3.1. 即梦AI核心功能与能力

即梦AI是字节跳动推出的一站式AI创作平台，主要功能包括：

• AI图片创作：支持文生图和以图生图两种方式，生成多样风格的图片。
• AI视频创作：从剧本构思到视频成片的一站式服务，自动生成连贯的视觉内容。
• AI图片编辑：提供背景替换、风格转换、人物姿势保持等创意改造功能。
• 智能画布：支持局部重绘、一键扩图、图像消除和抠图等多功能操作。
• 多语言支持：特别优化对中文的理解，满足中文用户需求。
• 社区互动：用户可以浏览、评论作品，参与创意挑战赛，构建开放多元的创意社区。

3.2. 即梦AI对口型功能体验

1. 注册/登录：访问即梦AI官网（https://jimeng.jianying.com/s/ikg15HGK/）进行注册或登录。

2. 选择功能：选择视频生成，对口型模块。

3. 输入参数：上传照片，在相应模块中输入朗读词，点击生成视频。

4. 生成视频：目前每次生成视频消耗4点积分，大概2分钟左右可以生成完成

5. 编辑和优化：使用即梦AI的编辑工具可以对生成内容进行进一步调整。

目前支持：AI配乐、补帧、提升分辨率等功能

来看下生成效果：

4. 涉及到的技术有哪些

• 音频驱动模型：Loopy的核心是音频驱动的视频生成模型，能够根据输入的音频信号生成同步的动态视频。
• 扩散模型：采用扩散模型技术，通过逐步引入噪声并学习逆向过程来生成数据。
• 时间模块：设计了跨片段和片段内部的时间模块，使模型能理解和利用长期运动信息，生成更加自然和连贯的动作。
• 音频到潜空间的转换：通过音频到潜空间的模块，将音频信号转换成能够驱动面部动作的潜在表示。
• 运动生成：从音频中提取的特征和长期运动信息，Loopy生成相应的面部动作，如嘴型、眉毛、眼睛等部位的动态变化。

5. 使用场景与目标用户

即梦AI适用于多个创意场景，目标用户包括：

• 创意爱好者：喜欢艺术创作，尝试新工具和技术。
• 设计师：需要快速生成设计概念或视觉元素。
• 内容创作者：如博主、视频制作者、社交媒体影响者等。
• 广告和营销专业人士：为广告活动或营销材料制作视觉和视频内容。
• 教育工作者：激发学生创造力或在教学中使用视觉辅助材料。

5. 定价与订阅模式

即梦AI提供免费版和付费会员制：

• 免费版：每天可获得60积分，体验基础功能。
• 基础会员：659元/年，提供更多积分生成图片和视频。
• 标准会员：1899元/年，提供更多积分和其他特权。
• 高级会员：5199元/年，提供最多积分和高级功能。

6. 社区与支持

即梦AI构建了一个活跃的创意社区：

• 作品浏览与评论：用户可以浏览和评论其他用户的作品。
• 创意挑战赛：参与平台举办的创意挑战赛，展示创意。
• 技术支持：提供在线帮助和技术支持，解决用户问题。

7. 未来发展

即梦AI未来将继续优化和扩展功能：

• 技术升级：持续改进AI模型，提高生成内容的质量。
• 功能扩展：增加更多创意工具和功能，满足用户多样化需求。
• 国际化：拓展多语言支持，吸引全球用户。
• 社区建设：增强社区互动，提供更多创意展示和交流平台。

8. 总结

即梦AI通过强大的AI技术，提供了一站式图片和视频创作平台，降低了创意门槛，激发了用户的想象力。无论是创意爱好者、设计师、内容创作者，还是广告和营销专业人士，都能在即梦AI找到合适的工具和支持，轻松实现个性化创作。