这款插件可利用语音识别引擎，从 SoundWave 资源或 PCM 音频数据自动生成唇形同步动画（Lip-sync），并将动画曲线存储为数据资产，以与音频在运行时同步播放。通过将实际声音直接转化为嘴唇动画，可无需字幕即可获得高质量的唇形匹配效果。
主要功能
- 语音转唇形动画
- 基于实际语音进行识别，无需文本字幕，最终动画的口型更贴近实际发音
- 动画以曲线形式保存，可搭配音频在运行时同步播放
- 多语言支持
- 完整支持：英语、中文
- 也支持：俄语、意大利语、德语、法语、西班牙语、葡萄牙语、波兰语
- 运行时生成
- 可在运行时生成唇形动画，但不支持实时麦克风输入或其他流式音频
- 需先完成音频录制或已有音频文件，才能进行 Lip-sync 处理
- 与 MetaHuman / CC3 / CC4 兼容
- 提供详细教程与示例，说明如何将唇形曲线应用到 MetaHuman 或其他角色
- 支持生成 Pose Asset，并映射至 UE 角色的 Viseme(音素) 骨骼或 BlendShape
高级功能
- 麦克风语音识别（Speech-to-Text）
- 在运行时对麦克风输入进行语音识别，但不生成实时唇形动画
- Whisper 插件兼容
- 可通过 YnnkWhisperRecognizer 来使用 Whisper 引擎替代 Vosk，为部分场景提供更高精度或适应性
- 示例与文档
- 点击 “See details” → “Technical details” 获取 Demo 项目和更完整的技术说明
- 包含多段视频教程（与 MetaHuman、CC3 角色等结合示例）
使用场景
- 对话系统 / 剧情动画
- 无需额外字幕文件，提升角色说话时的沉浸感与真实性
- 游戏角色配音
- 让 NPC 或主角口型与实际音频高度匹配
- 虚拟主播 / 虚拟偶像
- 录制好音频后快速生成逼真的嘴型动画
更新与提示
- 2023年2月24日更新
- 新增语言配置和打包管线优化
- 与文本字幕方案的区别
- 这是“语音直出”方案，不需要预先生成或准确对应台词文本，因而口型动画更接近实际声音节奏
- 兼容性
- 可与 MetaHuman 默认 Viseme 或自定义骨骼融合
- 插件本身不支持实时流式处理（如实时麦克风输入后立即出唇形）
资源下载
下载价格免费
©版权声明：本站除原创作品外的资源均收集于网络，只做学习和交流使用，版权归原作者所有，若作商业用途，请购买正版。
评论0