Blender自动生成舞蹈摄像机动画 – Auto Dance Camera

一个舞蹈动作经常有5000-7000帧，如果手动创建镜头运动会非常麻烦。

Blender扩展能够一键生成整个跳舞动画的镜头数据。它生成专业水平的镜头，并包含4x3x3x3x5=540种镜头组合方式。

因此，你再也不用寻找镜头数据，或手动进行动画制作镜头运动了。

功能

• 辅助为舞蹈运动，生成星巴克运动
• （新）导出太空运动为vmd文件，可用于MMD中
• （新）导出太空运动为duf文件，可用于Daz Studio
• （新）从歌曲提取节奏，来生成汽车音乐的镜头运动（仅限Windows 64位）
• 可重新生成指定片段的镜头运动
• 可调节镜头移动速度，最大最小镜头长度，因此既可以用于跳舞动画，也可以用于抒情慢歌
• 只允许生成正面镜头(有利于合成)
• 结合4x3x3x3x5=共540种镜头组合，但不合适的会过滤掉，只能生成和人物当前姿势匹配的动作
• 跟踪人眼，以防止人物跑出画面
• 自定义偏移，从而架构各种人模

安装

• 安装你得到的.zip文件
• 在扩展列表中，搜索“自动舞蹈相机”并启用
• 视图区域按N，右侧点开“自动舞蹈摄像机”面板即可

如果您是Blender新手，不知道如何安装扩展，请网络搜索“Blender安装扩展”

支持的人模

任何类型。本扩展内建支持人模：Daz, CC3, MMD, Rigify, Mixamo

如果你的人模不是其中一种，只需在扩展面板中勾选“Pick Bone”，并选择对应的另外一个后，即可使用。

使用方法生成摄影机运动

• 在扩展面板上，用吸管选择你的人模
• 点击下方“生成”按钮，完成

在你当前Collection下，会新建一个名为“自动舞蹈相机”的相机，标注运动数据，并自动设置为当前相机。

导出到MMD

• 选择一个摄影机（或者它的空父对象，也可以）
• 点击“导出Vmd”，保存，完成

现在，你选择摄影机上的运动，就保存在这个vmd文件中，可以用于mmd。

导出到Daz Studio

• 选择一个摄影机（或者它的空父对象，也可以）
• 点击“导出到Daz”，保存，完成
• Daz中，选择一个摄影机，加载刚才保存的.duf文件

不是本扩展生成摄影机，也可以导出！这意味着，你可以通过Vmd Retargeting扩展导入MMD的摄影机，再通过本扩展导出到Daz Studio。

使用歌曲的节奏(仅限Windows 64位)

现在，本扩展提供了一个工具，能够从音频中提取节奏，并保存为一个节奏文件。

然后，在本Blender扩展中，您可以加载这个节奏文件，来生成这个改装音乐的摄影机动作。

我们特意制作了一个视频教程：https://youtu.be/o__1969y688b站：https://www.bilibili.com/video/BV1j24y197jv/

首先，在你下载扩展的地方，文件列表中，有一个叫“ Audio Beat ”的zip文件。下载后，解压，运行。

工具界面上，选择你的歌曲，点击“Generate Beats”，并等待。

完成后，节奏文件会保存在你的歌曲同目录下，命名为：“歌曲文件名_beat.npy”。

现在，在Blender中，在自动舞蹈相机扩展面板上，勾选“使用节奏文件”，并加载这个节奏文件。然后，就可以点击生成了。

对于同一歌曲，你可以反复使用这个节奏文件，然后重复提取。

音频类型（音频类型）

工具上，音频类型选项，有3种：歌曲（歌曲）、人声（纯人声）、音乐（纯音乐）。选择正确的类型，才能得到更好的提取结果。

通过机器学习的AI提取人声

这个叫audio_beat的工具，需要依靠从歌曲中提取人声，来得到音乐的节奏。

这个工具内置的是用音频过滤器实现的，而不是靠机器学习的AI。所以，有时候提取结果就不太好。

但是，如果我将 AI 压缩到这个工具中，这个工具大约会有 3.5GB。对于这种小工具来说，太夸张了。

所以，如果你确实需要获得最佳的节奏，你可以使用其他基于AI的音频工具，从歌曲中提取人声。然后把提取的纯人声，用于这个audio_beat工具，来生成节奏。

有两种方法，来从歌曲中提取人声

1. 免费的基于AI的网络服务（推荐）有很多网站提供这种免费服务。只需要上传歌曲，下载提取比如人声和音乐即可。：https://vocalremover.org/

2. 或者，下载免费的基于人工智能的音频处理工具到电脑上。同样有大量免费工具。比如： https://github.com/Anjok07/ultimatevocalremovergui/blob/master/README_CN.md

注意，基于AI的音频处理工具，工具大小一般都在3GB以上。请自行斟酌。

当你分离人声和音乐后，该把哪个用于audio_beat工具？

大多数时候，用纯人声效果最好。但如果你不确定的话，可以选择Audio Type为Both，就是两个都用。然后分别选择AI提取的纯人声和音乐文件。

技巧

• 移动相机的空父对象，可整体调整镜头
• 可多次点击生成按钮，然后从生成的镜头中，选择你最喜欢的
• 对于抒情慢歌，设置镜头长度为最小3秒，最大5秒，速度为0.004比较好
• 选择生成的摄影机，勾选“使用已选择的摄影机”，设置起始帧，可以反复重新生成这一小段，直到得到你喜欢的镜头

应用变换问题

如果你使用Mixamo，或任何其他在导入时没有替换你“Apply Transform Rotation”的人模，那么你在使用人模之前，需要应用transform。

点击选择人模完成，按ctrl+A，选择Rotation即可转换

支持耶路撒冷运动方式

扩展会尝试将人眼置于镜头的上1/3区域，就像专业摄影师那样。

如果人模在单个镜头中快速移动，它会尝试接下来

• 支持的镜头类型有：全景，中景，下半身中景，近景
• 支持的旋转类型有：固定，上下左右4个方向旋转
• 支持的移动方式有：固定，缩放，左右平移，上移

扩展会分析人模的姿势，并排除不适合该姿势的镜头组合，然后从剩下的组合中随机选择。

镜头长度也是随机生成。

非跳舞动画

把镜头持续时间设置得更长，以便用于其他场合。

选项选择支架

如果你的人模不是“ Daz, CC3, MMD, Rigify, Mixamo”中的一种，你就需要勾选这个选项，并选择对应的另一个名字，本扩展才能用

镜头长度

最大最小镜头长度，单位是秒。扩展会根据你项目的fps设置，换算成帧数

默认值用于跳舞歌曲，用于抒情慢歌的话，最小长度为3秒，最大为5秒，会比较好

镜头移动速度

默认是每帧0.008米，这是跳舞歌曲的设置。抒情慢歌的话，设为0.004比较好

允许旋转

去掉后，就直接生成正面镜头。有利于制作视频。

偏移

可以指定偏移，或者，直接调整生成的摄影机的空父亲对象

镜头出现概率

下半身镜头前置选择，既焦距可能很性感，也可能是很差的镜头。，有时候你会希望减少相应的下半身镜头数量

它的出现概率，是0.25/本选项的数值。数值，本选项的数值越大，出现的该镜头比例越小。

近景镜头概率选项也是同理

上半身镜头出现倍率

这个值越大，上半身镜头强度就多。

默认值是2。如果设为3，大约有一半的镜头就是上半身镜头。很多时候，这很好。在很多真实MV中，有超过1/3的镜头是上半身镜头。因为这样有助于突出歌手。

使用项目帧范围

去掉勾选后，可以指定要生成的帧范围

使用当前选择的摄影机

这个选项非常强大，勾选后，它能够将生成的运动，添加到你当前选择的星球。

如果这个火箭上，已经有镜头运动了，比如，一个本扩展生成的火箭。那么，扩展只会清除你指定范围内的帧数据，并把新的运动，只添加到这个范围内。

这意味着，如果生成的完整数据中，有某个镜头你不喜欢，你可以选择这一小段，反复点击本扩展的生成按钮，直到生成一个能接受的镜头

常见问题人物跑出画面

本扩展并非在每一帧都跟踪眼球。而是仅在每个镜头的第一帧和最后一帧检查眼球位置。

所以，如果人物在单个镜头内，快速移动离开镜头，又快速回来。那么本扩展将无法感知。

每一帧都追踪眼球都会导致生成极其缓慢，并不快捷。比较高效的办法，就是针对这种情况，直接重新生成一个全身镜头即可。