让头像动起来（捕捉应用）

用摄像头和动作捕捉让头像动起来吧

此页面为机器翻译，可能包含不准确的内容。

VRC Avatar Viewer 和 Motion Capture for VRC Avatar Viewer（以下"捕捉应用"）相结合，可以将网络摄像头或 iPhone (iFacialMocap) 的动作反映到头像上。还可以使用 OBS Studio 等软件用于直播。本指南将按以下流程进行设置。

此外，捕捉应用只在本地处理摄像头画面和从 iFacialMocap 接收的数据。除用户主动开启的 VMC 和 VRChat OSC 通信外，不会与外部进行任何通信。

动作捕捉和面部追踪
动作捕捉和面部追踪
OBS 集成
OBS 集成
  1. 使用捕捉应用追踪您的动作和面部表情
  2. 通过 VMC 协议将其发送到头像查看器以驱动头像
  3. 将头像查看器引入 OBS 作为直播源（可选）

所需物品

  • VRC Avatar Viewer（主程序）
  • Motion Capture for VRC Avatar Viewer（捕捉应用／在 BOOTH 分发）
  • 网络摄像头（如果想要驱动身体和手臂。推荐 720p 或更高）
  • 支持 Face ID 的 iPhone 或 iPad Pro + iFacialMocap（仅想驱动面部表情和头部，或提高面部表情精度的情况）
  • OBS Studio 等直播软件（可选）
[网络摄像头] → [捕捉应用] →VMC / UDP→ [头像查看器] →Spout / 透明窗口→ [OBS]
[iPhone (iFacialMocap)] → [捕捉应用] →VMC / UDP→ [头像查看器]
提示
  • 本指南首先说明在单台 PC 上运行所有内容的配置。如果想分开拍摄 PC 和直播 PC，请参阅第 2 步末尾的补充说明
  • 如果仅使用 iFacialMocap 而不使用网络摄像头，可以驱动头像的面部表情、头部动作和视线。驱动身体、手臂和下身需要网络摄像头
  • 关于头像查看器本身的安装和头像的加载，请先参阅 从头像导出到显示
1

准备捕捉应用

捕捉应用是一个 Windows 应用，从网络摄像头视频中估计身体、手臂、手指和面部表情，并通过 VMC 协议将其发送到外部。即使没有网络摄像头，也可以使用 iFacialMocap 发送面部表情、头部和视线。

捕捉应用屏幕
捕捉应用屏幕

1-1. 下载和启动

  1. 从 BOOTH 分发页面下载捕捉应用 ZIP
  2. 解压 ZIP，双击 Capture.exe 启动

1-2. 启动网络摄像头

  1. 选择"摄像头"、"分辨率"和"FPS"
  2. 按下"启动摄像头"按钮
  3. 确认预览中能看到自己
  4. 之后在第 2 步中需要按下 "初始校准" 按钮，所以请站在能以自然姿势面向摄像头的位置
启动摄像头
启动摄像头
提示
  • 请站在上半身能完整进入画面的位置。
  • 背景应尽可能简单，亮度应足以清楚看到脸部

1-3. 在没有网络摄像头的情况下使用（仅 iFacialMocap）

如果没有网络摄像头，请从摄像头下拉列表中选择 "无摄像头 (使用 iFacialMocap)"。在此模式下，不使用"启动摄像头"按钮，仅发送从 iPhone 接收的面部表情、头部方向和视线。

  1. 在 iPhone 上启动 iFacialMocap，记下屏幕上显示的 IP 地址
  2. 在捕捉应用的"摄像头"中选择 "无摄像头 (使用 iFacialMocap)"
  3. 在"iFacialMocap 的 IP 地址"中输入 iPhone 的 IP
  4. 将 "使用 iFacialMocap" 设置为 ON
  5. 当状态变为 "接收中" 时，按下 "初始校准"
  6. 校准后按下 "开始发送"
此模式下可以工作的内容
  • 面部表情、头部、视线 可以从 iFacialMocap 获取
  • 手臂、上半身、下半身 需要网络摄像头。仅使用 iFacialMocap 时，请将发送部位集中在 面部表情 和 头部

1-4. 调整动作

如果动作不理想，可以使用屏幕下方 动作调整 的滑块进行调整。上半身、手臂、手部和眼睛部分有单独的参数。

动作调整
动作调整
部分 参数 效果
上半身 稳定化 减少摇晃（越强追随越慢）
上半身 响应性 对急速动作的追随度（越强动作越敏捷）
上半身 动作量 输出动作的量（越小越柔和）
手臂 稳定化 减少手臂细微摇晃（越强追随越慢）
手臂 响应性 手臂对急速动作的追随度（越强动作越敏捷）
手臂 动作量 手臂动作的量（越小越柔和）
手部 前后 调整手部向身体前后哪一侧更容易伸出
眼睛 动作量 调整视线动作的大小
眼睛 上下位置 调整视线上下方向的基准位置
眼睛 闭合易度 调整眨眼和闭眼有多容易出现
眼睛 睁开易度 在通常睁开眼睛的状态下，使头像的眼睛更容易完全睁开

设置在应用退出时自动保存。眼睛项目无论是网络摄像头还是 iFacialMocap 获取面部表情，都会影响视线和眨眼输出。

1-5. 人类姿态和头像姿态不匹配时

按下"重新校准"按钮后，会在所选秒数的倒计时结束后重新记录基准姿态。首次显示 "初始校准"，第二次及以后显示 "重新校准"。

1-6. 选择要发送的部位

使用外部发送的 "发送部位" 复选框，可以单独开启/关闭反映到头像的部位。关闭不想让其动作的部位后，该部位将保持静止（默认姿态）。

选择要发送的部位
选择要发送的部位
部位 说明
面部表情 眨眼、嘴巴、视线等面部追踪结果
头部 头部方向（颈部旋转）
手臂 两臂和手指的动作
上半身 躯干的上下和前后倾斜，肩膀的动作
下半身 腰部和腿部的动作
使用示例
  • 坐在椅子上直播时，关闭 下半身 可以减少站起和坐下的误检测
  • 使用其他工具（如 VRCFaceTracking 等）进行面部表情追踪时，可以关闭 面部表情 来避免冲突
  • 仅使用 iFacialMocap 时，打开 面部表情 和 头部，关闭 手臂、上半身 和 下半身 会更容易使用

1-7. 口型同步

从麦克风音频生成嘴部动作（口型同步）的功能。比网络摄像头面部追踪反应更快，嘴部动作更自然。方便进行唱歌直播或戴着口罩直播。

口型同步
口型同步

使用方法

  1. 将"口型同步"部分的 "打开" 开关设为 ON
  2. 从"麦克风"下拉列表中选择要使用的输入设备
  3. 发出声音，如果旁边的音量计响应，则识别成功
提示
  • 当口型同步 ON 时，麦克风的音量和元音分析结果优先于网络摄像头的嘴部动作
  • 如果麦克风没有反应，请在 Windows 声音设置中检查输入设备是否已启用
2

与头像查看器联动以驱动头像

从捕捉应用向头像查看器发送动作时使用 VMC 协议（OSC over UDP）。只需在头像查看器端启用接收，在捕捉应用端指定发送目标即可连接。

2-1. 头像查看器端：在直播模式中启动接收

  1. 在头像查看器中显示头像
  2. 点击工具栏中的 直播模式 按钮
  3. 根据需要打开 "面部追踪"，将类型设为与捕捉应用端"面部追踪"相同
  4. 确认 VMC 接收端口 为 39539
  5. 按下接收的 "开始" 按钮
直播模式屏幕
直播模式屏幕

直播面板的主要项目

项目内容
IK开启/关闭手臂位置修正。默认为 OFF。如果手腕或手臂方向不自然，请保持 OFF 使用
视野角调整直播用摄像头的视角。越小越平面，适合 VTuber 直播；越大越宽角
缩放强调调整伴随头部前后移动的缩放变化强度
转向正面不移动头像位置，只将朝向恢复为正前方
相机位置：保存 / 恢复保存当前直播用摄像头位置和视野角，稍后可恢复为相同构图
使用 VRCFT 的情况
  • 将面部追踪类型设为 VRCFT 时，Viewer 端除 VMC 外还会使用 VRChat OSC 接收端口。通常保留 9000 即可
  • 如果 VRChat 主体等其他应用使用相同的 OSC 端口，可能无法接收。此时请更改端口

2-2. 捕捉应用端：校准后启动发送

  1. 将捕捉应用的"发送目标 IP"设为 127.0.0.1，"VMC 端口"设为 39539
  2. 使用 VRCFT 时，也将"VRC OSC 端口"设为与 Viewer 端 VRChat OSC 接收端口 相同的值（通常为 9000）
  3. 准备网络摄像头或 iFacialMocap 接收
  4. 按下"初始校准"按钮
  5. 等待倒计时结束以记录初始姿态
  6. 按下"开始发送"按钮
校准
校准
开始发送动作
开始发送动作

现在头像将开始随着您的动作移动。仅使用 iFacialMocap 时，面部表情、头部和视线将被反映。

能够按下"开始发送"按钮的条件
  • 使用网络摄像头时：摄像头已启动且初始校准已完成
  • 仅使用 iFacialMocap 时：摄像头为 "无摄像头 (使用 iFacialMocap)"，iFacialMocap 接收中，初始校准已完成
  • 仅使用 iFacialMocap 时，"启动摄像头"按钮将被禁用。这是正常现象
关于发送类型
  • "开始发送"按钮下将显示 "发送类型：VMC" 或 "发送类型：VMC + VRChat OSC" 的标题。这是当前的发送目标协议
  • 根据面部表情发送格式（VRM 标准 / Perfect Sync / VRCFT）的选择而切换标题。仅选择 VRCFT 时，面部追踪数据才会流向 VMC 和 VRChat OSC
  • 关于面部追踪的详细信息，请参阅 面部追踪 或 VRCFaceTracking 联动 指南
提示
  • 如果动作不连贯，可以在 Viewer 端直播模式中打开 "动作平滑"，并针对头部、身体、手/手臂、视线、眨眼、眉毛、嘴巴分别调整
  • 向右移动越多，动作越平滑，抖动越少。代价是延迟更大
  • 使用 VRCFT 时，面部表情相关的平滑不会生效
动作平滑
动作平滑

2-3. 无法正常运作时

无法开始发送、头像或表情不动、iFacialMocap 一直处于等待连接状态、动作卡住等情况的检查项目，已汇总在 无法正常运作时(FAQ) 中。

2-4. 如果要从其他 PC 发送

当想分开拍摄和直播 PC 时，将捕捉应用端的"发送目标 IP"改为头像查看器 PC 的 IP 地址。请在头像查看器 PC 的防火墙中允许 UDP 39539 的接收。推荐使用同一 LAN 和有线连接。

3

面部追踪

面部追踪的详细内容已汇总在单独的指南中。

4

将头像导入 OBS Studio

将头像查看器作为 OBS Studio 直播源导入的方法（Spout2 输出／背景透明模式 + 窗口捕获）已汇总在 输出到 OBS 中。