驱动头像(VMC连接、OBS集成)

使用网络摄像头和动作捕捉驱动头像

此页面为机器翻译，可能包含不准确的内容。
本指南中，将 VRC Avatar Viewer 的虚拟形象显示应用称为「Viewer 应用」，将动作捕捉应用 (Motion Capture for VRC Avatar Viewer) 称为「Capture 应用」。

VRC Avatar Viewer 和 Motion Capture for VRC Avatar Viewer（以下"捕捉应用"）相结合，可以将网络摄像头或 iPhone (iFacialMocap) 的动作反映到虚拟形象上。还可以使用 OBS Studio 等软件用于直播。本指南将按以下流程进行设置。

捕捉应用在本地处理摄像头视频和 iFacialMocap 的接收数据。除了用户明确执行的 VMC 和 VRChat OSC 通信外，不与任何外部进行通信。

动作捕捉和面部追踪
动作捕捉和面部追踪
OBS 集成
OBS 集成
  1. 使用捕捉应用追踪您的动作和面部表情
  2. 通过 VMC 协议将其发送到虚拟形象查看器以驱动虚拟形象
  3. 将虚拟形象查看器引入 OBS 作为直播源（可选）

所需物品

  • VRC Avatar Viewer（主程序）
  • Motion Capture for VRC Avatar Viewer（捕捉应用／在 BOOTH 分发）
  • 网络摄像头（如果想要驱动身体和手臂。推荐 720p 或更高）
  • 支持 Face ID 的 iPhone 或 iPad Pro + iFacialMocap（仅想驱动面部表情和头部，或提高面部表情精度的情况）
  • OBS Studio 等直播软件（可选）
[网络摄像头] → [捕捉应用] →VMC / UDP→ [虚拟形象查看器] →Spout / 透明窗口→ [OBS]
[iPhone (iFacialMocap)] → [捕捉应用] →VMC / UDP→ [虚拟形象查看器]
提示
  • 本指南首先说明在单台 PC 上运行所有内容的配置。如果想分开拍摄 PC 和直播 PC，请参阅第 2 步末尾的补充说明
  • 如果仅使用 iFacialMocap 而不使用网络摄像头，可以驱动虚拟形象的面部表情、头部动作和视线。驱动身体、手臂和下身需要网络摄像头
  • 关于虚拟形象查看器本身的安装和虚拟形象的加载，请先参阅 从虚拟形象导出到显示
1

准备捕捉应用

捕捉应用是一个 Windows 应用，从网络摄像头视频中估计身体、手臂、手指和面部表情，并通过 VMC 协议将其发送到外部。即使没有网络摄像头，也可以使用 iFacialMocap 发送面部表情、头部和视线。

捕捉应用屏幕
捕捉应用屏幕

1-1. 下载和启动

  1. 从 BOOTH 分发页面下载捕捉应用 ZIP
  2. 解压 ZIP，双击 Capture.exe 启动

1-2. 启动网络摄像头

  1. 选择"摄像头"、"分辨率"和"FPS"
  2. 按下"启动摄像头"按钮
  3. 确认预览中显示您本人
  4. 之后在第 2 步中需要按下 "初始校准" 按钮，所以请站在能以自然姿势面向摄像头的位置
启动摄像头
启动摄像头
提示
  • 请将上半身放在屏幕范围内的位置。
  • 背景应尽可能简单，亮度应足以清楚看到脸部

1-3. 在没有网络摄像头的情况下使用（仅 iFacialMocap）

如果没有网络摄像头，请从摄像头下拉列表中选择 "无摄像头 (使用 iFacialMocap)"。在此模式下，不使用"启动摄像头"按钮，仅发送从 iPhone 接收的面部表情、头部方向和视线。

  1. 在 iPhone 上启动 iFacialMocap，记下屏幕上显示的 IP 地址
  2. 在捕捉应用的"摄像头"中选择 "无摄像头 (使用 iFacialMocap)"
  3. 在"iFacialMocap 的 IP 地址"中输入 iPhone 的 IP
  4. 将 "使用 iFacialMocap" 设置为 ON
  5. 当状态变为 "接收中" 时，按下 "初始校准"
  6. 校准后按下 "开始发送"
此模式下可以工作的内容
  • 面部表情、头部、视线 可以从 iFacialMocap 获取
  • 手臂、上半身、下半身 需要网络摄像头。仅使用 iFacialMocap 时，请将发送部位集中在 面部表情 和 头部

1-4. 调整动作

如果动作不正确，可以使用屏幕下部 动作调整 的滑块进行调整。上半身、手臂、手部和眼睛部分有单独的参数。

动作调整
动作调整
部分 参数 效果
上半身 稳定化 减少摇晃（越强追随越慢）
上半身 响应性 对急速动作的追随度（越强动作越敏捷）
上半身 动作量 输出动作的量（越小越柔和）
手臂 稳定化 减少手臂细微摇晃（越强追随越慢）
手臂 响应性 手臂对急速动作的追随度（越强动作越敏捷）
手臂 动作量 手臂动作的量（越小越柔和）
手部 前后 调整手部向身体前后哪一侧更容易伸出
眼睛 动作量 调整视线动作的大小
眼睛 上下位置 调整视线上下方向的基准位置
眼睛 闭合易度 调整眨眼和闭眼有多容易出现
眼睛 睁开易度 在通常睁开眼睛的状态下，使虚拟形象的眼睛更容易完全睁开

设置在应用退出时自动保存。眼睛项目无论是网络摄像头还是 iFacialMocap 获取面部表情，都会影响视线和眨眼输出。

1-5. 人类姿态和虚拟形象姿态不匹配时

按下"重新校准"按钮时，选定的秒数倒计时后会重新取得基准姿态。首次显示 "初始校准"，第二次及以后显示 "重新校准"。

1-6. 选择要发送的部位

使用外部发送的 "发送部位" 复选框，可以单独开启/关闭反映到虚拟形象的部位。关闭不想移动的部位时，该部位将保持静止（默认姿态）。

选择要发送的部位
选择要发送的部位
部位 说明
面部表情 眨眼、嘴巴、视线等面部追踪结果
头部 头部方向（颈部旋转）
手臂 两臂和手指的动作
上半身 躯干的上下和前后倾斜，肩膀的动作
下半身 腰部和腿部的动作
使用示例
  • 坐在椅子上直播时，关闭 下半身 可以减少站起和坐下的误检测
  • 使用其他工具（如 VRCFaceTracking 等）进行面部表情追踪时，可以关闭 面部表情 来避免冲突
  • 仅使用 iFacialMocap 时，打开 面部表情 和 头部，关闭 手臂、上半身 和 下半身 会更容易使用

1-7. 口型同步

从麦克风音频生成嘴部动作（口型同步）的功能。比网络摄像头面部追踪反应更快，嘴部动作更自然。方便进行唱歌直播或戴着口罩直播。

口型同步
口型同步

使用方法

  1. 将"口型同步"部分的 "打开" 开关设为 ON
  2. 从"麦克风"下拉列表中选择要使用的输入设备
  3. 发出声音，如果旁边的音量计响应，则识别成功
提示
  • 当口型同步 ON 时，麦克风的音量和元音分析结果优先于网络摄像头的嘴部动作
  • 如果麦克风没有反应，请在 Windows 声音设置中检查输入设备是否已启用
2

与虚拟形象查看器联动以驱动虚拟形象

从捕捉应用向虚拟形象查看器发送动作时使用 VMC 协议（OSC over UDP）。只需在虚拟形象查看器端启用接收，在捕捉应用端指定发送目标即可连接。

2-1. 虚拟形象查看器端：在直播模式中启动接收

  1. 在虚拟形象查看器中显示虚拟形象
  2. 点击工具栏中的 直播模式 按钮
  3. 根据需要打开 "面部追踪"，将类型设为与捕捉应用端"面部追踪"相同
  4. 确认 VMC 接收端口 为 39539
  5. 按下接收的 "启动" 按钮
直播模式屏幕
直播模式屏幕

直播面板的主要项目

项目内容
IKON/OFF 手臂位置修正。标准设置为 OFF。如果手腕或手臂方向不自然，请保持 OFF 使用
视野角调整直播用摄像头的视角。越小越平面，适合 VTuber 直播；越大越宽角
缩放强度调整伴随头部前后移动的缩放变化强度
面向正前方不移动虚拟形象位置，只将朝向恢复为正前方
摄像头位置：保存 / 恢复保存当前直播用摄像头位置和视野角，稍后可恢复为相同构图
使用 VRCFT 的情况
  • 将面部追踪类型设为 VRCFT 时，Viewer 端除 VMC 外还会使用 VRChat OSC 接收端口。通常保留 9000 即可
  • 如果 VRChat 主体等其他应用使用相同的 OSC 端口，可能无法接收。此时请更改端口

2-2. 捕捉应用端：校准后启动发送

  1. 将捕捉应用的"发送目标 IP"设为 127.0.0.1，"VMC 端口"设为 39539
  2. 使用 VRCFT 时，也将"VRC OSC 端口"设为与 Viewer 端 VRChat OSC 接收端口 相同的值（通常为 9000）
  3. 准备网络摄像头或 iFacialMocap 接收
  4. 按下"初始校准"按钮
  5. 等待倒计时结束以记录初始姿态
  6. 按下"开始发送"按钮
校准
校准
开始发送动作
开始发送动作

现在虚拟形象将开始随着您的动作移动。仅使用 iFacialMocap 时，面部表情、头部和视线将被反映。

能够按下"开始发送"按钮的条件
  • 使用网络摄像头时：摄像头已启动且初始校准已完成
  • 仅使用 iFacialMocap 时：摄像头为 "无摄像头 (使用 iFacialMocap)"，iFacialMocap 接收中，初始校准已完成
  • 仅使用 iFacialMocap 时，"启动摄像头"按钮将被禁用。这是正常动作
关于发送类型
  • "开始发送"按钮下将显示 "发送类型：VMC" 或 "发送类型：VMC + VRChat OSC" 的标题。这是当前的发送目标协议
  • 根据面部表情发送格式（VRM 标准 / Perfect Sync / VRCFT）的选择而切换标题。仅选择 VRCFT 时，面部追踪数据才会流向 VMC 和 VRChat OSC
  • 关于面部追踪的详细信息，请参阅 面部追踪 或 VRCFaceTracking 联动 指南
提示
  • 如果动作不连贯，可以在 Viewer 端直播模式中打开 "动作平滑"，并针对头部、身体、手/手臂、眼线、眨眼、眉毛、嘴巴分别调整
  • 向右移动越多，动作越平滑，抖动越少。代价是延迟更大
  • 使用 VRCFT 时，面部表情相关的平滑将无效
动作平滑
动作平滑

2-3. 动作不正确时

无法启动发送、虚拟形象或表情不动、iFacialMocap 保持连接等待、动作冻结等问题的检查项已汇总在 直播模式 FAQ 中。

2-4. 如果要从其他 PC 发送

当想分开拍摄和直播 PC 时，将捕捉应用端的"发送目标 IP"改为虚拟形象查看器 PC 的 IP 地址。请在虚拟形象查看器 PC 的防火墙中允许 UDP 39539 的接收。推荐使用同一 LAN 和有线连接。

3

面部追踪

面部追踪的详细内容已汇总在单独的指南中。

4

将虚拟形象导入 OBS Studio

将虚拟形象查看器作为 OBS Studio（以下简称 OBS）的直播源导入有两种方法。使用 Spout2 的方法在画质和性能上都更优，推荐使用，但也可以使用不需要插件的"窗口捕捉"方法。

方法 A：使用 Spout2 输出到 OBS（推荐）

Spout 是 Windows 上应用之间直接传输视频的机制。可以以高画质、低延迟将虚拟形象传输到 OBS。

  1. OBS 端的准备 安装 Spout2 Plugin for OBS Studio 并重启 OBS
  2. 虚拟形象查看器端 打开直播模式，启动 Spout 直播
  3. OBS 端 添加源时选择"Spout2 Capture"，选择从虚拟形象查看器发送的输出
提示
  • Spout 可以传输 Alpha 通道（透明信息），所以可以在 OBS 中保持背景透明并合成
  • Spout 输出与常规显示一样应用抗锯齿

方法 B：背景透明模式 + 窗口捕捉

适合不想安装插件或同时用作桌面吉祥物的情况。

  1. 从虚拟形象查看器的工具栏中打开 背景透明模式（背景消失，仅保留虚拟形象）
  2. 在 OBS 中添加"窗口捕捉"源，选择虚拟形象查看器窗口
  3. 通过裁剪和大小调整将虚拟形象放置在您喜欢的位置
提示
  • 在背景透明模式中仍可以用鼠标操作虚拟形象摄像头
  • 在背景透明模式中仍可以打开直播模式，因此可以在动作虚拟形象同时直播