直播模式(VMC连接、OBS联动)

使用网络摄像头和动作捕捉让头像动起来

此页面为机器翻译,可能包含不准确的内容。
本指南中,将 VRC Avatar Viewer 的虚拟形象显示应用称为「Viewer 应用」,将动作捕捉应用 (Motion Capture for VRC Avatar Viewer) 称为「Capture 应用」

将 VRC Avatar Viewer 与 Motion Capture for VRC Avatar Viewer(以下简称"采集应用")结合使用,只需一台网络摄像头即可驱动虚拟形象。还可以配合 OBS Studio 等软件用于直播。本指南将按以下流程进行设置。

采集应用会在本地处理所有摄像头画面,不会向外部发送任何数据。除用户明确执行的 VMC 或 VRChat OSC 通信外,不进行任何外部通信。

动作捕捉与面部追踪
动作捕捉与面部追踪
OBS联动
OBS联动
  1. 通过采集应用追踪自己的动作
  2. 经由 VMC 协议发送至 VRC Avatar Viewer 以驱动虚拟形象
  3. 将 VRC Avatar Viewer 导入 OBS 作为直播源(可选)

所需内容

  • VRC Avatar Viewer(主程序)
  • Motion Capture for VRC Avatar Viewer(采集应用/在 BOOTH 上分发
  • 网络摄像头(推荐 720p 及以上)
  • OBS Studio 等直播软件(可选)
[网络摄像头] → [采集应用] →VMC / UDP→ [VRC Avatar Viewer] →Spout / 透明窗口→ [OBS]
Tips
  • 本指南首先介绍在一台 PC 上运行所有组件的配置。如需将直播 PC 与采集 PC 分开,请参阅 Step 2 末尾的补充说明
  • 关于 VRC Avatar Viewer 本体的安装及虚拟形象的加载,请先阅读从导出虚拟形象到显示
1

准备采集应用

采集应用是一款 Windows 应用程序,可从网络摄像头画面中推算全身动作(躯体、手臂、手指、表情),并通过 VMC 协议向外发送。

采集应用界面
采集应用界面

1-1. 下载与启动

  1. BOOTH 分发页面下载采集应用的 ZIP 文件
  2. 解压 ZIP,双击 Capture.exe 启动

1-2. 开始摄像头

  1. 选择"摄像头"、"分辨率"、"FPS"
  2. 点击"开始摄像头"按钮
  3. 预览画面中出现自己后,站在摄像头正前方静止 1~2 秒(初次校准)
开始摄像头
开始摄像头
Tips
  • 请站在全身能被画面完整收录的位置。仅上半身也可以动作,但全身追踪需要完整的全身画面
  • 背景尽量简洁,光线亮度以能清晰看到脸部为宜

1-3. 调整动作

当预设效果不理想时,可通过画面下方的滑块进行调整。上半身 / 手臂各区段分别提供以下 3 项调整。

动作调整
动作调整
参数 效果
稳定性 抑制抖动(值越大,跟随延迟越明显)
响应性 对急剧动作的跟随程度(值越大,动作越灵敏)
动作幅度 输出动作的幅度大小(值越小,动作越收敛)

设置将在应用退出时自动保存。

1-4. 真人姿势与虚拟形象姿势出现偏差时

点击"重新校准"按钮,倒计时 3 秒后重新采集基准姿势。

1-5. 选择要发送的部位

通过画面右侧"发送部位"的复选框,可逐个 ON/OFF 反映到虚拟形象的部位。将不想移动的部位设为 OFF 后,该部位将保持静止(默认姿势)。

选择要发送的部位
选择要发送的部位
部位 说明
表情 眨眼、嘴部、视线等面部追踪结果
头部 头部朝向(颈部旋转)
手臂 双臂及手指的动作
上半身 躯干的上下、前后倾斜及肩部动作
下半身 腰部及腿部的动作
使用示例
  • 坐在椅子上直播时,将下半身设为 OFF,可减少站立/坐下的误检测
  • 表情追踪使用其他工具(如 VRCFaceTracking 等)时,将表情设为 OFF 可避免冲突

1-6. 口型同步

该功能通过麦克风音频生成嘴部动作(口型同步)。比网络摄像头面部追踪响应更快,嘴部动作更自然。适合歌唱直播或戴着口罩直播的场景。

口型同步
口型同步

使用方法

  1. 将"口型同步"区段的"开启"开关设为 ON
  2. 从"麦克风"下拉菜单中选择要使用的输入设备
  3. 发出声音,确认旁边的音量计有反应即表示识别成功
Tips
  • 口型同步开启时,麦克风音量及元音分析结果将优先于网络摄像头的嘴部动作
  • 麦克风无反应时,请在 Windows 声音设置中确认输入设备是否已启用
  • 所选麦克风将保存至 PlayerPrefs,下次启动时会自动恢复
2

与 VRC Avatar Viewer 联动以驱动虚拟形象

采集应用向 VRC Avatar Viewer 发送动作数据使用的是 VMC 协议(OSC over UDP)。只需在 VRC Avatar Viewer 侧启用接收,并在采集应用侧指定发送目标即可完成联动。

2-1. VRC Avatar Viewer 侧:开启 VMC 接收

  1. 在 VRC Avatar Viewer 中显示虚拟形象
  2. 点击工具栏的直播模式按钮
  3. 将"VMC 接收"设为 ON(默认端口:39539
直播模式界面
直播模式界面

2-2. 采集应用侧:开始发送

  1. 将采集应用的"发送目标 IP"设为 127.0.0.1,"Port"设为 39539
  2. 点击"开始发送"按钮
开始发送动作数据
开始发送动作数据

此时虚拟形象将开始随您的动作而动。

关于发送类型
  • "开始发送"按钮下方会显示 "发送类型: VMC""发送类型: VMC + VRChat OSC" 的说明文字,表示当前的发送目标协议
  • 说明文字会根据表情发送格式(VRM 标准 / Perfect Sync / VRCFT)的选择而切换。仅当选择 VRCFT 时,面部追踪数据会在 VMC 的基础上同时发送至 VRChat OSC
  • 表情追踪的详细信息请参阅表情追踪VRCFaceTracking 联动指南
Tips
  • 如果动作显得生硬,可切换"动作平滑度"预设(共 6 档),调整跟随的敏捷感与流畅感之间的平衡
动作平滑度
动作平滑度

2-3. 无法正常运作时

  • 虚拟形象没有反应 请确认 VRC Avatar Viewer 的 VMC 接收是否已开启,以及采集应用侧的 IP 地址/端口是否匹配
  • 动作卡住 请确认采集应用预览中是否有自己的画面,以及追踪是否正常工作
  • 动作效果不佳 如果服装与背景颜色相近,追踪精度会明显下降。请尽量避免穿与地板或墙壁同色系的服装。即使人眼看起来有差异的颜色,在摄像头画面中有时也几乎相同。推荐穿着与背景形成强烈对比的颜色的服装。

2-4. 希望从另一台 PC 发送时

如需将采集 PC 与直播 PC 分开,请将采集应用侧的"发送目标 IP"设为 VRC Avatar Viewer 所在 PC 的 IP 地址。并在 VRC Avatar Viewer 所在 PC 的防火墙中允许接收 UDP 39539。推荐在同一局域网内使用有线连接。

2-5. 其他注意事项

3

表情追踪

表情追踪相关内容已整理在单独的指南中。

4

将虚拟形象导入 OBS Studio

将 VRC Avatar Viewer 作为 OBS Studio(以下简称 OBS)直播源导入的方法有两种。使用 Spout2 的方法在画质和性能方面均更具优势,推荐使用;不需要安装插件的"窗口采集"方式也同样可用。

方法 A:通过 Spout2 输出至 OBS(推荐)

Spout 是一种在 Windows 应用程序之间直接传输视频的机制。可将虚拟形象以高画质、低延迟的方式传送至 OBS。

  1. OBS 侧准备 安装 Spout2 Plugin for OBS Studio 并重启 OBS
  2. VRC Avatar Viewer 侧 打开直播模式,将 Spout 输出设为 ON
  3. OBS 侧 添加来源时选择"Spout2 Capture",并选择从 VRC Avatar Viewer 发送过来的输出
Tips
  • Spout 也可传递 Alpha 通道(透明信息),因此可以在背景保持透明的状态下在 OBS 中进行合成

方法 B:背景透明模式 + 窗口采集

适合不想安装插件,或同时希望作为桌面挂件使用的场景。

  1. 从 VRC Avatar Viewer 工具栏开启背景透明模式(背景消失,只剩虚拟形象)
  2. 在 OBS 中添加"窗口采集"来源,选择 VRC Avatar Viewer 的窗口
  3. 通过裁剪和尺寸调整将虚拟形象放置在喜欢的位置
Tips
  • 在背景透明模式下,仍可用鼠标操作虚拟形象的摄像机