向VRChat发送面部追踪

从捕捉应用通过OSC向VRChat发送表情数据

此页面为机器翻译，可能包含不准确的内容。
本指南中，将 VRC Avatar Viewer 的虚拟形象显示应用称为「Viewer 应用」，将动作捕捉应用 (Motion Capture for VRC Avatar Viewer) 称为「Capture 应用」。
​

捕捉应用可以将从摄像头画面推算出的表情数据发送到 VRChat 的 OSC API。如果嵌入到支持 VRCFaceTracking 的虚拟形象中,只用一台摄像头就能让 VRChat 中的虚拟形象表情丰富地动起来。

在 VRChat 中进行面部追踪
在 VRChat 中进行面部追踪

所需物品

  • Motion Capture for VRC Avatar Viewer(捕捉应用 / 在 BOOTH 上发布)
  • 摄像头(推荐 720p 以上)
  • VRChat(Steam / 独立版)
  • 支持 VRCFaceTracking 的虚拟形象
[摄像头] → [捕捉应用] →OSC / UDP :9000→ [VRChat]
Tips
  • 此功能与 VRC Avatar Viewer 独立运行。如果只想在 VRChat 中驱动表情,无需启动查看器
  • 也可以与向 VRC Avatar Viewer 的 VMC 发送同时开启。可以在 VRChat 和查看器两边播放相同的表情
1

VRChat 端的准备

1-1. 启用 OSC

VRChat 默认禁用了 OSC 接收。请通过游戏内菜单启用。

  1. 启动 VRChat 并进入世界
  2. 打开 Quick 菜单,依次进入 Options → OSC
  3. 将 「Enabled」 设为 ON
Tips
  • OSC 的默认接收端口为 9000。捕捉应用也使用此端口
  • 如果之前使用过其他 OSC 应用,可能会残留旧的参数配置文件。如果表情没有按预期动作,请通过 Reset Config 重新生成配置文件(在 VRChat 的 OSC 菜单中)

1-2. 使用支持 VRCFaceTracking 的虚拟形象

VRChat 的虚拟形象需要内置支持 VRCFaceTracking 的表情参数。对于不支持的虚拟形象,即使从捕捉应用发送数据也不会有任何反应。

Tips
  • 如果不确定自己的虚拟形象是否支持,请查看虚拟形象的发布页面是否有「VRCFaceTracking 对应」「VRCFT 对应」等说明
  • 想让不支持的虚拟形象也能支持时,在 BOOTH 上有许多面向各种虚拟形象的面部追踪附加组件
2

捕捉应用端的设置

2-1. 启动摄像头

  1. 启动捕捉应用
  2. 选择「摄像头」「分辨率」「FPS」,然后点击「启动摄像头」
  3. 当预览中显示出自己后,站在摄像头正面 静止 1~2 秒(首次校准)
捕捉应用的界面
捕捉应用的界面
Tips
  • 在使用 HMD 玩 VRChat 时,请将摄像头放置在面部下方至正面位置
  • 需要足够的亮度让面部清晰可见。光线昏暗会大幅降低表情推算精度

2-2. 开启 VRChat OSC 发送

  1. 确认捕捉应用的「VRC OSC Port」为 9000
  2. 点击「VRChat OSC」按钮将其设为 ON
捕捉应用的界面
捕捉应用的界面

将按钮设为 ON 后,捕捉应用将开始以 /avatar/parameters/v2/<参数名> 格式向 127.0.0.1:9000 发送面部追踪的数值。

Tips
  • 发送速率会自动限制在约 30fps。这是为了减轻网络负载和 VRChat 端的处理负载,对于表情的跟随已经足够
  • 捕捉应用与 VRChat 必须在同一台 PC 上运行。不支持从其他 PC 发送的配置
3

动作确认

如果 VRChat 中的虚拟形象表情能够联动摄像头画面而动作,就成功了。这里列举几个值得尝试的要点。

  • 眨眼 闭眼睁眼,确认虚拟形象的眨眼是否有反应
  • 口部动作 念「啊·咿·呜·诶·哦」并活动嘴部,确认口型同步是否动作
  • 眉毛 上下抬动眉毛,确认是否反映到虚拟形象上
  • 视线 左右、上下移动视线,确认虚拟形象的瞳孔是否跟随
在 VRChat 中进行面部追踪
在 VRChat 中进行面部追踪
Tips
  • 部分参数(脸颊、舌头等)无法通过普通摄像头进行追踪。即使虚拟形象上已实现,也可能不会动作
  • 如果觉得表情动作较弱,可以在捕捉应用的「动作调整」部分调整响应度和动作幅度