表情追踪

使用网络摄像头/iPhone进行面部追踪

此页面为机器翻译，可能包含不准确的内容。
本指南中，将 VRC Avatar Viewer 的虚拟形象显示应用称为「Viewer 应用」，将动作捕捉应用 (Motion Capture for VRC Avatar Viewer) 称为「Capture 应用」。

Motion Capture for VRC Avatar Viewer (以下「捕捉应用」) 也可以将眨眼、嘴部动作等表情反映到虚拟形象上。分别选择表情数据的获取方式和向虚拟形象的发送格式来使用。

2 种数据源 (获取方式)

  • 网络摄像头 (默认) 从连接到 PC 的网络摄像头视频中推测表情。无需额外设备,任何人都可以使用,但有无法获取脸颊和舌头动作等限制。
  • iPhone (iFacialMocap) 使用支持 Face ID 的 iPhone 和 iFacialMocap (付费 iOS 应用),可以获取基于 ARKit 的 52 种高精度表情数据。表现力远超网络摄像头。

获取的表情数据以何种格式发送到虚拟形象,通过「表情发送格式」选择 (详情请参阅 Step 3)。

Tips
  • 当 iFacialMocap 连接中时,iFacialMocap 的表情数据会优先于网络摄像头 (身体动作仍来自网络摄像头)
  • 无论发送格式如何,只要 iFacialMocap 启用,就会使用其表情数据
  • VRChat 联动的详细信息请参阅 在 VRChat 中进行面部追踪 指南
1

使用网络摄像头捕捉表情

默认方式。按照 直播模式指南 的步骤启动摄像头后,会自动从网络摄像头推测表情。无需额外设置。

使用网络摄像头捕捉表情
使用网络摄像头捕捉表情

1-1. 可获取的表情

  • 眨眼 (左右眼分别)
  • 元音 (啊・伊・呜・诶・哦)
  • 视线 (上下左右)
  • 眉毛上下、嘴部开合、嘴角动作 等

1-2. 无法获取 / 不擅长的内容

  • 脸颊鼓起、舌头动作
  • 在暗处精度会大幅下降。需要能清楚看到面部的亮度
  • 侧脸、低头等看不到正面的角度
发送格式的选择方法
  • 仅使用网络摄像头时推荐 VRM 标准。在大多数虚拟形象上都能自然地动作
  • Perfect Sync 和 VRCFT 也可以工作。但是,如上所述存在无法获取的动作。
2

使用 iPhone 获取高精度表情 (iFacialMocap)

使用支持 Face ID 的 iPhone (iPhone X 以后) 可以大幅提升表情精度。需要 iFacialMocap 这款 iOS 应用。

iFacialMocap
iFacialMocap

2-1. 所需物品

  • 支持 Face ID 的 iPhone 或 iPad Pro
  • 在 App Store 购买的 iFacialMocap (iOS 付费应用)
  • iPhone 和 PC 连接到 同一 Wi-Fi (LAN)

2-2. iPhone 端设置

  1. 在 iPhone 上启动 iFacialMocap
  2. 画面上会显示「请连接 PC 端的软件」,记下 IP 地址 (例: 192.168.1.10)
未显示 IP 地址时
  • 请打开 iFacialMocap 的设置,确认「目标设置」。如果「目标 IP 地址」中已有值则不会显示。按下其下方的「重置目标设置」并重启应用即可显示。

2-3. 捕捉应用端设置

  1. 在捕捉应用的「iFacialMocap 的 IP 地址」栏中输入记下的 iPhone 的 IP
  2. 开启「使用 iFacialMocap」
  3. 旁边的状态变为 「接收中」 即连接成功

2-4. 状态显示的含义

状态含义
停止中「使用 iFacialMocap」开关为 OFF
IP 未输入iPhone 的 IP 为空。输入后会自动尝试连接
等待连接已发送握手但 iPhone 没有响应 (iFacialMocap 未启动 / IP 错误 / 不同网络等)
接收中正常接收表情数据

2-5. 可获取的表情

可以获取基于 ARKit 的 52 种 BlendShapes + 头部旋转 + 左右视线。包含网络摄像头无法获取的脸颊鼓起和舌头 (虚拟形象需要具有相应的 BlendShapes)。

关于与网络摄像头并用
  • 启用 iFacialMocap 期间,身体、手臂、手指的动作仍会从网络摄像头获取
  • 这是「仅表情用 iFacialMocap,身体用网络摄像头」的混合配置
3

选择表情发送格式 (BlendShapes 规格)

在捕捉应用的「表情发送格式」下拉菜单中选择。请根据虚拟形象的支持情况选择。

表情发送格式的选择
表情发送格式的选择

VRM 标准

通过 VMC 发送 VRM 原本具有的眨眼、元音、视线等基本表情。任何虚拟形象都能动作,但表现较为简单。仅使用网络摄像头时的默认推荐。

Perfect Sync

通过 VMC 发送 ARKit 的 52 种 BlendShapes。在支持 Perfect Sync 的虚拟形象上,可以反映嘴角、眉毛、眼睑等细腻的动作。与 iFacialMocap 组合使用效果显著。

VRCFT

采用 VRCFaceTracking 5.x 的 Unified Expressions 规格,同时发送到 VMC 和 VRChat OSC 两者。其特点是可以在 VRChat 内的虚拟形象和查看器 (用于 OBS 直播等) 上重现相同的表情。

Tips
  • 选择 VRCFT 后,「开始发送」按钮下方的说明会变为 「发送类型: VMC + VRChat OSC」
  • VRChat 联动的详细步骤请参阅 在 VRChat 中进行面部追踪 指南
  • 捕捉应用端的「表情发送格式」和 Viewer 端的「类型」需要选择相同的项目 (详情请参阅 Step 4)
4

在 Viewer 应用端选择面部追踪类型

面部追踪格式
面部追踪格式

在捕捉应用端选择的「表情发送格式」和 Viewer 应用端选择的「类型」需要选择相同的项目。Viewer 端的类型可以从直播模式工具栏 →「面部追踪」按钮打开的窗口中切换。

4-1. 打开窗口

  1. 在 Viewer 应用中显示虚拟形象
  2. 开启直播模式 (Streaming)
  3. 点击直播面板内的 「面部追踪」 按钮

4-2. 切换类型

每次点击窗口顶部的「类型」按钮,会按 VRM/VRChat 标准 → Perfect Sync → VRCFT 的顺序切换。请与捕捉应用端的选择保持一致。

Viewer 端「类型」捕捉应用端「表情发送格式」
VRM/VRChat 标准VRM 标准
Perfect SyncPerfect Sync
VRCFTVRCFT

4-3. 「支持:」显示的查看方法

在「类型」按钮的正下方,会以 「支持: VRM/VRChat 标准, Perfect Sync」 的形式显示当前已加载虚拟形象支持的类型列表。

4-4. 注意事项

  • 选择 VRCFT 时,按类别的表情强度滑块会被禁用: VRCFT 通过 VRChat OSC 直接驱动表情参数,因此 Viewer 端的 BlendShapes 强度调整不会生效