VRChat에 페이스 트래킹 전송하기

캡처 앱에서 VRChat으로 OSC를 통해 표정 데이터 보내기

이 페이지는 기계 번역되었으며 부정확한 내용이 포함될 수 있습니다.
본 가이드에서는 VRC Avatar Viewer의 아바타 표시 앱을 「뷰어 앱」, 모션 캡처 앱 (Motion Capture for VRC Avatar Viewer)을 「캡처 앱」이라고 부릅니다.

캡처 앱은 웹캠 영상에서 추정한 표정 데이터를 VRChat의 OSC API로 전송할 수 있습니다. VRCFaceTracking 대응 아바터에 적용하면 웹캠 한 대로 VRChat 내 아바터를 풍부한 표정으로 움직일 수 있습니다.

VRChat에서 페이스 트래킹
VRChat에서 페이스 트래킹

필요한 것

  • Motion Capture for VRC Avatar Viewer (캡처 앱 / BOOTH에서 배포)
  • 웹캠 (720p 이상 권장)
  • VRChat (Steam / 스탠드얼론 버전)
  • VRCFaceTracking 대응 아바터
[웹캠] → [캡처 앱] →OSC / UDP :9000→ [VRChat]
Tips
  • 이 기능은 VRC 아바타 뷰어와 독립적으로 작동합니다. VRChat에서 표정만 움직이고 싶을 경우 뷰어를 실행할 필요는 없습니다
  • VRC 아바타 뷰어로의 VMC 송신과 동시에 ON으로 설정할 수도 있습니다. VRChat과 뷰어 양쪽에서 같은 표정을 재생할 수 있습니다
1

VRChat 측 준비

1-1. OSC 활성화하기

VRChat은 기본적으로 OSC 수신이 비활성화되어 있습니다. 게임 내 메뉴에서 활성화해 주세요.

  1. VRChat을 실행하고 월드에 입장
  2. Quick 메뉴를 열고 Options → OSC를 엽니다
  3. 「Enabled」를 ON으로 설정
Tips
  • OSC의 기본 수신 포트는 9000입니다. 캡처 앱도 이 포트를 사용합니다
  • 이전에 다른 OSC 앱을 사용한 적이 있다면 오래된 파라미터 설정 파일이 남아 있을 수 있습니다. 표정이 예상대로 움직이지 않는 경우 Reset Config로 설정 파일을 다시 생성해 주세요 (VRChat의 OSC 메뉴 내)

1-2. VRCFaceTracking 대응 아바터 사용하기

VRChat 아바터에는 VRCFaceTracking 대응 표정 파라미터가 적용되어 있어야 합니다. 대응하지 않는 아바터에서는 캡처 앱에서 데이터를 보내도 아무 일도 일어나지 않습니다.

Tips
  • 자신의 아바터가 대응하는지 잘 모르겠다면, 아바터의 배포 페이지에 「VRCFaceTracking 대응」「VRCFT 대응」 등의 표기가 있는지 확인해 주세요
  • 미대응 아바터를 대응시키고 싶을 때는 BOOTH에 각 아바터용 페이스 트래킹 애드온이 다수 공개되어 있습니다
2

캡처 앱 측 설정

2-1. 카메라 시작하기

  1. 캡처 앱을 실행
  2. 「카메라」「해상도」「FPS」를 선택하고 「카메라 시작」을 누름
  3. 프리뷰에 자신이 비치면, 카메라 정면에 서서 1~2초 정지합니다 (초기 캘리브레이션)
캡처 앱 화면
캡처 앱 화면
Tips
  • VRChat을 HMD로 플레이하면서 사용할 경우, 웹캠을 얼굴 아래~정면에 설치해 주세요
  • 얼굴이 또렷하게 비칠 정도의 밝기가 필요합니다. 어두우면 표정 추정의 정확도가 크게 떨어집니다

2-2. VRChat OSC 송신을 ON으로 설정하기

  1. 캡처 앱의 「VRC OSC Port」가 9000으로 되어 있는지 확인
  2. 「VRChat OSC」 버튼을 눌러 ON으로 설정
캡처 앱 화면
캡처 앱 화면

버튼을 ON으로 설정하면, 캡처 앱이 127.0.0.1:9000에 대해 /avatar/parameters/v2/<파라미터명> 형식으로 페이스 트래킹 값을 송신하기 시작합니다.

Tips
  • 송신 속도는 자동으로 약 30fps로 제한됩니다. 네트워크 부하 및 VRChat 측 처리 부하를 줄이기 위한 것으로, 표정 추종에는 충분합니다
  • 캡처 앱과 VRChat은 같은 PC에서 동작시키는 것을 전제로 합니다. 다른 PC에서 송신하는 구성은 지원하지 않습니다
3

동작 확인

VRChat 내 아바터의 표정이 웹캠 영상에 연동되어 움직이면 성공입니다. 시도해 볼 만한 포인트를 몇 가지 소개합니다.

  • 눈 깜빡임 양쪽 눈을 감았다 떴다 하며 아바터의 눈 깜빡임이 반응하는지 확인
  • 입의 움직임 「아·이·우·에·오」 입을 움직여 립싱크가 작동하는지 확인
  • 눈썹 눈썹을 위아래로 움직여 아바터에 반영되는지 확인
  • 시선 좌우·위아래로 시선을 움직여 아바터의 눈동자가 따라오는지 확인
VRChat에서 페이스 트래킹
VRChat에서 페이스 트래킹
Tips
  • 일부 파라미터(볼·혀 등)는 일반적인 웹캠으로는 트래킹할 수 없습니다. 아바터에 구현되어 있어도 움직이지 않는 것이 있습니다
  • 표정의 움직임이 약하다고 느낀다면, 캡처 앱의 「움직임 조정」 섹션에서 반응성과 동작량을 조정할 수 있습니다