방송 모드(VMC 연결, OBS 연동)

웹캠과 모션 캡처로 아바타를 움직여 보세요

이 페이지는 기계 번역되었으며 부정확한 내용이 포함될 수 있습니다.
본 가이드에서는 VRC Avatar Viewer의 아바타 표시 앱을 「뷰어 앱」, 모션 캡처 앱 (Motion Capture for VRC Avatar Viewer)을 「캡처 앱」이라고 부릅니다.

VRC Avatar Viewer와 Motion Capture for VRC Avatar Viewer(이하 「캡처 앱」)를 함께 사용하면, 웹캠 1대로 아바타를 움직일 수 있습니다. 또한 OBS Studio 등을 사용하여 방송에 활용할 수 있습니다. 이 가이드에서는 다음 순서로 설정을 진행합니다.

캡처 앱은 카메라 영상을 모두 로컬에서 처리합니다. 외부로는 일절 전송하지 않습니다. 또한 사용자가 명시적으로 수행하는 VMC 및 VRChat OSC 통신 이외에는 어떠한 외부 통신도 하지 않습니다.

모션 캡처와 페이스 트래킹
모션 캡처와 페이스 트래킹
OBS 연동
OBS 연동
  1. 캡처 앱으로 자신의 움직임을 트래킹한다
  2. VMC 프로토콜을 통해 아바타 뷰어에 전송하여 아바타를 움직인다
  3. 아바타 뷰어를 OBS에 가져와 방송 소스로 사용한다 (선택)

필요한 것

  • VRC Avatar Viewer(본체)
  • Motion Capture for VRC Avatar Viewer(캡처 앱/BOOTH에서 배포
  • 웹캠(720p 이상 권장)
  • OBS Studio 등 방송 소프트웨어(선택)
[웹캠] → [캡처 앱] →VMC / UDP→ [아바타 뷰어] →Spout / 투명 윈도우→ [OBS]
Tips
  • 이 가이드는 우선 1대의 PC로 모든 것을 실행하는 구성으로 설명합니다. 방송 PC와 촬영 PC를 분리하고 싶은 경우 Step 2의 마지막에 보충 설명이 있습니다
  • 아바타 뷰어 자체의 설치 및 아바타 불러오기에 대해서는 아바타 내보내기부터 표시까지를 먼저 확인해 주세요
1

캡처 앱 준비하기

캡처 앱은 웹캠 영상에서 전신의 움직임(몸·팔·손가락·표정)을 추정하여 VMC 프로토콜로 외부에 전송하는 Windows용 앱입니다.

캡처 앱 화면
캡처 앱 화면

1-1. 다운로드 및 실행

  1. BOOTH 배포 페이지에서 캡처 앱의 ZIP을 다운로드
  2. ZIP을 압축 해제한 후, Capture.exe를 더블 클릭하여 실행

1-2. 카메라 시작하기

  1. 「카메라」「해상도」「FPS」를 선택
  2. 「카메라 시작」 버튼을 누른다
  3. 미리보기에 자신이 비치면, 카메라 정면에 서서 1~2초 정지한다(초기 캘리브레이션)
카메라 시작하기
카메라 시작하기
Tips
  • 전신이 화면에 들어오는 위치에 서 주세요. 상반신만으로도 움직이지만, 풀바디 트래킹에는 전신이 필요합니다
  • 배경은 가능한 한 단순하게, 밝기는 얼굴이 선명하게 보이는 정도로 해 주세요

1-3. 움직임 조정하기

프리셋으로 잘 동작하지 않을 때는 화면 하단의 슬라이더로 조정할 수 있습니다. 상반신 / 팔 각 섹션별로 다음 3가지를 조정할 수 있습니다.

움직임 조정
움직임 조정
파라미터 효과
안정화 흔들림을 억제한다(강할수록 추종이 느려진다)
반응성 급격한 움직임에 대한 추종도(강할수록 민첩하게 움직인다)
동작량 출력되는 움직임의 양(작게 하면 동작이 줄어든다)

설정은 앱 종료 시 자동 저장됩니다.

1-4. 사람의 자세와 아바타의 자세가 어긋날 때

「재캘리브레이션」 버튼을 누르면 3초 카운트다운 후 기준 자세를 다시 잡습니다.

1-5. 전송할 부위 선택하기

화면 오른쪽의 「전송할 부위」 체크박스에서 아바타에 반영할 부위를 개별적으로 ON/OFF 할 수 있습니다. 움직이고 싶지 않은 부위를 OFF 하면 해당 부위는 정지 상태(기본 포즈)가 됩니다.

전송할 부위 선택하기
전송할 부위 선택하기
부위 설명
표정 눈 깜빡임·입·시선 등의 페이스 트래킹 결과
머리 머리 방향(목의 회전)
양팔·손가락의 움직임
상반신 몸통의 상하·전후 기울기, 어깨의 움직임
하반신 허리·다리의 움직임
사용 예시
  • 의자에 앉아 방송하는 경우 하반신을 OFF 하면, 일어서거나 앉는 오감지를 억제할 수 있습니다
  • 표정 트래킹만 다른 도구(VRCFaceTracking 등)를 사용하는 경우 표정을 OFF 하여 충돌을 피할 수 있습니다

1-6. 립싱크

마이크 음성으로부터 입의 움직임(립싱크)을 생성하는 기능입니다. 웹캠 페이스 트래킹보다 반응이 빠르고 입 주변의 움직임이 자연스러워집니다. 노래 방송이나 마스크를 착용한 채로 방송하고 싶을 때 편리합니다.

립싱크
립싱크

사용 방법

  1. 「립싱크」 섹션의 「ON으로 설정」 토글을 ON 한다
  2. 「마이크」 풀다운에서 사용할 입력 장치를 선택
  3. 소리를 내어 옆의 음량 미터가 반응하면 인식 성공
Tips
  • 립싱크가 ON인 동안은 웹캠의 입 움직임보다 마이크 음량·모음 분석 결과가 우선됩니다
  • 마이크가 반응하지 않는 경우 Windows 사운드 설정에서 입력 장치가 활성화되어 있는지 확인해 주세요
  • 선택한 마이크는 PlayerPrefs에 저장되어 다음 실행 시에도 복원됩니다
2

아바타 뷰어와 연동하여 아바타 움직이기

캡처 앱에서 아바타 뷰어로는 VMC 프로토콜(OSC over UDP)로 모션을 전송합니다. 아바타 뷰어 측에서 수신을 활성화하고, 캡처 앱 측에서 전송 대상을 지정하는 것만으로 연동할 수 있습니다.

2-1. 아바타 뷰어 측: VMC 수신을 ON으로 설정하기

  1. 아바타 뷰어에서 아바타를 표시한다
  2. 툴바의 방송 모드 버튼을 클릭
  3. 「VMC 수신」을 ON으로 설정한다(기본 포트: 39539
방송 모드 화면
방송 모드 화면

2-2. 캡처 앱 측: 전송 시작하기

  1. 캡처 앱의 「전송 대상 IP」를 127.0.0.1,「Port」를 39539로 설정
  2. 「전송 시작」 버튼을 누른다
모션 전송 시작
모션 전송 시작

이제 아바타가 자신의 움직임에 맞춰 움직이기 시작합니다.

전송 타입에 대해
  • 「전송 시작」 버튼 아래에 「전송 타입: VMC」 또는 「전송 타입: VMC + VRChat OSC」 캡션이 표시됩니다. 이것이 현재의 전송 대상 프로토콜입니다
  • 표정 전송 형식(VRM 표준 / Perfect Sync / VRCFT)의 선택에 따라 캡션이 전환됩니다. VRCFT를 선택한 경우에만, VMC에 더하여 VRChat OSC에도 페이스 트래킹 데이터가 전송됩니다
  • 표정 트래킹의 자세한 내용은 표정 트래킹 또는 VRCFaceTracking 연동 가이드를 참조해 주세요
Tips
  • 움직임이 어색한 경우 「움직임 스무딩」 프리셋(6단계)을 전환하면 추종의 날카로움과 부드러움의 균형을 조정할 수 있습니다
움직임 스무딩
움직임 스무딩

2-3. 잘 동작하지 않을 때

  • 아바타가 반응하지 않는다 아바타 뷰어의 VMC 수신이 ON인지, 캡처 앱 측의 IP 주소/포트가 맞는지 확인해 주세요
  • 움직임이 굳어버린다 캡처 앱의 미리보기에 자신이 비치고 있는지, 트래킹이 잡히고 있는지 확인해 주세요
  • 움직임이 나쁘다 옷과 배경 색상이 비슷하면 트래킹 정확도가 크게 떨어집니다. 특히 바닥이나 벽과 같은 계열의 색상 옷은 피해 주세요. 사람의 눈에는 다르게 보이는 색이라도 카메라 영상에서는 거의 같은 색으로 비치는 경우가 있습니다. 배경과 대비가 강한 색의 옷을 추천합니다.

2-4. 다른 PC에서 전송하고 싶은 경우

촬영과 방송 PC를 분리하고 싶을 때는 캡처 앱 측의 「전송 대상 IP」를 아바타 뷰어 측 PC의 IP 주소로 설정합니다. 아바타 뷰어 측 PC의 방화벽에서 UDP 39539 수신을 허용해 주세요. 동일 LAN이며 유선 연결을 권장합니다.

2-5. 그 외 주의사항

3

표정 트래킹

표정 트래킹에 대해서는 별도 가이드에 정리되어 있습니다.

  • 표정 트래킹 (웹캠 / iFacialMocap) 캡처 앱에서 웹캠 또는 iPhone (iFacialMocap)을 사용하여 표정을 취득하는 방법
  • VRCFaceTracking 연동 VRChat용 페이스 트래킹의 사실상 표준인 VRCFaceTracking에서 뷰어 앱으로 직접 표정을 전송하는 방법 (Quest Pro / Vive Facial Tracker 등)
4

OBS Studio에 아바타 가져오기

아바타 뷰어를 OBS Studio(이하 OBS)의 방송 소스로 가져오는 방법은 2가지입니다. Spout2를 사용하는 방법이 화질·성능 모두 유리하여 권장하지만, 플러그인 설치가 필요 없는 「윈도우 캡처」 방식도 사용할 수 있습니다.

방법 A: Spout2로 OBS에 출력하기(권장)

Spout은 Windows 상의 앱 간에 영상을 직접 주고받는 방식입니다. 아바타를 고화질·저지연으로 OBS에 전달할 수 있습니다.

  1. OBS 측 준비 Spout2 Plugin for OBS Studio를 설치하고 OBS를 재시작
  2. 아바타 뷰어 측 방송 모드를 열고 Spout 출력을 ON으로 설정한다
  3. OBS 측 소스 추가에서 「Spout2 Capture」를 선택하고 아바타 뷰어에서 전송되는 출력을 선택
Tips
  • Spout은 알파 채널(투명 정보)도 전달할 수 있어, 배경을 투명한 채로 OBS에서 합성할 수 있습니다

방법 B: 배경 투명 모드 + 윈도우 캡처

플러그인을 설치하고 싶지 않은 경우나, 데스크탑 마스코트로도 사용하고 싶은 경우에 적합합니다.

  1. 아바타 뷰어의 툴바에서 배경 투명 모드를 ON으로 설정한다(배경이 사라지고 아바타만 남는다)
  2. OBS에서 「윈도우 캡처」 소스를 추가하고 아바타 뷰어의 윈도우를 선택
  3. 크롭이나 크기 조정으로 아바타를 원하는 위치에 배치
Tips
  • 배경 투명 모드 중에도 마우스로 아바타의 카메라 조작이 가능합니다