아바타 움직이기(VMC 연결, OBS 연동)
웹캠과 모션 캡처로 아바타를 움직여보세요
VRC Avatar Viewer와 Motion Capture for VRC Avatar Viewer（이후 「캡처 앱」）를 함께 사용하면, 웹캐메라나 iPhone (iFacialMocap)의 움직임을 아바타에 반영할 수 있습니다. 또한 OBS Studio 등을 사용하여 방송에 활용할 수 있습니다. 이 가이드에서는 다음의 순서로 설정을 진행합니다.
캡처 앱은 카메라 영상이나 iFacialMocap의 수신 데이터를 로컬에서 처리합니다. 사용자가 명시적으로 수행하는 VMC나 VRChat OSC 통신 외에는 외부와 통신하지 않습니다.
- 캡처 앱에서 자신의 움직임과 표정을 트래킹합니다
- VMC 프로토콜을 통해 아바타 뷰어에 보내 아바타를 움직입니다
- 아바타 뷰어를 OBS에 가져와서 방송 소스로 사용합니다 (선택사항)
필요한 것
- VRC Avatar Viewer (본체)
- Motion Capture for VRC Avatar Viewer (캡처 앱 / BOOTH에서 배포)
- 웹캐메라 (몸과 팔도 움직이고 싶은 경우. 720p 이상 권장)
- Face ID 지원 iPhone 또는 iPad Pro + iFacialMocap (웹캐메라 없이 표정과 머리만 움직이고 싶은 경우, 또는 표정 정확도를 높이고 싶은 경우)
- OBS Studio 등 방송 소프트웨어 (선택사항)
VMC / UDP → [아바타 뷰어] → Spout / 투명 윈도우 → [OBS][iPhone (iFacialMocap)] → [캡처 앱] →
VMC / UDP → [아바타 뷰어]
- 이 가이드에서는 먼저 1대의 PC에서 모든 것을 실행하는 구성으로 설명합니다. 방송 PC와 촬영 PC를 분리하고 싶은 경우는 Step 2의 마지막에 보충 설명이 있습니다
- 웹캐메라 없이 iFacialMocap만 사용하는 경우, 아바타의 표정·머리 움직임·시선을 제어할 수 있습니다. 몸·팔·하반신의 움직임에는 웹캐메라가 필요합니다
- 아바타 뷰어 자체의 설치 및 아바타 로드에 대해서는 아바타 내보내기에서 표시까지를 먼저 참조하세요
캡처 앱 준비하기
캡처 앱은 웹캐메라 영상에서 몸·팔·손가락·표정을 추정하여 VMC 프로토콜로 외부에 전송하는 Windows용 앱입니다. 웹캐메라가 없는 경우에도 iFacialMocap을 사용하면 표정·머리·시선을 전송할 수 있습니다.
1-1. 다운로드 및 실행
- BOOTH 배포 페이지에서 캡처 앱 ZIP 다운로드
- ZIP을 전개한 후
Capture.exe를 더블 클릭하여 실행
1-2. 웹캐메라 시작하기
- 「카메라」「해상도」「FPS」 선택
- 「카메라 시작」 버튼 클릭
- 미리보기에 자신이 나타나는 것을 확인
- 그 다음 Step 2에서 「초기 캘리브레이션」을 클릭할 예정이므로, 카메라 정면에서 자연스러운 자세를 취할 수 있는 위치에 서세요
- 상반신이 화면에 들어가는 위치에 서세요
- 배경은 최대한 간단하게, 밝기는 얼굴이 명확하게 보이는 정도여야 합니다
1-3. 웹캐메라 없이 사용하기 (iFacialMocap만)
웹캐메라가 없는 경우, 카메라 드롭다운에서 「카메라 없음 (iFacialMocap 사용)」을 선택합니다. 이 모드에서는 「카메라 시작」 버튼을 사용하지 않으며, iPhone에서 수신한 표정·머리 방향·시선만 전송합니다.
- iPhone에서 iFacialMocap을 실행하고 화면에 표시되는 IP 주소를 메모합니다
- 캡처 앱의 「카메라」에서 「카메라 없음 (iFacialMocap 사용)」을 선택
- 「iFacialMocap IP 주소」에 iPhone의 IP를 입력
- 「iFacialMocap 사용」을 ON으로 전환
- 상태가 「수신 중」이 되면 「초기 캘리브레이션」을 클릭
- 캘리브레이션 후 「전송 시작」을 클릭
- 표정, 머리, 시선은 iFacialMocap에서 가져올 수 있습니다
- 팔, 상반신, 하반신은 웹캐메라가 필요합니다. iFacialMocap만 사용하는 경우 전송 부위를 표정과 머리 중심으로 설정하세요
1-4. 움직임 조정하기
제대로 작동하지 않을 때는 화면 아래의 동작 조정 슬라이더로 조정할 수 있습니다. 상반신·팔·손·눈 섹션별로 파라미터가 나뉘어 있습니다.
| 섹션 | 파라미터 | 효과 |
|---|---|---|
| 상반신 | 안정화 | 떨림을 줄임 (강할수록 추종이 지연됨) |
| 상반신 | 응답성 | 급격한 움직임에 대한 추종도 (강할수록 민첩하게 움직임) |
| 상반신 | 동작량 | 출력되는 움직임의 양 (작을수록 자제된 움직임) |
| 팔 | 안정화 | 팔의 미세한 떨림을 줄임 (강할수록 추종이 지연됨) |
| 팔 | 응답성 | 팔의 급격한 움직임에 대한 추종도 (강할수록 민첩하게 움직임) |
| 팔 | 동작량 | 팔의 움직임 양 (작을수록 자제된 움직임) |
| 손 | 전후 | 손을 몸의 앞뒤 중 어느 쪽으로 더 쉽게 내밀지를 조정 |
| 눈 | 동작량 | 시선의 움직임 크기를 조정 |
| 눈 | 상하 위치 | 시선의 상하 방향 기준 위치를 조정 |
| 눈 | 감기 쉬움 | 깜빡임·눈 감기가 얼마나 쉽게 나타나는지를 조정 |
| 눈 | 뜨기 쉬움 | 보통 때의 눈을 뜬 상태에서 아바타의 눈이 확실히 열리기 쉽도록 함 |
설정은 앱 종료 시 자동 저장됩니다. 눈 항목은 웹캐메라·iFacialMocap 모두 표정을 취득할 때 시선 및 깜빡임 출력에 영향을 줍니다.
1-5. 사람의 자세와 아바타의 자세에 차이가 있을 때
「재캘리브레이션」 버튼을 클릭하면 선택한 초 후 카운트다운이 끝나고 기준 자세를 다시 설정합니다. 처음은 「초기 캘리브레이션」, 2회차 이후는 「재캘리브레이션」으로 표시됩니다.
1-6. 전송 부위 선택하기
외부 전송의 「전송 부위」 체크박스에서 아바타에 반영할 부위를 개별적으로 ON/OFF할 수 있습니다. 움직이지 않는 부위를 OFF로 하면 해당 부위는 정지한 상태 (기본 포즈)로 유지됩니다.
| 부위 | 설명 |
|---|---|
| 표정 | 깜빡임·입·시선 등의 페이스 트래킹 결과 |
| 머리 | 머리 방향 (목의 회전) |
| 팔 | 양팔·손가락 움직임 |
| 상반신 | 몸통의 상하·전후 기울기, 어깨 움직임 |
| 하반신 | 허리·다리 움직임 |
- 의자에 앉아서 방송할 때는 하반신을 OFF로 하면 일어났다 앉았다 하는 오감지가 억제됩니다
- 표정 트래킹만 다른 도구 (VRCFaceTracking 등)를 사용할 때는 표정을 OFF로 하면 충돌을 피할 수 있습니다
- iFacialMocap만 사용할 때는 표정과 머리를 ON, 팔·상반신·하반신을 OFF로 하면 명확하게 사용할 수 있습니다
1-7. 립싱크
마이크의 음성에서 입 움직임 (립싱크)을 생성하는 기능입니다. 웹캐메라의 페이스 트래킹보다 반응이 빠르고, 입술의 움직임이 자연스러워집니다. 노래 방송이나 마스크를 쓴 채 방송하고 싶을 때 유용합니다.
사용 방법
- 「립싱크」 섹션의 「ON으로 설정」 토글을 ON으로 전환
- 「마이크」 드롭다운에서 사용할 입력 장치 선택
- 목소리를 내어보고, 옆의 음량 미터가 반응하면 인식 성공
- 립싱크가 ON인 동안은 웹캐메라의 입 움직임보다 마이크의 음량·모음 분석 결과가 우선됩니다
- 마이크가 반응하지 않는 경우 Windows의 사운드 설정에서 입력 장치가 활성화되어 있는지 확인하세요
아바타 뷰어와 연동하여 아바타 움직이기
캡처 앱에서 아바타 뷰어로는 VMC 프로토콜 (OSC over UDP)로 모션을 전송합니다. 아바타 뷰어 측에서 수신을 활성화하고 캡처 앱 측에서 전송 대상을 지정하기만 하면 연동됩니다.
2-1. 아바타 뷰어 측: 방송 모드에서 수신 시작
- 아바타 뷰어에서 아바타 표시
- 도구 모음의 방송 모드 버튼 클릭
- 필요에 따라 「페이스 트래킹」을 열고, 타입을 캡처 앱 측의 「페이스 트래킹」과 동일하게 설정
- VMC 수신 포트가
39539인 것을 확인 - 수신의 「시작」 버튼 클릭
방송 패널의 주요 항목
| 항목 | 내용 |
|---|---|
| IK | 팔의 위치 보정을 ON/OFF합니다. 기본값은 OFF입니다. 손목이나 팔의 방향이 부자연스러울 때는 OFF로 두고 사용하세요 |
| 시야각 | 방송용 카메라의 화각을 조정합니다. 작을수록 평면적으로 VTuber 방송에 적합하고, 클수록 광각이 됩니다 |
| 줌의 강도 | 머리의 전후 이동에 맞춘 줌 변화의 강도를 조정합니다 |
| 정면 방향으로 설정 | 아바타의 위치는 움직이지 않고 방향만 정면으로 돌립니다 |
| 카메라 위치: 저장 / 복원 | 현재의 방송용 카메라 위치와 시야각을 저장하고 나중에 같은 구도로 돌아갈 수 있습니다 |
- 페이스 트래킹의 타입을 VRCFT로 설정하면 Viewer 측은 VMC에 더해 VRChat OSC 수신 포트도 사용합니다. 통상
9000으로 유지하면 됩니다 - VRChat 본체 등 다른 앱이 같은 OSC 포트를 사용 중인 경우 수신할 수 없을 수 있습니다. 그 경우 포트를 변경하세요
2-2. 캡처 앱 측: 캘리브레이션 후 전송 시작
- 캡처 앱의 「전송 대상 IP」를
127.0.0.1로, 「VMC Port」를39539로 설정 - VRCFT를 사용할 경우 「VRC OSC Port」도 Viewer 측의 VRChat OSC 수신 포트와 같은 값으로 설정 (통상
9000) - 웹캐메라 또는 iFacialMocap 수신 준비
- 「초기 캘리브레이션」 버튼 클릭
- 카운트다운이 끝날 때까지 대기하여 초기 자세 기록
- 「전송 시작」 버튼 클릭
이제 아바타가 자신의 움직임에 맞춰 움직이기 시작합니다. iFacialMocap만 사용하는 경우 표정·머리·시선이 반영됩니다.
- 웹캐메라를 사용할 때: 카메라가 실행 중이고 초기 캘리브레이션이 완료되어 있을 것
- iFacialMocap만 사용할 때: 카메라가 「카메라 없음 (iFacialMocap 사용)」이고, iFacialMocap이 수신 중이고, 초기 캘리브레이션이 완료되어 있을 것
- iFacialMocap만 사용할 때 「카메라 시작」 버튼은 비활성화됩니다. 이는 정상 작동입니다
- 「전송 시작」 버튼 아래에 「전송 타입: VMC」 또는 「전송 타입: VMC + VRChat OSC」 캡션이 표시됩니다. 이것이 현재의 전송 대상 프로토콜입니다
- 표정 전송 형식 (VRM 표준 / Perfect Sync / VRCFT) 선택에 따라 캡션이 전환됩니다. VRCFT를 선택한 경우에만 VMC에 더해 VRChat OSC에도 페이스 트래킹 데이터가 흐릅니다
- 표정 트래킹의 자세한 내용은 표정 트래킹 또는 VRCFaceTracking 연동 가이드를 참조하세요
- 움직임이 어색한 경우 Viewer 측 방송 모드의 「동작 스무딩」을 열고 머리·몸·손/팔·눈선·깜빡임·눈썹·입별로 조정할 수 있습니다
- 오른쪽으로 움직일수록 움직임이 부드러워지고 떨림이 줄어듭니다. 대신 지연이 커집니다
- VRCFT의 경우 표정 관련 스무딩은 무효입니다
2-3. 제대로 작동하지 않을 때
전송을 시작할 수 없거나, 아바타나 표정이 움직이지 않거나, iFacialMocap이 연결 대기 중으로 남아있거나, 움직임이 고착되는 등의 확인 항목은 방송 모드 FAQ에 정리되어 있습니다.
2-4. 다른 PC에서 전송하고 싶을 때
촬영과 방송의 PC를 분리하고 싶을 때는 캡처 앱 측의 「전송 대상 IP」를 아바타 뷰어 측 PC의 IP 주소로 설정합니다. 아바타 뷰어 측 PC의 방화벽에서 UDP 39539 수신을 허용하세요. 동일 LAN 및 유선 연결을 권장합니다.
표정 트래킹
표정 트래킹에 대해서는 별도 가이드에 정리되어 있습니다.
- 표정 트래킹 (웹캐메라 / iFacialMocap) 캡처 앱에서 웹캐메라 또는 iPhone (iFacialMocap)을 사용하여 표정을 취득하는 방법
- VRCFaceTracking 연동 VRChat용 페이스 트래킹의 사실상 표준인 VRCFaceTracking에서 뷰어 앱으로 직접 표정을 보내는 방법 (Quest Pro / Vive Facial Tracker 등)
OBS Studio에 아바타 가져오기
아바타 뷰어를 OBS Studio (이후 OBS)의 방송 소스로 가져오는 방법은 2가지입니다. Spout2를 사용하는 방법이 화질·성능 모두 유리하고 추천되지만, 플러그인 도입이 불필요한 「윈도우 캡처」 방식도 사용할 수 있습니다.
방법 A: Spout2로 OBS에 출력하기 (권장)
Spout는 Windows의 앱 간에 영상을 직접 주고받는 메커니즘입니다. 아바타를 고화질·저지연으로 OBS에 전달할 수 있습니다.
- OBS 측 준비 Spout2 Plugin for OBS Studio를 설치하고 OBS를 재시작합니다
- 아바타 뷰어 측 방송 모드를 열고 Spout 방송을 시작합니다
- OBS 측 소스 추가에서 「Spout2 Capture」를 선택하고, 아바타 뷰어에서 전송되는 출력을 선택합니다
- Spout은 알파 채널 (투명도 정보)도 전달할 수 있으므로, 배경을 투명한 상태로 OBS에서 합성할 수 있습니다
- Spout 출력에는 통상 표시와 같이 안티앨리어싱이 적용됩니다
방법 B: 배경 투명 모드 + 윈도우 캡처
플러그인을 설치하고 싶지 않거나, 데스크톱 마스코트로도 사용하고 싶을 때 적합합니다.
- 아바타 뷰어의 도구 모음에서 배경 투명 모드를 ON으로 전환 (배경이 사라지고 아바타만 남음)
- OBS에서 「윈도우 캡처」 소스를 추가하고 아바타 뷰어의 윈도우 선택
- 자르기 및 크기 조정으로 아바타를 원하는 위치에 배치
- 배경 투명 모드 중에도 마우스로 아바타의 카메라 조작이 가능합니다
- 배경 투명 모드 중에도 방송 모드를 열 수 있으므로, 데스크톱 위의 아바타를 움직이면서 방송할 수 있습니다