아바타 움직이기(캡처 앱)

VRC Avatar Viewer와 Motion Capture for VRC Avatar Viewer (이하 「캡처 앱」)를 함께 사용하면, 웹카메라나 iPhone (iFacialMocap)의 움직임을 아바타에 반영할 수 있습니다. 또한 OBS Studio 등을 사용하여 방송에 활용할 수 있습니다. 이 가이드에서는 다음의 순서로 설정을 진행합니다.

또한 캡처 앱은 카메라 영상과 iFacialMocap에서 받은 데이터를 PC 안에서만 처리합니다. 사용자가 직접 시작하는 VMC 및 VRChat OSC 통신 외에는 외부와 일절 통신하지 않습니다.

캡처 앱에서 자신의 움직임과 표정을 트래킹합니다
VMC 프로토콜을 통해 아바타 뷰어에 보내 아바타를 움직입니다
아바타 뷰어를 OBS에 가져와서 방송 소스로 사용합니다 (선택사항)

필요한 것

VRC Avatar Viewer (본체)
Motion Capture for VRC Avatar Viewer (캡처 앱 / BOOTH에서 배포)
웹카메라 (몸과 팔도 움직이고 싶은 경우. 720p 이상 권장)
Face ID 지원 iPhone 또는 iPad Pro + iFacialMocap (웹카메라 없이 표정과 머리만 움직이고 싶은 경우, 또는 표정 정확도를 높이고 싶은 경우)
OBS Studio 등 방송 소프트웨어 (선택사항)

[웹카메라] → [캡처 앱] →VMC / UDP→ [아바타 뷰어] →Spout / 투명 윈도우→ [OBS]
[iPhone (iFacialMocap)] → [캡처 앱] →VMC / UDP→ [아바타 뷰어]

팁

이 가이드에서는 먼저 1대의 PC에서 모든 것을 실행하는 구성으로 설명합니다. 방송 PC와 촬영 PC를 분리하고 싶은 경우는 Step 2의 마지막에 보충 설명이 있습니다
웹카메라 없이 iFacialMocap만 사용하는 경우, 아바타의 표정·머리 움직임·시선을 제어할 수 있습니다. 몸·팔·하반신의 움직임에는 웹카메라가 필요합니다
아바타 뷰어 자체의 설치 및 아바타 로드에 대해서는 아바타 내보내기에서 표시까지를 먼저 참조하세요

캡처 앱 준비하기

캡처 앱은 웹카메라 영상에서 몸·팔·손가락·표정을 추정하여 VMC 프로토콜로 외부에 전송하는 Windows용 앱입니다. 웹카메라가 없는 경우에도 iFacialMocap을 사용하면 표정·머리·시선을 전송할 수 있습니다.

1-1. 다운로드 및 실행

BOOTH 배포 페이지에서 캡처 앱 ZIP 다운로드
ZIP 압축을 푼 후 Capture.exe를 더블 클릭하여 실행

1-2. 웹카메라 시작하기

「카메라」「해상도」「FPS」 선택
「카메라 시작」 버튼 클릭
미리보기에 자신이 나타나는 것을 확인
그 다음 Step 2에서 「초기 캘리브레이션」을 클릭할 예정이므로, 카메라 정면에서 자연스러운 자세를 취할 수 있는 위치에 서세요

팁

상반신이 화면에 들어가는 위치에 서세요.
배경은 최대한 간단하게, 밝기는 얼굴이 명확하게 보이는 정도여야 합니다

1-3. 웹카메라 없이 사용하기 (iFacialMocap만)

웹카메라가 없는 경우, 카메라 드롭다운에서 「카메라 없음 (iFacialMocap 사용)」을 선택합니다. 이 모드에서는 「카메라 시작」 버튼을 사용하지 않으며, iPhone에서 수신한 표정·머리 방향·시선만 전송합니다.

iPhone에서 iFacialMocap을 실행하고 화면에 표시되는 IP 주소를 메모합니다
캡처 앱의 「카메라」에서 「카메라 없음 (iFacialMocap 사용)」을 선택
「iFacialMocap IP 주소」에 iPhone의 IP를 입력
「iFacialMocap 사용」을 ON으로 전환
상태가 「수신 중」이 되면 「초기 캘리브레이션」을 클릭
캘리브레이션 후 「전송 시작」을 클릭

이 모드에서 움직이는 것

표정, 머리, 시선은 iFacialMocap에서 가져올 수 있습니다
팔, 상반신, 하반신은 웹카메라가 필요합니다. iFacialMocap만 사용하는 경우 전송 부위를 표정과 머리 중심으로 설정하세요

1-4. 움직임 조정하기

제대로 작동하지 않을 때는 화면 아래의 동작 조정 슬라이더로 조정할 수 있습니다. 상반신·팔·손·눈 섹션별로 파라미터가 나뉘어 있습니다.

섹션	파라미터	효과
상반신	안정화	떨림을 줄임 (강할수록 추종이 지연됨)
상반신	응답성	급격한 움직임에 대한 추종도 (강할수록 민첩하게 움직임)
상반신	동작량	출력되는 움직임의 양 (작을수록 자제된 움직임)
팔	안정화	팔의 미세한 떨림을 줄임 (강할수록 추종이 지연됨)
팔	응답성	팔의 급격한 움직임에 대한 추종도 (강할수록 민첩하게 움직임)
팔	동작량	팔의 움직임 양 (작을수록 자제된 움직임)
손	전후	손을 몸의 앞뒤 중 어느 쪽으로 더 쉽게 내밀지를 조정
눈	동작량	시선의 움직임 크기를 조정
눈	상하 위치	시선의 상하 방향 기준 위치를 조정
눈	감기 쉬움	깜빡임·눈 감기가 얼마나 쉽게 나타나는지를 조정
눈	뜨기 쉬움	보통 때의 눈을 뜬 상태에서 아바타의 눈이 확실히 열리기 쉽도록 함

설정은 앱 종료 시 자동 저장됩니다. 눈 항목은 웹카메라·iFacialMocap 모두 표정을 취득할 때 시선 및 깜빡임 출력에 영향을 줍니다.

1-5. 사람의 자세와 아바타의 자세에 차이가 있을 때

「재캘리브레이션」 버튼을 클릭하면 선택한 초만큼 카운트다운한 뒤 기준 자세를 다시 기록합니다. 처음은 「초기 캘리브레이션」, 2회차 이후는 「재캘리브레이션」으로 표시됩니다.

1-6. 전송 부위 선택하기

외부 전송의 「전송 부위」 체크박스에서 아바타에 반영할 부위를 개별적으로 ON/OFF할 수 있습니다. 움직이고 싶지 않은 부위를 OFF로 하면 해당 부위는 정지한 상태 (기본 포즈)로 유지됩니다.

부위	설명
표정	깜빡임·입·시선 등의 페이스 트래킹 결과
머리	머리 방향 (목의 회전)
팔	양팔·손가락 움직임
상반신	몸통의 상하·전후 기울기, 어깨 움직임
하반신	허리·다리 움직임

사용 예시

의자에 앉아서 방송할 때는 하반신을 OFF로 하면 일어났다 앉았다 하는 오감지가 억제됩니다
표정 트래킹만 다른 도구 (VRCFaceTracking 등)를 사용할 때는 표정을 OFF로 하면 충돌을 피할 수 있습니다
iFacialMocap만 사용할 때는 표정과 머리를 ON, 팔·상반신·하반신을 OFF로 하면 알기 쉽게 사용할 수 있습니다

1-7. 립싱크

마이크의 음성에서 입 움직임 (립싱크)을 생성하는 기능입니다. 웹카메라의 페이스 트래킹보다 반응이 빠르고, 입술의 움직임이 자연스러워집니다. 노래 방송이나 마스크를 쓴 채 방송하고 싶을 때 유용합니다.

사용 방법

「립싱크」 섹션의 「ON으로 설정」 토글을 ON으로 전환
「마이크」 드롭다운에서 사용할 입력 장치 선택
목소리를 내어보고, 옆의 음량 미터가 반응하면 인식 성공

팁

립싱크가 ON인 동안은 웹카메라의 입 움직임보다 마이크의 음량·모음 분석 결과가 우선됩니다
마이크가 반응하지 않는 경우 Windows의 사운드 설정에서 입력 장치가 활성화되어 있는지 확인하세요

아바타 뷰어와 연동하여 아바타 움직이기

캡처 앱에서 아바타 뷰어로는 VMC 프로토콜 (OSC over UDP)로 모션을 전송합니다. 아바타 뷰어 측에서 수신을 활성화하고 캡처 앱 측에서 전송 대상을 지정하기만 하면 연동됩니다.

2-1. 아바타 뷰어 측: 스트리밍 모드에서 수신 시작

아바타 뷰어에서 아바타 표시
툴바의 스트리밍 버튼 클릭
필요에 따라 「페이스 트래킹」을 열고, 타입을 캡처 앱 측의 「페이스 트래킹」과 동일하게 설정
VMC 수신 포트가 39539인 것을 확인
수신의 「시작」 버튼 클릭

스트리밍 패널의 주요 항목

항목	내용
IK	팔의 위치 보정을 ON/OFF합니다. 기본값은 OFF입니다. 손목이나 팔의 방향이 부자연스러울 때는 OFF로 두고 사용하세요
시야각	방송용 카메라의 화각을 조정합니다. 작을수록 평면적으로 VTuber 방송에 적합하고, 클수록 광각이 됩니다
줌 강조	머리의 전후 이동에 맞춘 줌 변화의 강도를 조정합니다
정면으로 보기	아바타의 위치는 움직이지 않고 방향만 정면으로 돌립니다
카메라 위치: 저장 / 복원	현재의 방송용 카메라 위치와 시야각을 저장하고 나중에 같은 구도로 돌아갈 수 있습니다

VRCFT를 사용할 때

페이스 트래킹의 타입을 VRCFT로 설정하면 Viewer 측은 VMC에 더해 VRChat OSC 수신 포트도 사용합니다. 통상 9000으로 유지하면 됩니다
VRChat 본체 등 다른 앱이 같은 OSC 포트를 사용 중인 경우 수신할 수 없을 수 있습니다. 그 경우 포트를 변경하세요

2-2. 캡처 앱 측: 캘리브레이션 후 전송 시작

캡처 앱의 「전송 대상 IP」를 127.0.0.1로, 「VMC Port」를 39539로 설정
VRCFT를 사용할 경우 「VRC OSC Port」도 Viewer 측의 VRChat OSC 수신 포트와 같은 값으로 설정 (통상 9000)
웹카메라 또는 iFacialMocap 수신 준비
「초기 캘리브레이션」 버튼 클릭
카운트다운이 끝날 때까지 대기하여 초기 자세 기록
「전송 시작」 버튼 클릭

이제 아바타가 자신의 움직임에 맞춰 움직이기 시작합니다. iFacialMocap만 사용하는 경우 표정·머리·시선이 반영됩니다.

전송 시작 버튼을 클릭할 수 있는 조건

웹카메라를 사용할 때: 카메라가 실행 중이고 초기 캘리브레이션이 완료되어 있을 것
iFacialMocap만 사용할 때: 카메라가 「카메라 없음 (iFacialMocap 사용)」이고, iFacialMocap이 수신 중이고, 초기 캘리브레이션이 완료되어 있을 것
iFacialMocap만 사용할 때 「카메라 시작」 버튼은 비활성화됩니다. 이는 정상적인 동작입니다

전송 타입에 대해

「전송 시작」 버튼 아래에 「전송 타입: VMC」 또는 「전송 타입: VMC + VRChat OSC」 캡션이 표시됩니다. 이것이 현재의 전송 대상 프로토콜입니다
표정 전송 형식 (VRM 표준 / Perfect Sync / VRCFT) 선택에 따라 캡션이 전환됩니다. VRCFT를 선택한 경우에만 VMC에 더해 VRChat OSC에도 페이스 트래킹 데이터가 흐릅니다
표정 트래킹의 자세한 내용은 표정 트래킹 또는 VRCFaceTracking 연동 가이드를 참조하세요

팁

움직임이 어색한 경우 Viewer 측 스트리밍 모드의 「모션 스무딩」을 열고 머리·몸·손/팔·시선·깜빡임·눈썹·입별로 조정할 수 있습니다
오른쪽으로 움직일수록 움직임이 부드러워지고 떨림이 줄어듭니다. 대신 지연이 커집니다
VRCFT의 경우 표정 관련 스무딩은 적용되지 않습니다

2-3. 제대로 작동하지 않을 때

전송을 시작할 수 없다, 아바타나 표정이 움직이지 않는다, iFacialMocap이 연결 대기 중에서 넘어가지 않는다, 움직임이 멈춘다 등의 경우에 확인할 항목은 제대로 작동하지 않을 때(FAQ)에 정리되어 있습니다.

2-4. 다른 PC에서 전송하고 싶을 때

촬영과 방송의 PC를 분리하고 싶을 때는 캡처 앱 측의 「전송 대상 IP」를 아바타 뷰어 측 PC의 IP 주소로 설정합니다. 아바타 뷰어 측 PC의 방화벽에서 UDP 39539 수신을 허용하세요. 동일 LAN 및 유선 연결을 권장합니다.

표정 트래킹

표정 트래킹에 대해서는 별도 가이드에 정리되어 있습니다.

표정 트래킹 (웹카메라 / iFacialMocap) 캡처 앱에서 웹카메라 또는 iPhone (iFacialMocap)을 사용하여 표정을 취득하는 방법
VRCFaceTracking 연동 VRChat용 페이스 트래킹의 사실상 표준인 VRCFaceTracking에서 뷰어 앱으로 직접 표정을 보내는 방법 (Quest Pro / Vive Facial Tracker 등)

OBS Studio에 아바타 가져오기

아바타 뷰어를 OBS Studio의 방송 소스로 가져오는 방법(Spout2 출력 / 배경 투명 모드 + 윈도우 캡처)은 OBS로 출력하기에 정리되어 있습니다.