ส่งข้อมูล Face Tracking ไปยัง VRChat
ส่งข้อมูลใบหน้าจากแอปแคปเจอร์ไปยัง VRChat ผ่าน OSC
แอปพลิเคชันแคปเจอร์สามารถส่งข้อมูลการแสดงออกทางสีหน้าที่ประมวลผลจากภาพเว็บแคมไปยัง VRChat OSC API ได้ หากนำไปใช้กับอวาตาร์ที่รองรับ VRCFaceTracking คุณสามารถขยับสีหน้าของอวาตาร์ใน VRChat ได้อย่างสมจริงด้วยเว็บแคมเพียงตัวเดียว
สิ่งที่ต้องมี
- Motion Capture for VRC Avatar Viewer（แอปพลิเคชันแคปเจอร์ / ดาวน์โหลดได้ที่ BOOTH）
- เว็บแคม（แนะนำ 720p ขึ้นไป）
- VRChat（Steam / เวอร์ชันสแตนด์อโลน）
- อวาตาร์ที่รองรับ VRCFaceTracking
OSC / UDP :9000→ [VRChat]
- ฟังก์ชันนี้ทำงานอิสระจาก VRC Avatar Viewer หากต้องการขยับสีหน้าใน VRChat เพียงอย่างเดียว ไม่จำเป็นต้องเปิด VRC Avatar Viewer
- คุณสามารถเปิดใช้งานการส่ง VMC ไปยัง VRC Avatar Viewer พร้อมกันได้ด้วย ทำให้สามารถแสดงสีหน้าเดียวกันทั้งใน VRChat และ VRC Avatar Viewer พร้อมกัน
การเตรียมฝั่ง VRChat
1-1. เปิดใช้งาน OSC
VRChat จะปิดการรับ OSC ไว้โดยค่าเริ่มต้น กรุณาเปิดใช้งานผ่านเมนูในเกม
- เปิด VRChat แล้วเข้าไปในเวิลด์
- เปิด Quick Menu แล้วไปที่
Options→OSC - เปิด 「Enabled」 ให้เป็น ON
- พอร์ตรับ OSC เริ่มต้นคือ
9000แอปพลิเคชันแคปเจอร์ก็ใช้พอร์ตนี้เช่นกัน - หากเคยใช้แอป OSC อื่นมาก่อน อาจมีไฟล์การตั้งค่าพารามิเตอร์เก่าหลงเหลืออยู่ หากสีหน้าไม่ทำงานตามที่คาดหวัง ให้ใช้
Reset Configเพื่อสร้างไฟล์การตั้งค่าใหม่（อยู่ในเมนู OSC ของ VRChat）
1-2. ใช้อวาตาร์ที่รองรับ VRCFaceTracking
อวาตาร์ใน VRChat จำเป็นต้องมีพารามิเตอร์สีหน้าที่รองรับ VRCFaceTracking อยู่ภายใน หากอวาตาร์ไม่รองรับ การส่งข้อมูลจากแอปพลิเคชันแคปเจอร์จะไม่มีผลใดๆ
- หากไม่แน่ใจว่าอวาตาร์ของคุณรองรับหรือไม่ ให้ตรวจสอบหน้าดาวน์โหลดของอวาตาร์ว่ามีข้อความระบุว่า「VRCFaceTracking対応」หรือ「VRCFT対応」หรือไม่
- หากต้องการเพิ่มการรองรับให้กับอวาตาร์ที่ยังไม่รองรับ มีแอดออนเฟซแทร็กกิ้งสำหรับอวาตาร์ต่างๆ มากมายเผยแพร่อยู่บน BOOTH
การตั้งค่าฝั่งแอปพลิเคชันแคปเจอร์
2-1. เริ่มต้นกล้อง
- เปิดแอปพลิเคชันแคปเจอร์
- เลือก「กล้อง」「ความละเอียด」「FPS」แล้วกด「เริ่มกล้อง」
- เมื่อเห็นตัวเองในพรีวิว ให้ยืนหน้ากล้องและ หยุดนิ่ง 1〜2 วินาที（การสอบเทียบครั้งแรก）
- หากใช้งาน VRChat ผ่าน HMD ให้วางเว็บแคมไว้ที่บริเวณด้านล่างถึงด้านหน้าของใบหน้า
- จำเป็นต้องมีแสงสว่างเพียงพอให้เห็นใบหน้าชัดเจน หากแสงน้อยเกินไป ความแม่นยำในการประมวลผลสีหน้าจะลดลงอย่างมาก
2-2. เปิดการส่ง VRChat OSC
- ตรวจสอบว่า「VRC OSC Port」ในแอปพลิเคชันแคปเจอร์ตั้งเป็น
9000 - กดปุ่ม「VRChat OSC」เพื่อเปิดเป็น ON
เมื่อเปิดปุ่มแล้ว แอปพลิเคชันแคปเจอร์จะเริ่มส่งค่าเฟซแทร็กกิ้งในรูปแบบ /avatar/parameters/v2/<ชื่อพารามิเตอร์> ไปยัง 127.0.0.1:9000
- อัตราการส่งจะถูกจำกัดอัตโนมัติที่ประมาณ 30fps เพื่อลดภาระเครือข่ายและการประมวลผลฝั่ง VRChat ซึ่งเพียงพอสำหรับการติดตามสีหน้า
- แอปพลิเคชันแคปเจอร์และ VRChat ต้องทำงานบน PC เครื่องเดียวกัน ไม่รองรับการส่งข้อมูลจาก PC คนละเครื่อง
การตรวจสอบการทำงาน
หากสีหน้าของอวาตาร์ใน VRChat เคลื่อนไหวตามภาพจากเว็บแคม ถือว่าสำเร็จแล้ว ต่อไปนี้คือจุดที่แนะนำให้ลองทดสอบ
- การกะพริบตา ลองหลับและลืมตาทั้งสองข้าง แล้วตรวจสอบว่าการกะพริบตาของอวาตาร์ตอบสนองหรือไม่
- การเคลื่อนไหวของปาก ลองขยับปากพูด「อา・อี・อู・เอ・โอ」แล้วตรวจสอบว่าลิปซิงค์ทำงานหรือไม่
- คิ้ว ลองยกและลดคิ้ว แล้วตรวจสอบว่าสะท้อนให้เห็นในอวาตาร์หรือไม่
- การมองตา ลองขยับสายตาซ้าย-ขวา-บน-ล่าง แล้วตรวจสอบว่าดวงตาของอวาตาร์ติดตามหรือไม่
- พารามิเตอร์บางอย่าง（เช่น แก้มและลิ้น）ไม่สามารถแทร็กได้ด้วยเว็บแคมทั่วไป อาจมีบางส่วนที่ไม่ทำงานแม้จะมีการติดตั้งในอวาตาร์แล้ว
- หากรู้สึกว่าการเคลื่อนไหวของสีหน้าอ่อนเกินไป สามารถปรับความไวและปริมาณการเคลื่อนไหวได้ในส่วน「การปรับการเคลื่อนไหว」ของแอปพลิเคชันแคปเจอร์