ติดตามใบหน้า

นี่คือวิธีค่าเริ่มต้น หากคุณเริ่มกล้องตามขั้นตอนใน คู่มือโหมดการถ่ายทำสด การแสดงออกจะถูกประมาณการจากเว็บแคมโดยอัตโนมัติ ไม่จำเป็นต้องมีการตั้งค่าเพิ่มเติม

1-1. การแสดงออกที่สามารถจับภาพได้

• การกระพริบตา (แต่ละตาแยกกัน)
• สระ (ก ิ ึ เ โ)
• สายตา (ขึ้น ลง ซ้าย ขวา)
• การเคลื่อนไหวของคิ้ว การเปิดปิดปาก การเคลื่อนไหวของมุมปาก เป็นต้น

1-2. การแสดงออกที่ไม่สามารถจับภาพได้ / ยากในการจับภาพ

• การบวมของแก้ม การเคลื่อนไหวของลิ้น
• ความแม่นยำลดลงอย่างมากในพื้นที่มืด จำเป็นต้องมีความสว่างที่เพียงพอเพื่อให้เห็นใบหน้าชัดเจน
• มุมด้านข้าง มองลงมา และอื่น ๆ ที่ไม่สามารถมองเห็นด้านหน้าของใบหน้าได้

การใช้ iPhone ที่รองรับ Face ID (iPhone X เป็นต้นไป) สามารถปรับปรุงความแม่นยำของการแสดงออกได้อย่างมีนัยสำคัญเมื่อเทียบกับเว็บแคม จำเป็นต้องใช้แอปพลิเคชัน iOS ชื่อ iFacialMocap

2-1. สิ่งที่คุณต้อง

• iPhone หรือ iPad Pro ที่รองรับ Face ID
• iFacialMocap (แอปพลิเคชัน iOS ที่มีค่าใช้จ่าย) ซื้อจาก App Store
• iPhone และ PC เชื่อมต่อกับ Wi-Fi (LAN) เดียวกัน

2-2. การตั้งค่าด้าน iPhone

1. เปิด iFacialMocap บน iPhone
2. ข้อความ "โปรดเชื่อมต่อกับซอฟต์แวร์ด้าน PC" จะปรากฏบนหน้าจอ ให้จดบันทึก IP Address (เช่น 192.168.1.10)

2-3. การตั้งค่าด้านแอปพลิเคชันการจับภาพ

1. ใส่ IP ของ iPhone ที่จดบันทึกไว้ในช่อง "IP Address ของ iFacialMocap" ในแอปพลิเคชันการจับภาพ
2. เปิดใช้งาน "ใช้ iFacialMocap"
3. หากสถานะทางด้านข้างเปลี่ยนเป็น "กำลังรับ" การเชื่อมต่อจะสำเร็จ

2-4. ความหมายของการแสดงสถานะ

2-5. การแสดงออกที่สามารถจับภาพได้

คุณสามารถจับ BlendShapes 52 ประเภทตาม ARKit + การหมุนหัว + สายตาซ้ายและขวา ได้ รวมถึงการบวมของแก้มและการเคลื่อนไหวของลิ้นที่จับไม่ได้ด้วยเว็บแคม (อวตารต้องมี BlendShape นั้นอยู่)

ก่อนที่จะเลือกรูปแบบการส่งการแสดงออก ให้ยืนยันในแอปพลิเคชัน Viewer ว่าอวตารที่แสดงในปัจจุบันรองรับรูปแบบ Face Tracking ใด หากคุณเลือกรูปแบบที่ไม่รองรับ แม้ว่าจะส่งข้อมูลการแสดงออกจากแอปพลิเคชันการจับภาพ อวตารก็จะไม่เคลื่อนไหวอย่างถูกต้อง

1. แสดงอวตารเป้าหมายในแอปพลิเคชัน Viewer
2. เปิด Streaming Mode
3. คลิกปุ่ม "Face Tracking" ในแผงการถ่ายทำสด
4. ยืนยัน "รองรับ:" ที่แสดงภายใต้ปุ่ม "Type" ที่ด้านบนของหน้าต่าง

จากเมนูดรอปดาวน์ "รูปแบบการส่งการแสดงออก" ของแอปพลิเคชันการจับภาพ ให้เลือกรูปแบบที่รองรับด้านอวตารที่ยืนยันในขั้นตอนที่ 3

VRM มาตรฐาน

ส่งการแสดงออกพื้นฐาน เช่น การกระพริบตา สระ และสายตาที่ VRM มีมาตรฐาน ผ่าน VMC อวตารส่วนใหญ่จะเคลื่อนไหว แต่การแสดงออกนั้นเรียบง่าย ตาและปากของอวตาร VRChat เคลื่อนไหวได้ ขอแนะนำให้ใช้เป็นค่าเริ่มต้นเมื่อใช้เว็บแคมเพียงอย่างเดียว

Perfect Sync

ส่ง BlendShapes 52 ประเภทของ ARKit ผ่าน VMC ในอวตาร Perfect Sync ที่เข้ากันได้ การเคลื่อนไหวที่ละเอียดอ่อนของมุมปาก คิ้ว และเปลือกตาจะสะท้อนออกมา มีประสิทธิภาพเมื่อรวมกับ iFacialMocap

VRCFT

VRCFaceTracking มาตรฐาน Unified Expressions ของ 5.x ลักษณะพิเศษคือสามารถสร้างการแสดงออกเดียวกันกับอวตารใน VRChat ได้

เปิดใช้งาน "การแสดงออก" ในส่วนของส่วนที่ส่งในแอปพลิเคชันการจับภาพ หากเปิดใช้งานอยู่แล้ว ให้ปล่อยไว้เหมือนเดิมตกลง

จากรูปแบบที่รองรับที่ยืนยันในขั้นตอนที่ 3 ให้เลือก "ประเภท" เดียวกับ "รูปแบบการส่งการแสดงออก" ที่เลือกไว้ด้านแอปพลิเคชันการจับภาพในแอปพลิเคชัน Viewer เปลี่ยนประเภท Viewer จากแถบเครื่องมือโหมดการถ่ายทำสด → ปุ่ม "Face Tracking" หรือหน้าต่างที่เปิด

5-1. เปิดหน้าต่าง

1. แสดงอวตารในแอปพลิเคชัน Viewer
2. เปิด Streaming Mode
3. คลิกปุ่ม "Face Tracking" ในแผงการถ่ายทำสด

5-2. เปลี่ยนประเภท

ทุกครั้งที่คุณคลิกปุ่ม "ประเภท" ที่ด้านบนของหน้าต่าง จะสลับตามลำดับ VRM/VRChat มาตรฐาน → Perfect Sync → VRCFT ให้ตรงกับสิ่งที่เลือกไว้ด้านแอปพลิเคชันการจับภาพ

5-3. ข้อควรระวัง

• สไลเดอร์ความเข้มของการแสดงออกตามหมวดหมู่จะปิดใช้งานขณะที่เลือก VRCFT: เนื่องจาก VRCFT ใช้พารามิเตอร์การแสดงออกผ่าน VRChat OSC โดยตรง การปรับค่า BlendShape ของ Viewer จึงไม่นำไป

คุณสามารถตั้งค่าโครงสร้างโดยส่งการเคลื่อนไหวของร่างกายเท่านั้นจากแอปพลิเคชันการจับภาพ และส่งการแสดงออกจาก VRCFaceTracking ได้ ทั้ง iFacialMocap และโมดูลต่างๆ ที่รองรับโดย VRCFaceTracking สามารถใช้ได้

โดยพื้นฐานแล้ว นี่คือการตั้งค่าสำหรับผู้ใช้ขั้นสูงที่เข้าใจ VRCFT และอุปกรณ์ Face Tracking

การใช้งาน

ขั้นตอน

1. เริ่มส่งการเคลื่อนไหวตามปกติในแอปพลิเคชันการจับภาพ
2. ปิดใช้งาน การส่งการแสดงออก ของแอปพลิเคชันการจับภาพ
3. เปิดใช้งาน VRCFaceTracking และเชื่อมต่อกับ iFacialMocap ด้าน VRCFaceTracking
4. เปลี่ยนประเภท Face Tracking ด้าน Viewer เป็น VRCFT และเปิดใช้งานการรับ
5. ยืนยันว่า VRCFaceTracking ตัวจำแนกแอปพลิเคชัน Viewer เป็นปลายทาง และการแสดงออกของอวตารใน Viewer เคลื่อนไหว