การติดตามใบหน้า

นี่คือวิธีค่าเริ่มต้น เมื่อเริ่มกล้องตามขั้นตอนในคู่มือการขยับอวาตาร์ ระบบจะประมาณสีหน้าจากเว็บแคมให้โดยอัตโนมัติ ไม่ต้องตั้งค่าเพิ่มเติม

1-1. สีหน้าที่จับได้

• การกะพริบตา (แยกแต่ละข้าง)
• สระ (a, i, u, e, o)
• สายตา (บน ล่าง ซ้าย ขวา)
• การยกและลดคิ้ว การอ้าและหุบปาก การขยับมุมปาก เป็นต้น

1-2. สิ่งที่จับไม่ได้ / จับได้ไม่ดี

• การป่องแก้ม การขยับลิ้น
• ในที่มืด ความแม่นยำจะลดลงมาก ต้องมีแสงสว่างพอให้เห็นใบหน้าชัดเจน
• มุมที่มองไม่เห็นหน้าตรง เช่น หันด้านข้างหรือก้มหน้า

หากใช้ iPhone ที่รองรับ Face ID (iPhone X ขึ้นไป) จะจับสีหน้าได้แม่นยำกว่าเว็บแคมมาก โดยต้องใช้แอป iOS ชื่อ iFacialMocap

2-1. สิ่งที่ต้องเตรียม

• iPhone หรือ iPad Pro ที่รองรับ Face ID
• iFacialMocap ที่ซื้อจาก App Store (แอป iOS แบบเสียเงิน)
• iPhone และ PC ต้องเชื่อมต่อกับ Wi-Fi (LAN) เดียวกัน

2-2. ตั้งค่าฝั่ง iPhone

1. เปิด iFacialMocap บน iPhone
2. หน้าจอจะแสดงข้อความให้เชื่อมต่อกับซอฟต์แวร์ฝั่ง PC ให้จด IP address ไว้ (เช่น 192.168.1.10)

2-3. ตั้งค่าฝั่งแอปจับภาพ

1. กรอก IP ของ iPhone ที่จดไว้ในช่อง "IP address ของ iFacialMocap" ของแอปจับภาพ
2. เปิด "ใช้ iFacialMocap" เป็น ON
3. เมื่อสถานะที่อยู่ข้าง ๆ เปลี่ยนเป็น "กำลังรับ" แสดงว่าเชื่อมต่อสำเร็จ

2-4. ความหมายของสถานะ

2-5. สีหน้าที่จับได้

จับ BlendShape ที่อิงกับ ARKit ได้ 52 แบบ + การหมุนศีรษะ + สายตาซ้ายขวา รวมถึงการป่องแก้มและการขยับลิ้นที่เว็บแคมจับไม่ได้ (อวาตาร์ต้องมี BlendShape นั้นอยู่ด้วย)

ก่อนเลือกรูปแบบการส่งสีหน้า ให้ตรวจสอบในแอป Viewer ว่าอวาตาร์ที่แสดงอยู่รองรับรูปแบบการติดตามใบหน้าแบบใด หากเลือกรูปแบบที่ไม่รองรับ แม้แอปจับภาพจะส่งข้อมูลสีหน้าไป อวาตาร์ก็จะขยับไม่ถูกต้อง

1. แสดงอวาตาร์ที่ต้องการในแอป Viewer
2. เปิดโหมดสตรีมมิงเป็น ON
3. คลิกปุ่ม "ติดตามใบหน้า" ในแผงสตรีมมิง
4. ดูที่ช่อง "ใช้ได้:" ใต้ปุ่ม "ประเภท" ที่ด้านบนของหน้าต่าง

เลือกจากดรอปดาวน์ "รูปแบบการส่งสีหน้า" ของแอปจับภาพ ให้ตรงกับรูปแบบที่อวาตาร์รองรับซึ่งตรวจสอบไว้ใน Step 3

VRM มาตรฐาน

ส่งสีหน้าพื้นฐานที่ VRM มีอยู่แล้ว เช่น การกะพริบตา สระ และสายตา ผ่าน VMC ใช้ได้กับอวาตาร์ทุกตัวแต่การแสดงออกจะเรียบง่าย อวาตาร์ VRChat ก็ขยับตาและปากได้ เป็นตัวเลือกที่แนะนำเป็นค่าเริ่มต้นเมื่อใช้เว็บแคมอย่างเดียว

Perfect Sync

ส่ง BlendShape 52 แบบของ ARKit ผ่าน VMC บนอวาตาร์ที่รองรับ Perfect Sync จะถ่ายทอดได้ถึงการขยับอย่างละเอียดของมุมปาก คิ้ว และเปลือกตา ได้ผลดีเมื่อใช้ร่วมกับ iFacialMocap

VRCFT

มาตรฐาน Unified Expressions ของ VRCFaceTracking 5.x จุดเด่นคือสามารถสร้างสีหน้าได้เหมือนกับอวาตาร์ใน VRChat

เปิด "สีหน้า" ในส่วนที่จะส่งของแอปจับภาพ หากเปิดอยู่แล้วก็ไม่ต้องทำอะไร

จากรูปแบบที่รองรับที่ตรวจสอบไว้ใน Step 3 ให้เลือก "ประเภท" ในแอป Viewer ให้เหมือนกับ "รูปแบบการส่งสีหน้า" ที่เลือกในแอปจับภาพ ประเภทของ Viewer เปลี่ยนได้ในหน้าต่างที่เปิดจากแถบเครื่องมือโหมดสตรีมมิง → ปุ่ม "ติดตามใบหน้า"

5-1. เปิดหน้าต่าง

1. แสดงอวาตาร์ในแอป Viewer
2. เปิดโหมดสตรีมมิงเป็น ON
3. คลิกปุ่ม "ติดตามใบหน้า" ในแผงสตรีมมิง

5-2. เปลี่ยนประเภท

ทุกครั้งที่คลิกปุ่ม "ประเภท" ที่ด้านบนของหน้าต่าง จะสลับตามลำดับ ค่าเริ่มต้น VRM/VRChat → Perfect Sync → VRCFT ให้ตั้งให้ตรงกับที่เลือกไว้ในแอปจับภาพ

5-3. ข้อควรระวัง

• ขณะเลือก VRCFT แถบเลื่อนปรับความแรงของสีหน้าแยกตามหมวดหมู่จะถูกปิดใช้งาน: VRCFT ควบคุมพารามิเตอร์สีหน้าโดยตรงผ่าน VRChat OSC การปรับความแรงของ BlendShape ฝั่ง Viewer จึงไม่มีผล

สามารถตั้งค่าให้แอปจับภาพส่งเฉพาะการเคลื่อนไหวของร่างกาย ส่วนสีหน้าให้ส่งจาก VRCFaceTracking ได้ ไม่ใช่แค่ iFacialMocap แต่ยังใช้โมดูลต่าง ๆ ที่ VRCFaceTracking รองรับได้ด้วย

โดยพื้นฐานแล้วเป็นการตั้งค่าสำหรับผู้ใช้ขั้นสูงที่เข้าใจ VRCFT และอุปกรณ์ติดตามใบหน้า

การแบ่งหน้าที่

ขั้นตอน

1. เริ่มส่งการเคลื่อนไหวจากแอปจับภาพตามปกติ
2. ปิด การส่งสีหน้า ของแอปจับภาพเป็น OFF
3. เปิด VRCFaceTracking แล้วเชื่อมต่อกับ iFacialMocap จากฝั่ง VRCFaceTracking
4. เปลี่ยนประเภทการติดตามใบหน้าในแอป Viewer เป็น VRCFT แล้วเปิดการรับเป็น ON
5. ตรวจสอบว่า VRCFaceTracking รู้จักแอป Viewer เป็นปลายทางการเชื่อมต่อ และสีหน้าของอวาตาร์ใน Viewer ขยับได้

หากลองทุกวิธีข้างต้นแล้วยังไม่ขยับ โปรดติดต่อผู้พัฒนา อย่างไรก็ตาม มีความเป็นไปได้สูงที่อาจแก้ไขไม่ได้