การติดตามใบหน้า
Face Tracking โดยใช้เว็บแคมหรือ iPhone
Motion Capture for VRC Avatar Viewer (ต่อไปนี้จะเรียกว่า "แอปแคปเจอร์") สามารถสะท้อนการแสดงสีหน้า เช่น การกระพริบตาและการเคลื่อนไหวของปากลงบนอวตารได้ด้วย โดยใช้งานผ่านการเลือกวิธีรับข้อมูลการแสดงสีหน้า และรูปแบบการส่งไปยังอวตารแยกกัน
แหล่งข้อมูล 2 รูปแบบ (วิธีรับข้อมูล)
- เว็บแคม (ค่าเริ่มต้น) ประมาณการแสดงสีหน้าจากภาพของเว็บแคมที่เชื่อมต่อกับ PC ไม่ต้องใช้อุปกรณ์เพิ่มเติมและทุกคนสามารถใช้ได้ แต่มีข้อจำกัด เช่น ไม่สามารถรับการเคลื่อนไหวของแก้มและลิ้นได้
- iPhone (iFacialMocap) เมื่อใช้ iPhone ที่รองรับ Face ID ร่วมกับ iFacialMocap (แอป iOS แบบเสียเงิน) จะสามารถรับข้อมูลการแสดงสีหน้าความแม่นยำสูง 52 ชนิดที่อิงจาก ARKit ได้ มีพลังในการแสดงออกสูงกว่าเว็บแคมมาก
เลือกรูปแบบการส่งข้อมูลการแสดงสีหน้าที่ได้รับไปยังอวตารใน "รูปแบบการส่งสีหน้า" (รายละเอียดดูที่ Step 3)
- หาก iFacialMocap กำลังเชื่อมต่ออยู่ ข้อมูลการแสดงสีหน้าของ iFacialMocap จะถูกใช้เหนือกว่าเว็บแคม (การเคลื่อนไหวของร่างกายยังคงใช้เว็บแคม)
- ไม่ว่าจะเลือกรูปแบบการส่งใด หาก iFacialMocap ทำงานอยู่ ข้อมูลการแสดงสีหน้าของ iFacialMocap จะถูกนำมาใช้
- รายละเอียดการเชื่อมต่อกับ VRChat ดูที่คู่มือ การติดตามใบหน้าใน VRChat
รับการแสดงสีหน้าด้วยเว็บแคม
เป็นวิธีค่าเริ่มต้น เพียงเริ่มกล้องตามขั้นตอนในคู่มือโหมดสตรีมมิ่ง ระบบจะประมาณการแสดงสีหน้าจากเว็บแคมโดยอัตโนมัติ ไม่จำเป็นต้องตั้งค่าเพิ่มเติม
1-1. การแสดงสีหน้าที่รับได้
- การกระพริบตา (แต่ละข้างของดวงตา)
- สระ (อะ・อิ・อุ・เอะ・โอะ)
- ทิศทางสายตา (บน-ล่าง-ซ้าย-ขวา)
- การขึ้นลงของคิ้ว, การเปิดปิดปาก, การเคลื่อนของมุมปาก เป็นต้น
1-2. สิ่งที่รับไม่ได้ / ทำได้ไม่ดี
- การพองของแก้ม, การเคลื่อนไหวของลิ้น
- ในที่มืดความแม่นยำจะลดลงอย่างมาก ต้องมีแสงสว่างเพียงพอที่จะเห็นใบหน้าได้ชัดเจน
- มุมที่ไม่เห็นด้านหน้าของใบหน้า เช่น ด้านข้างหรือก้มหน้า
- เมื่อใช้เว็บแคมเพียงอย่างเดียว แนะนำ VRM มาตรฐาน ทำงานได้อย่างเป็นธรรมชาติกับอวตารส่วนใหญ่
- Perfect Sync และ VRCFT ก็ทำงานได้ แต่ตามที่กล่าวไว้ข้างต้น มีการเคลื่อนไหวบางอย่างที่รับไม่ได้
รับการแสดงสีหน้าความแม่นยำสูงด้วย iPhone (iFacialMocap)
การใช้ iPhone ที่รองรับ Face ID (iPhone X ขึ้นไป) จะสามารถเพิ่มความแม่นยำของการแสดงสีหน้าได้สูงกว่าเว็บแคมอย่างมาก จำเป็นต้องใช้แอป iOS ชื่อ iFacialMocap
2-1. สิ่งที่จำเป็น
- iPhone หรือ iPad Pro ที่รองรับ Face ID
- iFacialMocap ที่ซื้อจาก App Store (แอป iOS แบบเสียเงิน)
- iPhone และ PC ต้องเชื่อมต่อกับ Wi-Fi (LAN) เดียวกัน
2-2. การตั้งค่าฝั่ง iPhone
- เปิดใช้งาน iFacialMocap บน iPhone
- หน้าจอจะแสดงข้อความ "กรุณาเชื่อมต่อกับซอฟต์แวร์ฝั่ง PC" ให้จดที่อยู่ IP (เช่น
192.168.1.10) ไว้
- เปิดการตั้งค่าของ iFacialMocap แล้วตรวจสอบ "การตั้งค่าปลายทาง" หากมีค่าใน "ที่อยู่ IP ปลายทาง" จะไม่แสดง ให้กด "รีเซ็ตการตั้งค่าปลายทาง" ที่อยู่ด้านล่าง แล้วรีสตาร์ทแอปจะแสดงผล
2-3. การตั้งค่าฝั่งแอปแคปเจอร์
- ใส่ IP ของ iPhone ที่จดไว้ในช่อง "ที่อยู่ IP ของ iFacialMocap" ในแอปแคปเจอร์
- เปิด "ใช้ iFacialMocap" เป็น ON
- หากสถานะข้างๆ เป็น "กำลังรับ" แสดงว่าเชื่อมต่อสำเร็จ
2-4. ความหมายของการแสดงสถานะ
| สถานะ | ความหมาย |
|---|---|
| หยุดทำงาน | สวิตช์ "ใช้ iFacialMocap" เป็น OFF |
| ยังไม่ได้ใส่ IP | IP ของ iPhone ว่างเปล่า เมื่อใส่แล้วจะพยายามเชื่อมต่ออัตโนมัติ |
| รอการเชื่อมต่อ | ส่ง handshake แล้วแต่ไม่มีการตอบกลับจาก iPhone (iFacialMocap ไม่ได้เปิด / IP ผิด / อยู่คนละเครือข่าย ฯลฯ) |
| กำลังรับ | กำลังรับข้อมูลการแสดงสีหน้าตามปกติ |
2-5. การแสดงสีหน้าที่รับได้
สามารถรับ blend shape 52 ชนิดที่อิงจาก ARKit + การหมุนของศีรษะ + ทิศทางสายตาซ้าย-ขวา ได้ รวมถึงการพองของแก้มและลิ้นที่เว็บแคมไม่สามารถรับได้ (อวตารต้องมี blend shape เหล่านั้น)
- ในขณะที่เปิดใช้ iFacialMocap การเคลื่อนไหวของร่างกาย แขน นิ้ว ยังคงรับจากเว็บแคมต่อไป
- เป็นการตั้งค่าแบบไฮบริด "การแสดงสีหน้าใช้ iFacialMocap, ร่างกายใช้เว็บแคม"
เลือกรูปแบบการส่งสีหน้า (มาตรฐาน blend shape)
เลือกจาก dropdown "รูปแบบการส่งสีหน้า" ในแอปแคปเจอร์ กรุณาเลือกให้สอดคล้องกับการรองรับของฝั่งอวตาร
VRM มาตรฐาน
ส่งการแสดงสีหน้าพื้นฐาน เช่น การกระพริบตา สระ และทิศทางสายตา ที่ VRM มีอยู่เดิมผ่าน VMC ทำงานได้กับอวตารทุกตัวแต่การแสดงออกค่อนข้างเรียบง่าย เป็นค่าเริ่มต้นที่แนะนำเมื่อใช้เว็บแคมเพียงอย่างเดียว
Perfect Sync
ส่ง blend shape 52 ชนิดของ ARKit ผ่าน VMC ในอวตารที่รองรับ Perfect Sync จะสะท้อนการเคลื่อนไหวที่ละเอียดอ่อนของมุมปาก คิ้ว และเปลือกตา ใช้ร่วมกับ iFacialMocap จะมีประสิทธิภาพ
VRCFT
เป็นมาตรฐาน Unified Expressions ของ VRCFaceTracking 5.x จะส่งไปยังทั้ง VMC และ VRChat OSC พร้อมกัน จุดเด่นคือสามารถแสดงสีหน้าเดียวกันได้ทั้งในอวตารใน VRChat และใน Viewer (สำหรับการสตรีม OBS เป็นต้น)
- เมื่อเลือก VRCFT ข้อความใต้ปุ่ม "เริ่มส่ง" จะกลายเป็น "ประเภทการส่ง: VMC + VRChat OSC"
- รายละเอียดขั้นตอนการเชื่อมต่อกับ VRChat ดูที่คู่มือ การติดตามใบหน้าใน VRChat
- "รูปแบบการส่งสีหน้า" ฝั่งแอปแคปเจอร์ และ "ประเภท" ฝั่ง Viewer ต้องเลือกให้ตรงกัน (รายละเอียดดูที่ Step 4)
เลือกประเภทการติดตามใบหน้าฝั่งแอป Viewer
"รูปแบบการส่งสีหน้า" ที่เลือกฝั่งแอปแคปเจอร์ และ "ประเภท" ที่เลือกฝั่งแอป Viewer ต้องเลือกให้ตรงกัน ประเภทฝั่ง Viewer สามารถสลับได้จากหน้าต่างที่เปิดผ่าน toolbar โหมดสตรีมมิ่ง → ปุ่ม "การติดตามใบหน้า"
4-1. เปิดหน้าต่าง
- แสดงอวตารในแอป Viewer
- เปิดโหมดสตรีมมิ่ง (Streaming) เป็น ON
- คลิกปุ่ม "การติดตามใบหน้า" ในแผงสตรีมมิ่ง
4-2. สลับประเภท
ทุกครั้งที่คลิกปุ่ม "ประเภท" ที่ด้านบนของหน้าต่าง จะสลับตามลำดับ VRM/VRChat มาตรฐาน → Perfect Sync → VRCFT กรุณาให้ตรงกับการเลือกฝั่งแอปแคปเจอร์
| "ประเภท" ฝั่ง Viewer | "รูปแบบการส่งสีหน้า" ฝั่งแอปแคปเจอร์ |
|---|---|
| VRM/VRChat มาตรฐาน | VRM มาตรฐาน |
| Perfect Sync | Perfect Sync |
| VRCFT | VRCFT |
4-3. วิธีดูการแสดง "รองรับ:"
ใต้ปุ่ม "ประเภท" จะแสดงรายการประเภทที่อวตารที่กำลังโหลดอยู่รองรับในรูปแบบเช่น "รองรับ: VRM/VRChat มาตรฐาน, Perfect Sync"
4-4. ข้อควรระวัง
- ในขณะที่เลือก VRCFT แถบเลื่อนความเข้มของการแสดงสีหน้าตามหมวดหมู่จะถูกปิดใช้งาน: เนื่องจาก VRCFT ขับเคลื่อนพารามิเตอร์การแสดงสีหน้าโดยตรงผ่าน VRChat OSC จึงไม่นำการปรับความเข้ม blend shape ฝั่ง Viewer มาใช้