ขยับอวาตาร์ (แอปจับภาพ)

มาขยับอวาตาร์ด้วยเว็บแคมและโมชันแคปเจอร์กัน

หน้านี้แปลด้วยเครื่องและอาจมีข้อผิดพลาด

เมื่อใช้ VRC Avatar Viewer ร่วมกับ Motion Capture for VRC Avatar Viewer (ต่อไปนี้เรียกว่า "แอปจับภาพ") คุณจะสามารถนำการเคลื่อนไหวจากเว็บแคมหรือ iPhone (iFacialMocap) ไปใช้กับอวาตาร์ได้ และยังนำไปใช้สตรีมผ่าน OBS Studio หรือซอฟต์แวร์อื่น ๆ ได้ด้วย คู่มือนี้จะพาคุณตั้งค่าตามขั้นตอนต่อไปนี้

แอปจับภาพจะประมวลผลภาพจากกล้องและข้อมูลที่รับจาก iFacialMocap ภายในเครื่อง PC ของคุณเท่านั้น และจะไม่สื่อสารกับภายนอกใด ๆ ทั้งสิ้น ยกเว้นการสื่อสารผ่าน VMC และ VRChat OSC ที่ผู้ใช้สั่งเริ่มเอง

โมชันแคปเจอร์และการติดตามใบหน้า
โมชันแคปเจอร์และการติดตามใบหน้า
การเชื่อมต่อกับ OBS
การเชื่อมต่อกับ OBS
  1. ติดตามการเคลื่อนไหวและสีหน้าของคุณด้วยแอปจับภาพ
  2. ส่งข้อมูลไปยัง Avatar Viewer ผ่านโปรโตคอล VMC เพื่อขยับอวาตาร์
  3. นำ Avatar Viewer เข้าไปใน OBS เพื่อใช้เป็นแหล่งสัญญาณสำหรับสตรีม (ไม่บังคับ)

สิ่งที่ต้องเตรียม

  • VRC Avatar Viewer (ตัวแอปหลัก)
  • Motion Capture for VRC Avatar Viewer (แอปจับภาพ / ดาวน์โหลดได้ที่ BOOTH)
  • เว็บแคม (หากต้องการขยับลำตัวและแขนด้วย แนะนำความละเอียด 720p ขึ้นไป)
  • iPhone หรือ iPad Pro ที่รองรับ Face ID + iFacialMocap (หากต้องการขยับเฉพาะสีหน้าและศีรษะโดยไม่ใช้เว็บแคม หรือต้องการให้สีหน้าแม่นยำยิ่งขึ้น)
  • ซอฟต์แวร์สตรีม เช่น OBS Studio (ไม่บังคับ)
[เว็บแคม] → [แอปจับภาพ] →VMC / UDP→ [Avatar Viewer] →Spout / หน้าต่างโปร่งใส→ [OBS]
[iPhone (iFacialMocap)] → [แอปจับภาพ] →VMC / UDP→ [Avatar Viewer]
เคล็ดลับ
  • คู่มือนี้จะอธิบายการตั้งค่าที่รันทุกอย่างบน PC เครื่องเดียวก่อน หากต้องการแยก PC สำหรับสตรีมและ PC สำหรับจับภาพ มีคำอธิบายเพิ่มเติมไว้ท้าย Step 2
  • หากใช้เฉพาะ iFacialMocap โดยไม่มีเว็บแคม จะขยับได้เฉพาะสีหน้า การเคลื่อนไหวของศีรษะ และสายตาของอวาตาร์ การขยับลำตัว แขน และร่างกายส่วนล่างจำเป็นต้องใช้เว็บแคม
  • สำหรับการติดตั้ง Avatar Viewer และการโหลดอวาตาร์ โปรดอ่าน ตั้งแต่การส่งออกอวาตาร์ไปจนถึงการแสดงผล ก่อน
1

เตรียมแอปจับภาพ

แอปจับภาพเป็นแอปสำหรับ Windows ที่ประมาณท่าทางของลำตัว แขน นิ้ว และสีหน้าจากภาพเว็บแคม แล้วส่งออกไปภายนอกด้วยโปรโตคอล VMC แม้ไม่มีเว็บแคม ก็สามารถส่งสีหน้า ศีรษะ และสายตาได้โดยใช้ iFacialMocap

หน้าจอแอปจับภาพ
หน้าจอแอปจับภาพ

1-1. ดาวน์โหลดและเปิดใช้งาน

  1. ดาวน์โหลดไฟล์ ZIP ของแอปจับภาพจากหน้าดาวน์โหลดบน BOOTH
  2. แตกไฟล์ ZIP แล้วดับเบิลคลิก Capture.exe เพื่อเปิดแอป

1-2. เริ่มเว็บแคม

  1. เลือก "กล้อง" "ความละเอียด" และ "FPS"
  2. กดปุ่ม "เริ่มกล้อง"
  3. ตรวจสอบว่าเห็นตัวเองในภาพพรีวิว
  4. เนื่องจากจะต้องกด "คาลิเบรตครั้งแรก" ใน Step 2 ให้ยืนในตำแหน่งที่สามารถทำท่าทางเป็นธรรมชาติได้ตรงหน้ากล้อง
เริ่มกล้อง
เริ่มกล้อง
เคล็ดลับ
  • ยืนในตำแหน่งที่ร่างกายส่วนบนอยู่ในกรอบภาพทั้งหมด
  • ใช้ฉากหลังที่เรียบง่ายที่สุดเท่าที่ทำได้ และให้แสงสว่างพอที่จะเห็นใบหน้าได้ชัดเจน

1-3. ใช้งานโดยไม่มีเว็บแคม (ใช้เฉพาะ iFacialMocap)

หากไม่มีเว็บแคม ให้เลือก "ไม่มีกล้อง (ใช้ iFacialMocap)" จากดรอปดาวน์กล้อง ในโหมดนี้จะไม่ใช้ปุ่ม "เริ่มกล้อง" และจะส่งเฉพาะสีหน้า ทิศทางของศีรษะ และสายตาที่รับมาจาก iPhone

  1. เปิด iFacialMocap บน iPhone แล้วจดที่อยู่ IP ที่แสดงบนหน้าจอไว้
  2. ใน "กล้อง" ของแอปจับภาพ ให้เลือก "ไม่มีกล้อง (ใช้ iFacialMocap)"
  3. ป้อน IP ของ iPhone ในช่อง "ที่อยู่ IP ของ iFacialMocap"
  4. เปิด "ใช้ iFacialMocap" เป็น ON
  5. เมื่อสถานะเปลี่ยนเป็น "กำลังรับ" ให้กด "คาลิเบรตครั้งแรก"
  6. หลังคาลิเบรตเสร็จ ให้กด "เริ่มส่ง"
สิ่งที่ขยับได้ในโหมดนี้
  • สีหน้า ศีรษะ และ สายตา รับข้อมูลได้จาก iFacialMocap
  • แขน ร่างกายส่วนบน และ ร่างกายส่วนล่าง ต้องใช้เว็บแคม หากใช้เฉพาะ iFacialMocap ให้เลือกส่งส่วนของร่างกายโดยเน้นที่ สีหน้า และ ศีรษะ

1-4. ปรับการเคลื่อนไหว

หากการเคลื่อนไหวไม่เป็นไปตามที่ต้องการ สามารถปรับได้ด้วยสไลเดอร์ใน ปรับการเคลื่อนไหว ที่ด้านล่างของหน้าจอ พารามิเตอร์จะแบ่งเป็นส่วน ได้แก่ ร่างกายส่วนบน แขน มือ และตา

ปรับการเคลื่อนไหว
ปรับการเคลื่อนไหว
ส่วน พารามิเตอร์ ผลลัพธ์
ร่างกายส่วนบน ความเสถียร ลดการสั่นไหว (ยิ่งค่าสูง การตอบสนองยิ่งช้าลง)
ร่างกายส่วนบน การตอบสนอง ระดับการตามทันการเคลื่อนไหวที่รวดเร็ว (ยิ่งค่าสูง ยิ่งขยับได้ว่องไว)
ร่างกายส่วนบน ปริมาณการเคลื่อนไหว ปริมาณการเคลื่อนไหวที่ส่งออก (ค่าน้อยจะขยับน้อยลง)
แขน ความเสถียร ลดการสั่นเล็ก ๆ ของแขน (ยิ่งค่าสูง การตอบสนองยิ่งช้าลง)
แขน การตอบสนอง ระดับการตามทันการเคลื่อนไหวที่รวดเร็วของแขน (ยิ่งค่าสูง ยิ่งขยับได้ว่องไว)
แขน ปริมาณการเคลื่อนไหว ปริมาณการเคลื่อนไหวของแขน (ค่าน้อยจะขยับน้อยลง)
มือ หน้า/หลัง ปรับว่ามือจะยื่นไปทางด้านหน้าหรือด้านหลังลำตัวได้ง่ายกว่า
ตา ปริมาณการเคลื่อนไหว ปรับขนาดการเคลื่อนไหวของสายตา
ตา ตำแหน่งแนวตั้ง ปรับตำแหน่งอ้างอิงของสายตาในแนวขึ้น-ลง
ตา ความง่ายในการหลับตา ปรับว่าการกะพริบตาและการหลับตาจะเกิดขึ้นได้ง่ายเพียงใด
ตา ความง่ายในการลืมตา ทำให้ตาของอวาตาร์ลืมกว้างได้ง่ายขึ้นเมื่อคุณลืมตาตามปกติ

การตั้งค่าจะถูกบันทึกโดยอัตโนมัติเมื่อปิดแอป รายการของตาจะมีผลต่อสายตาและการกะพริบตาที่ส่งออก ไม่ว่าจะรับสีหน้าจากเว็บแคมหรือ iFacialMocap ก็ตาม

1-5. เมื่อท่าทางของคุณกับท่าทางของอวาตาร์ไม่ตรงกัน

เมื่อกดปุ่ม "คาลิเบรตใหม่" แอปจะนับถอยหลังตามจำนวนวินาทีที่เลือก แล้วบันทึกท่าทางอ้างอิงใหม่ ครั้งแรกปุ่มจะแสดงเป็น "คาลิเบรตครั้งแรก" และตั้งแต่ครั้งที่สองเป็นต้นไปจะแสดงเป็น "คาลิเบรตใหม่"

1-6. เลือกส่วนของร่างกายที่จะส่ง

ใช้ช่องทำเครื่องหมาย "ส่วนที่จะส่ง" ในส่วนการส่งออกภายนอก เพื่อเปิด/ปิดส่วนของร่างกายที่จะนำไปใช้กับอวาตาร์แยกกันได้ ส่วนที่ปิดไว้จะหยุดนิ่งอยู่ในท่าเริ่มต้น

เลือกส่วนของร่างกายที่จะส่ง
เลือกส่วนของร่างกายที่จะส่ง
ส่วนของร่างกาย คำอธิบาย
สีหน้า ผลการติดตามใบหน้า เช่น การกะพริบตา ปาก และสายตา
ศีรษะ ทิศทางของศีรษะ (การหมุนของคอ)
แขน การเคลื่อนไหวของแขนทั้งสองข้างและนิ้ว
ร่างกายส่วนบน การเอียงของลำตัวขึ้น-ลงและหน้า-หลัง และการเคลื่อนไหวของไหล่
ร่างกายส่วนล่าง การเคลื่อนไหวของสะโพกและขา
ตัวอย่างการใช้งาน
  • หากนั่งเก้าอี้ขณะสตรีม การปิด ร่างกายส่วนล่าง จะช่วยลดการตรวจจับผิดพลาดว่ากำลังลุกหรือนั่ง
  • หากใช้เครื่องมืออื่น (เช่น VRCFaceTracking) สำหรับติดตามสีหน้าโดยเฉพาะ สามารถปิด สีหน้า เพื่อไม่ให้ข้อมูลชนกันได้
  • หากใช้เฉพาะ iFacialMocap การเปิด สีหน้า และ ศีรษะ แล้วปิด แขน ร่างกายส่วนบน และ ร่างกายส่วนล่าง จะทำให้ใช้งานได้เข้าใจง่าย

1-7. ลิปซิงก์

ฟีเจอร์ที่สร้างการขยับปาก (ลิปซิงก์) จากเสียงไมโครโฟน ตอบสนองได้เร็วกว่าการติดตามใบหน้าด้วยเว็บแคม ทำให้ปากขยับได้เป็นธรรมชาติมากขึ้น เหมาะสำหรับสตรีมร้องเพลงหรือเมื่อต้องการสตรีมทั้งที่สวมหน้ากากอนามัย

ลิปซิงก์
ลิปซิงก์

วิธีใช้

  1. เปิดสวิตช์ "เปิดใช้งาน" ในส่วน "ลิปซิงก์" เป็น ON
  2. เลือกอุปกรณ์อินพุตที่จะใช้จากดรอปดาวน์ "ไมโครโฟน"
  3. ลองส่งเสียง หากมิเตอร์ระดับเสียงที่อยู่ข้าง ๆ ขยับ แสดงว่าจดจำเสียงได้แล้ว
เคล็ดลับ
  • ขณะที่เปิดลิปซิงก์ ผลการวิเคราะห์ระดับเสียงและสระจากไมโครโฟนจะมีความสำคัญเหนือกว่าการขยับปากจากเว็บแคม
  • หากไมโครโฟนไม่ตอบสนอง ให้ตรวจสอบในการตั้งค่าเสียงของ Windows ว่าอุปกรณ์อินพุตเปิดใช้งานอยู่หรือไม่
2

เชื่อมต่อกับ Avatar Viewer เพื่อขยับอวาตาร์

แอปจับภาพจะส่งข้อมูลการเคลื่อนไหวไปยัง Avatar Viewer ด้วย โปรโตคอล VMC (OSC over UDP) เพียงเปิดการรับข้อมูลที่ฝั่ง Avatar Viewer และกำหนดปลายทางการส่งที่ฝั่งแอปจับภาพ ก็เชื่อมต่อกันได้ทันที

2-1. ฝั่ง Avatar Viewer: เริ่มรับข้อมูลในโหมดสตรีมมิง

  1. แสดงอวาตาร์ใน Avatar Viewer
  2. คลิกปุ่ม สตรีมมิง บนแถบเครื่องมือ
  3. หากจำเป็น ให้เปิด "ติดตามใบหน้า" แล้วตั้งประเภทให้ตรงกับ "Face Tracking" ของแอปจับภาพ
  4. ตรวจสอบว่า พอร์ต VMC เป็น 39539
  5. กดปุ่ม "เริ่ม" ของการรับข้อมูล
หน้าจอโหมดสตรีมมิง
หน้าจอโหมดสตรีมมิง

รายการหลักในแผงโหมดสตรีมมิง

รายการคำอธิบาย
IKเปิด/ปิดการแก้ไขตำแหน่งแขน ค่าเริ่มต้นคือ OFF หากทิศทางของข้อมือหรือแขนดูไม่เป็นธรรมชาติ ให้ใช้งานโดยปิดไว้
มุมมองปรับมุมรับภาพของกล้องสำหรับสตรีม ค่ายิ่งน้อยภาพยิ่งดูแบนซึ่งเหมาะกับการสตรีมแบบ VTuber ค่ายิ่งมากภาพยิ่งกว้าง
การเน้นการซูมปรับความแรงของการซูมที่เปลี่ยนตามการขยับศีรษะไปข้างหน้า-ข้างหลัง
หันไปด้านหน้าหันอวาตาร์กลับมาด้านหน้าโดยไม่เปลี่ยนตำแหน่ง
ตำแหน่งกล้อง: บันทึก / คืนค่าบันทึกตำแหน่งและมุมมองของกล้องสำหรับสตรีมในปัจจุบัน เพื่อให้กลับมาใช้องค์ประกอบภาพเดิมได้ภายหลัง
เมื่อใช้ VRCFT
  • เมื่อตั้งประเภทการติดตามใบหน้าเป็น VRCFT ฝั่ง Viewer จะใช้ พอร์ต VRChat OSC เพิ่มเติมจาก VMC โดยปกติใช้ค่า 9000 ได้เลย
  • หากแอปอื่น เช่นตัว VRChat เอง ใช้พอร์ต OSC เดียวกันอยู่ อาจรับข้อมูลไม่ได้ ในกรณีนั้นให้เปลี่ยนพอร์ต

2-2. ฝั่งแอปจับภาพ: คาลิเบรตแล้วเริ่มส่ง

  1. ตั้ง "IP ปลายทาง" ของแอปจับภาพเป็น 127.0.0.1 และ "VMC Port" เป็น 39539
  2. หากใช้ VRCFT ให้ตั้ง "VRC OSC Port" เป็นค่าเดียวกับ พอร์ต VRChat OSC ของฝั่ง Viewer ด้วย (โดยปกติคือ 9000)
  3. เตรียมเว็บแคม หรือเตรียมการรับข้อมูลจาก iFacialMocap
  4. กดปุ่ม "คาลิเบรตครั้งแรก"
  5. รอจนนับถอยหลังเสร็จเพื่อบันทึกท่าทางเริ่มต้น
  6. กดปุ่ม "เริ่มส่ง"
การคาลิเบรต
การคาลิเบรต
เริ่มส่งข้อมูลการเคลื่อนไหว
เริ่มส่งข้อมูลการเคลื่อนไหว

เพียงเท่านี้อวาตาร์ก็จะเริ่มขยับตามการเคลื่อนไหวของคุณ หากใช้เฉพาะ iFacialMocap สีหน้า ศีรษะ และสายตาจะถูกนำไปใช้กับอวาตาร์

เงื่อนไขที่ทำให้กดปุ่มเริ่มส่งได้
  • เมื่อใช้เว็บแคม: กล้องทำงานอยู่ และคาลิเบรตครั้งแรกเสร็จแล้ว
  • เมื่อใช้เฉพาะ iFacialMocap: กล้องถูกตั้งเป็น "ไม่มีกล้อง (ใช้ iFacialMocap)" iFacialMocap อยู่ในสถานะ กำลังรับ และคาลิเบรตครั้งแรกเสร็จแล้ว
  • เมื่อใช้เฉพาะ iFacialMocap ปุ่ม "เริ่มกล้อง" จะถูกปิดใช้งาน ซึ่งเป็นการทำงานปกติ
เกี่ยวกับประเภทการส่ง
  • ใต้ปุ่ม "เริ่มส่ง" จะมีข้อความ "ประเภทการส่ง: VMC" หรือ "ประเภทการส่ง: VMC + VRChat OSC" แสดงอยู่ ซึ่งบอกโปรโตคอลปลายทางที่ใช้ส่งอยู่ในปัจจุบัน
  • ข้อความนี้จะเปลี่ยนไปตามรูปแบบการส่งสีหน้าที่เลือก (VRM มาตรฐาน / Perfect Sync / VRCFT) เฉพาะเมื่อเลือก VRCFT เท่านั้น ข้อมูลการติดตามใบหน้าจะถูกส่งไปยัง VRChat OSC เพิ่มเติมจาก VMC
  • รายละเอียดเกี่ยวกับการติดตามสีหน้า โปรดดูคู่มือ การติดตามสีหน้า หรือ การเชื่อมต่อกับ VRCFaceTracking
เคล็ดลับ
  • หากการเคลื่อนไหวดูติดขัด ให้เปิด "ทำให้การเคลื่อนไหวนุ่ม" ในโหมดสตรีมมิงของฝั่ง Viewer ซึ่งปรับแยกได้ทั้งศีรษะ ลำตัว มือ/แขน สายตา การกะพริบตา คิ้ว และปาก
  • ยิ่งเลื่อนไปทางขวา การเคลื่อนไหวยิ่งนุ่มนวลและสั่นน้อยลง แต่ความหน่วงจะเพิ่มขึ้น
  • เมื่อใช้ VRCFT การทำให้นุ่มที่เกี่ยวกับสีหน้าจะไม่มีผล
ทำให้การเคลื่อนไหวนุ่ม
ทำให้การเคลื่อนไหวนุ่ม

2-3. เมื่อทำงานได้ไม่ดี

รายการที่ควรตรวจสอบเมื่อเริ่มส่งไม่ได้ อวาตาร์หรือสีหน้าไม่ขยับ iFacialMocap ค้างอยู่ที่สถานะรอการเชื่อมต่อ หรือการเคลื่อนไหวหยุดนิ่ง ได้รวบรวมไว้ใน เมื่อไม่ทำงานได้ดี (คำถามที่พบบ่อย)

2-4. เมื่อต้องการส่งจาก PC เครื่องอื่น

หากต้องการแยก PC สำหรับจับภาพและ PC สำหรับสตรีม ให้ตั้ง "IP ปลายทาง" ของแอปจับภาพเป็นที่อยู่ IP ของ PC ที่ใช้ Avatar Viewer และอนุญาตการรับ UDP 39539 ในไฟร์วอลล์ของ PC ที่ใช้ Avatar Viewer แนะนำให้อยู่ใน LAN เดียวกันและเชื่อมต่อแบบใช้สาย

3

การติดตามสีหน้า

เรื่องการติดตามสีหน้าได้รวบรวมไว้ในคู่มือแยกต่างหาก

4

นำอวาตาร์เข้าไปใน OBS Studio

วิธีนำ Avatar Viewer เข้าไปเป็นแหล่งสัญญาณสำหรับสตรีมใน OBS Studio (เอาต์พุต Spout2 / โหมดพื้นหลังโปร่งใส + Window Capture) ได้รวบรวมไว้ในหน้า ส่งออกไปยัง OBS