โหมดสตรีม (เชื่อมต่อ VMC, ใช้งานร่วมกับ OBS)

ขยับอวตารด้วยเว็บแคมและโมชันแคปเจอร์

หน้านี้แปลด้วยเครื่องและอาจมีข้อผิดพลาด
ในคู่มือนี้ แอปแสดงอวตารของ VRC Avatar Viewer จะเรียกว่า "แอปวิวเวอร์" และแอปจับการเคลื่อนไหว (Motion Capture for VRC Avatar Viewer) จะเรียกว่า "แอปแคปเจอร์"

VRC Avatar Viewer และ Motion Capture for VRC Avatar Viewer(ต่อไปนี้เรียกว่า "แอปแคปเจอร์")สามารถใช้ร่วมกันเพื่อขยับอวตารด้วยเว็บแคมเพียงตัวเดียว นอกจากนี้ยังสามารถใช้สตรีมร่วมกับ OBS Studio และซอฟต์แวร์อื่นๆ ได้ คู่มือนี้จะอธิบายขั้นตอนการตั้งค่าดังต่อไปนี้

แอปแคปเจอร์ประมวลผลภาพจากกล้องทั้งหมดในเครื่องโดยไม่ส่งข้อมูลออกไปภายนอก และไม่มีการสื่อสารกับภายนอกใดๆ นอกจาก VMC และ VRChat OSC ที่ผู้ใช้เปิดใช้งานอย่างชัดเจน

โมชันแคปเจอร์และเฟซแทร็กกิ้ง
โมชันแคปเจอร์และเฟซแทร็กกิ้ง
การเชื่อมต่อกับ OBS
การเชื่อมต่อกับ OBS
  1. ติดตามการเคลื่อนไหวของคุณด้วยแอปแคปเจอร์
  2. ส่งข้อมูลผ่านโปรโตคอล VMC ไปยัง Avatar Viewer เพื่อขยับอวตาร
  3. นำ Avatar Viewer เข้า OBS เพื่อใช้เป็นแหล่งสัญญาณสตรีม (ไม่บังคับ)

สิ่งที่ต้องการ

  • VRC Avatar Viewer(ตัวแอปหลัก)
  • Motion Capture for VRC Avatar Viewer(แอปแคปเจอร์ / แจกจ่ายที่ BOOTH
  • เว็บแคม(แนะนำ 720p ขึ้นไป)
  • ซอฟต์แวร์สตรีม เช่น OBS Studio(ไม่บังคับ)
[เว็บแคม] → [แอปแคปเจอร์] →VMC / UDP→ [Avatar Viewer] →Spout / ウィンドウ透過→ [OBS]
Tips
  • คู่มือนี้จะอธิบายการตั้งค่าสำหรับการใช้งานทุกอย่างบน PC เครื่องเดียวก่อน หากต้องการแยก PC สำหรับสตรีมและ PC สำหรับถ่ายภาพ จะมีหมายเหตุเพิ่มเติมที่ท้าย Step 2
  • สำหรับการติดตั้ง Avatar Viewer และการโหลดอวตาร กรุณาดู ตั้งแต่การ Export อวตารจนถึงการแสดงผล ก่อน
1

เตรียมแอปแคปเจอร์

แอปแคปเจอร์เป็นแอปสำหรับ Windows ที่ประมวลผลภาพจากเว็บแคมเพื่อประมาณการเคลื่อนไหวของร่างกายทั้งหมด(ลำตัว แขน นิ้ว และสีหน้า)และส่งออกผ่านโปรโตคอล VMC

หน้าจอแอปแคปเจอร์
หน้าจอแอปแคปเจอร์

1-1. ดาวน์โหลดและเปิดใช้งาน

  1. ดาวน์โหลดไฟล์ ZIP ของแอปแคปเจอร์จาก หน้าแจกจ่ายใน BOOTH
  2. แตกไฟล์ ZIP แล้วดับเบิลคลิกที่ Capture.exe เพื่อเปิดใช้งาน

1-2. เริ่มต้นกล้อง

  1. เลือก "กล้อง" "ความละเอียด" และ "FPS"
  2. กดปุ่ม "เริ่มต้นกล้อง"
  3. เมื่อเห็นตัวเองในหน้าต่างพรีวิว ให้ยืนตรงหน้ากล้องและ หยุดนิ่ง 1〜2 วินาที(การสอบเทียบครั้งแรก)
เริ่มต้นกล้อง
เริ่มต้นกล้อง
Tips
  • กรุณายืนในตำแหน่งที่ร่างกายทั้งหมดอยู่ในเฟรม แม้จะทำงานด้วยครึ่งตัวบนได้ แต่การติดตามร่างกายแบบเต็มตัวต้องการให้มองเห็นทั้งร่างกาย
  • พยายามให้พื้นหลังเรียบง่าย และแสงสว่างเพียงพอให้เห็นใบหน้าชัดเจน

1-3. ปรับการเคลื่อนไหว

หากพรีเซ็ตไม่ทำงานได้ดี สามารถปรับได้ด้วยสไลเดอร์ที่ด้านล่างของหน้าจอ สามารถปรับได้ 3 ค่าสำหรับแต่ละส่วนของ ครึ่งตัวบน / แขน

การปรับการเคลื่อนไหว
การปรับการเคลื่อนไหว
พารามิเตอร์ ผล
การทำให้เสถียร ลดการสั่น(ยิ่งมากยิ่งตอบสนองช้า)
การตอบสนอง ระดับการติดตามการเคลื่อนไหวที่รวดเร็ว(ยิ่งมากยิ่งคล่องแคล่ว)
ปริมาณการเคลื่อนไหว ปริมาณการเคลื่อนไหวที่ส่งออก(ยิ่งน้อยยิ่งนุ่มนวล)

การตั้งค่าจะถูกบันทึกอัตโนมัติเมื่อปิดแอป

1-4. เมื่อท่าทางของคนและอวตารไม่ตรงกัน

กดปุ่ม "สอบเทียบใหม่" เพื่อนับถอยหลัง 3 วินาที จากนั้นรับท่าทางอ้างอิงใหม่

1-5. เลือกส่วนที่ต้องการส่ง

สามารถเปิด/ปิดส่วนที่ต้องการสะท้อนบนอวตารได้แยกกันโดยใช้ช่องทำเครื่องหมาย "ส่วนที่ต้องการส่ง" ทางด้านขวาของหน้าจอ หากปิดส่วนใด ส่วนนั้นจะอยู่นิ่ง(ท่าดีฟอลต์)

เลือกส่วนที่ต้องการส่ง
เลือกส่วนที่ต้องการส่ง
ส่วน คำอธิบาย
สีหน้า ผลลัพธ์เฟซแทร็กกิ้ง เช่น การกะพริบตา ปาก และทิศทางสายตา
หัว ทิศทางศีรษะ(การหมุนของคอ)
แขน การเคลื่อนไหวของแขนและนิ้วทั้งสองข้าง
ครึ่งตัวบน การเอียงของลำตัวขึ้นลง/หน้าหลัง และการเคลื่อนไหวของไหล่
ครึ่งตัวล่าง การเคลื่อนไหวของสะโพกและขา
ตัวอย่างการใช้งาน
  • หากสตรีมในท่านั่งบนเก้าอี้ ให้ปิด ครึ่งตัวล่าง เพื่อลดการตรวจจับผิดพลาดระหว่างการยืนและนั่ง
  • หากใช้เครื่องมืออื่น(เช่น VRCFaceTracking)สำหรับแทร็กกิ้งสีหน้า ให้ปิด สีหน้า เพื่อหลีกเลี่ยงความขัดแย้ง

1-6. ลิปซิงค์

ฟีเจอร์นี้สร้างการเคลื่อนไหวของปาก(ลิปซิงค์)จากเสียงไมโครโฟน ตอบสนองเร็วกว่าเฟซแทร็กกิ้งจากเว็บแคม และทำให้การเคลื่อนไหวของปากเป็นธรรมชาติมากขึ้น สะดวกสำหรับการสตรีมร้องเพลงหรือสตรีมในขณะสวมหน้ากาก

ลิปซิงค์
ลิปซิงค์

วิธีใช้

  1. เปิดสวิตช์ "เปิดใช้งาน" ในส่วน "ลิปซิงค์"
  2. เลือกอุปกรณ์อินพุตที่ต้องการใช้จากเมนูดรอปดาวน์ "ไมโครโฟน"
  3. ลองพูดและตรวจสอบว่ามิเตอร์ระดับเสียงข้างๆ ตอบสนองหรือไม่
Tips
  • ขณะที่ลิปซิงค์เปิดอยู่ ผลลัพธ์จากระดับเสียงไมโครโฟนและการวิเคราะห์สระจะมีความสำคัญเหนือกว่าการเคลื่อนไหวปากจากเว็บแคม
  • หากไมโครโฟนไม่ตอบสนอง กรุณาตรวจสอบว่าอุปกรณ์อินพุตเปิดใช้งานอยู่ในการตั้งค่าเสียงของ Windows
  • ไมโครโฟนที่เลือกจะถูกบันทึกใน PlayerPrefs และจะถูกกู้คืนในครั้งถัดไปที่เปิดแอป
2

เชื่อมต่อกับ Avatar Viewer เพื่อขยับอวตาร

การส่งข้อมูลจากแอปแคปเจอร์ไปยัง Avatar Viewer ใช้ โปรโตคอล VMC(OSC over UDP)สามารถเชื่อมต่อได้โดยเพียงแค่เปิดใช้งานการรับสัญญาณในฝั่ง Avatar Viewer และระบุปลายทางการส่งในฝั่งแอปแคปเจอร์

2-1. ฝั่ง Avatar Viewer: เปิดใช้งานการรับ VMC

  1. แสดงอวตารใน Avatar Viewer
  2. คลิกปุ่ม โหมดสตรีม ในแถบเครื่องมือ
  3. เปิด "รับ VMC"(พอร์ตดีฟอลต์: 39539
หน้าจอโหมดสตรีม
หน้าจอโหมดสตรีม

2-2. ฝั่งแอปแคปเจอร์: เริ่มต้นการส่ง

  1. ตั้งค่า "IP ปลายทาง" ในแอปแคปเจอร์เป็น 127.0.0.1 และ "Port" เป็น 39539
  2. กดปุ่ม "เริ่มต้นการส่ง"
เริ่มต้นการส่งโมชัน
เริ่มต้นการส่งโมชัน

ตอนนี้อวตารจะเริ่มเคลื่อนไหวตามการเคลื่อนไหวของคุณ

เกี่ยวกับประเภทการส่ง
  • ใต้ปุ่ม "เริ่มต้นการส่ง" จะแสดงคำอธิบาย "ประเภทการส่ง: VMC" หรือ "ประเภทการส่ง: VMC + VRChat OSC" ซึ่งระบุโปรโตคอลปลายทางปัจจุบัน
  • คำอธิบายจะเปลี่ยนตามรูปแบบการส่งสีหน้าที่เลือก(VRM มาตรฐาน / Perfect Sync / VRCFT)เฉพาะเมื่อเลือก VRCFT เท่านั้น ข้อมูลเฟซแทร็กกิ้งจะถูกส่งไปยัง VRChat OSC นอกเหนือจาก VMC
  • สำหรับรายละเอียดเกี่ยวกับการแทร็กกิ้งสีหน้า กรุณาดู การแทร็กกิ้งสีหน้า หรือคู่มือ การเชื่อมต่อ VRCFaceTracking
Tips
  • หากการเคลื่อนไหวดูเกร็ง ลองเปลี่ยนพรีเซ็ต "การทำให้การเคลื่อนไหวราบรื่น"(6 ระดับ)เพื่อปรับสมดุลระหว่างความคล่องแคล่วและความนุ่มนวล
การทำให้การเคลื่อนไหวราบรื่น
การทำให้การเคลื่อนไหวราบรื่น

2-3. เมื่อทำงานไม่ถูกต้อง

  • อวตารไม่ตอบสนอง กรุณาตรวจสอบว่าการรับ VMC ใน Avatar Viewer เปิดอยู่ และ IP แอดเดรส/พอร์ตในแอปแคปเจอร์ถูกต้อง
  • การเคลื่อนไหวหยุดนิ่ง กรุณาตรวจสอบว่าตัวเองปรากฏในหน้าต่างพรีวิวของแอปแคปเจอร์ และการติดตามทำงานอยู่
  • การเคลื่อนไหวไม่ดี หากสีของเสื้อผ้าและพื้นหลังใกล้เคียงกัน ความแม่นยำในการติดตามจะลดลงอย่างชัดเจน โดยเฉพาะอย่างยิ่ง หลีกเลี่ยงการสวมเสื้อผ้าที่มีสีเดียวกับพื้นหรือผนัง แม้ว่าสีที่ดูต่างกันต่อสายตาคนอาจดูเหมือนกันในภาพกล้อง แนะนำให้สวมเสื้อผ้าสีที่ตัดกันกับพื้นหลังอย่างชัดเจน

2-4. กรณีต้องการส่งจาก PC อีกเครื่อง

หากต้องการแยก PC สำหรับถ่ายภาพและสตรีม ให้ตั้งค่า "IP ปลายทาง" ในแอปแคปเจอร์เป็น IP แอดเดรสของ PC ที่รัน Avatar Viewer และอนุญาตการรับ UDP 39539 ในไฟร์วอลล์ของ PC ฝั่ง Avatar Viewer แนะนำให้ใช้การเชื่อมต่อแบบมีสายภายใน LAN เดียวกัน

2-5. ข้อควรระวังอื่นๆ

3

การแทร็กกิ้งสีหน้า

รายละเอียดเกี่ยวกับการแทร็กกิ้งสีหน้าได้รวบรวมไว้ในคู่มือแยกต่างหาก

4

นำอวตารเข้า OBS Studio

มีสองวิธีในการนำ Avatar Viewer เข้า OBS Studio(ต่อไปนี้เรียกว่า OBS)เป็นแหล่งสัญญาณสตรีม วิธีการใช้ Spout2 แนะนำให้ใช้เนื่องจากมีข้อดีทั้งในด้านคุณภาพภาพและประสิทธิภาพ แต่ก็สามารถใช้วิธี "Window Capture" ซึ่งไม่ต้องติดตั้งปลัก-อินได้เช่นกัน

วิธี A: ส่งออกไปยัง OBS ด้วย Spout2(แนะนำ)

Spout เป็นกลไกสำหรับแชร์วิดีโอโดยตรงระหว่างแอปต่างๆ บน Windows สามารถส่งอวตารไปยัง OBS ด้วยคุณภาพสูงและความหน่วงต่ำ

  1. เตรียม OBS ติดตั้ง Spout2 Plugin for OBS Studio และรีสตาร์ท OBS
  2. ฝั่ง Avatar Viewer เปิดโหมดสตรีมและเปิด Spout output
  3. ฝั่ง OBS เพิ่มซอร์สใหม่ เลือก "Spout2 Capture" และเลือก output ที่ส่งมาจาก Avatar Viewer
Tips
  • Spout สามารถส่ง alpha channel(ข้อมูลความโปร่งใส)ได้ด้วย จึงสามารถทำ composite ใน OBS โดยให้พื้นหลังโปร่งใสได้

วิธี B: โหมดพื้นหลังโปร่งใส + Window Capture

เหมาะสำหรับกรณีที่ไม่ต้องการติดตั้งปลัก-อิน หรือต้องการใช้เป็น desktop mascot ด้วย

  1. เปิด โหมดพื้นหลังโปร่งใส จากแถบเครื่องมือของ Avatar Viewer(พื้นหลังจะหายไปเหลือแค่อวตาร)
  2. เพิ่มซอร์ส "Window Capture" ใน OBS และเลือกหน้าต่างของ Avatar Viewer
  3. จัดตำแหน่งอวตารตามที่ต้องการด้วยการครอปและปรับขนาด
Tips
  • ในขณะที่โหมดพื้นหลังโปร่งใสเปิดอยู่ ยังสามารถควบคุมกล้องของอวตารด้วยเมาส์ได้