การจำลองการเคลื่อนไหวของมนุษย์แบบ 3 มิติโดยไม่ต้องใช้เครื่องหมาย: Pose2Sim, RTMPose และ OpenSim

บทช่วยสอนการเขียนโค้ดที่เพิ่งเผยแพร่ใหม่กำลังดึงดูดความสนใจในแวดวงชีวกลศาสตร์และคอมพิวเตอร์วิชั่น โดยแสดงให้เห็นว่าทุกคนที่มีบัญชี Google สามารถสร้างระบบวิเคราะห์จลนศาสตร์ของมนุษย์แบบ 3 มิติโดยไม่ต้องใช้เครื่องหมายได้ทั้งหมดภายในเว็บเบราว์เซอร์ บทช่วยสอนนี้ใช้ประโยชน์จาก Pose2Sim , RTMPose และ OpenSim ที่ทำงานบน Google Colab ซึ่งช่วยลดความจำเป็นในการใช้ห้องปฏิบัติการจับภาพการเคลื่อนไหวแบบใช้เครื่องหมายที่มีราคาแพง และทำให้การวิเคราะห์ชีวกลศาสตร์ระดับงานวิจัยเข้าถึงได้ง่ายสำหรับนักเรียน แพทย์ และนักพัฒนาอิสระ

เนื้อหาในบทช่วยสอนนี้—ทีละขั้นตอน

คู่มือนี้จะแนะนำผู้ใช้ผ่านทุกขั้นตอนของกระบวนการทำงานของ Pose2Sim ตั้งแต่การตั้งค่าสภาพแวดล้อมเริ่มต้นไปจนถึงการสร้างเส้นโค้งมุมข้อต่อขั้นสุดท้าย เนื่องจาก Colab ทำงานในสภาพแวดล้อมแบบไร้หน้าจอ (ไม่มีจอภาพหรือ GUI) จึงจำเป็นต้องมีการตั้งค่าพิเศษในตอนเริ่มต้น ซึ่งเป็นรายละเอียดที่มักถูกมองข้ามและทำให้ผู้ใช้ครั้งแรกสับสน เมื่อรันไทม์พร้อมแล้ว กระบวนการทำงานจะดำเนินไปตามลำดับตรรกะ:

• การปรับเทียบ — การกำหนดค่าพารามิเตอร์ภายในและภายนอกของกล้อง เพื่อให้ระบบเข้าใจความสัมพันธ์เชิงพื้นที่ระหว่างกล้องแต่ละตัว
• การประมาณท่าทาง 2 มิติ — ใช้ RTMPose ซึ่งเป็นโมเดลล้ำสมัยจาก ระบบนิเวศ OpenMMLab เพื่อตรวจจับจุดสำคัญของร่างกายในแต่ละเฟรมวิดีโอ
• การซิงโครไนซ์และการเชื่อมโยงบุคคล — การจัดเรียงเฟรมภาพจากกล้องต่างๆ ให้ตรงกันตามเวลา และตรวจสอบให้แน่ใจว่าได้ติดตามบุคคลเดียวกันอย่างสม่ำเสมอ
• การสร้างพิกัดสามมิติโดยใช้เรขาคณิตแบบเอพิ โพลาร์ (Triangulation) — การแปลงจุดสำคัญ 2 มิติที่ตรงกันจากมุมมองหลายมุมให้เป็นพิกัดสามมิติ
• การกรอง — การปรับเส้นทางการเคลื่อนที่ 3 มิติที่มีสัญญาณรบกวนให้เรียบด้วยตัวกรอง Butterworth หรือตัวกรองประมวลผลสัญญาณอื่นๆ
• การเพิ่มจำนวนจุดอ้างอิง — การเพิ่มจำนวนจุดอ้างอิงที่กระจัดกระจายให้ตรงกับแม่แบบจุดอ้างอิงที่มีความหนาแน่นกว่าตามที่แบบจำลองระบบกล้ามเนื้อและกระดูกคาดหวัง
• OpenSim Kinematics — ป้อนข้อมูลมาร์กเกอร์ 3 มิติเสมือนจริงเข้าไปในตัวแก้ปัญหาจลนศาสตร์ผกผันของ OpenSim เพื่อคำนวณมุมข้อต่อที่มีความหมายทางกายวิภาค

ในแต่ละขั้นตอน คู่มือจะกระตุ้นให้ผู้ใช้ตรวจสอบผลลัพธ์ระหว่างขั้นตอนต่างๆ เช่น การแสดงภาพวิถีการเคลื่อนที่ การตรวจสอบข้อผิดพลาดในการฉายภาพซ้ำ และการพล็อตมุมข้อต่อ เพื่อให้เห็นได้อย่างชัดเจนว่าแต่ละส่วนประกอบมีส่วนช่วยอย่างไรต่อผลลัพธ์สุดท้าย

เหตุใดจลศาสตร์แบบไร้เครื่องหมายจึงมีความสำคัญในปัจจุบัน

ระบบจับภาพการเคลื่อนไหวด้วยแสงแบบดั้งเดิม (เช่น Vicon หรือ OptiTrack) ยังคงเป็นมาตรฐานสูงสุดในห้องปฏิบัติการวิจัยหลายแห่ง แต่ก็มีข้อจำกัดที่สำคัญ ระบบมีราคาสูงถึงหลายหมื่นดอลลาร์ ต้องใช้เครื่องหมายสะท้อนแสงที่ต้องติดบนร่างกายอย่างระมัดระวัง และต้องการสภาพแวดล้อมในห้องปฏิบัติการที่ควบคุมได้ สำหรับการวิเคราะห์การเดินในทางคลินิก การฝึกสอนกีฬาในสนาม หรือการศึกษาประชากรขนาดใหญ่ ข้อจำกัดเหล่านี้มักเป็นอุปสรรค

วิธีการที่ไม่ต้องใช้เครื่องหมายเป็นการพลิกสมการ อุปกรณ์กล้องหลายตัวในสมาร์ทโฟนหรือกล้องแอ็คชั่นราคาประหยัดเข้ามาแทนที่อาร์เรย์อินฟราเรด และการเรียนรู้เชิงลึกเข้ามาแทนที่เครื่องหมายแบบกาว ช่องว่างความแม่นยำระหว่างวิธีการที่ใช้เครื่องหมายและวิธีการที่ไม่ใช้เครื่องหมายแคบลงอย่างมากในช่วงไม่กี่ปีที่ผ่านมา โดยงานวิจัยที่ได้รับการตรวจสอบโดยผู้เชี่ยวชาญแสดงให้เห็นว่าค่าความคลาดเคลื่อนของมุมข้อต่อเฉลี่ยต่ำกว่าห้าองศาสำหรับการเคลื่อนไหวหลายๆ อย่าง ซึ่งอยู่ในเกณฑ์ที่มีความสำคัญทางคลินิก

หากคุณยังไม่คุ้นเคยกับวิธีการที่การเรียนรู้เชิงลึกใช้ในการประมาณท่าทางของมนุษย์ บทความสรุปของเราเกี่ยวกับ OSGym: กรอบงานโครงสร้างพื้นฐานระบบปฏิบัติการสำหรับตัวแทนการใช้งานคอมพิวเตอร์ จะให้ข้อมูลพื้นฐานที่เป็นประโยชน์แก่คุณ

บทบาทของเครื่องมือหลักแต่ละอย่าง

โพสทูซิม

Pose2Sim พัฒนาโดยทีมวิจัยนำโดย David Pagnon จากมหาวิทยาลัยลียง เป็นแพ็กเกจ Python แบบโอเพนซอร์สที่เชื่อมช่องว่างระหว่างไลบรารีการประมาณท่าทาง 2 มิติและซอฟต์แวร์จำลองระบบกล้ามเนื้อและกระดูก โดยจัดการขั้นตอนที่ยุ่งยากซับซ้อน เช่น การปรับเทียบ การสร้างสามเหลี่ยม การกรอง และการเพิ่มเครื่องหมาย ซึ่งก่อนหน้านี้ต้องใช้สคริปต์แบบกำหนดเองหรือเครื่องมือเฉพาะของบริษัท

RTMPose

RTMPose เป็นโปรแกรมประมาณตำแหน่งแบบเรียลไทม์ที่มีความแม่นยำสูงจาก OpenMMLab ซึ่งสร้างสมดุลที่น่าสนใจระหว่างความเร็วและความแม่นยำ สถาปัตยกรรมที่มีน้ำหนักเบาทำให้เหมาะอย่างยิ่งสำหรับรันไทม์ที่ใช้ GPU ของ Colab ซึ่งโดยทั่วไปผู้ใช้จะมีสิทธิ์เข้าถึงการ์ด T4 หรือ A100 เพียงตัวเดียวสำหรับการใช้งานในระยะเวลาจำกัด

โอเพ่นซิม

OpenSim ซึ่งพัฒนาขึ้นครั้งแรกที่ห้องปฏิบัติการชีวกลศาสตร์ระบบประสาทและกล้ามเนื้อของมหาวิทยาลัยสแตนฟอร์ด เป็นแพลตฟอร์มโอเพนซอร์สมาตรฐานสำหรับการสร้างแบบจำลองและการจำลองระบบกระดูกและกล้ามเนื้อ ตัวแก้ปัญหาจลนศาสตร์ผกผันของ OpenSim จะใช้ตำแหน่งของมาร์กเกอร์ 3 มิติและปรับให้เข้ากับแบบจำลองโครงกระดูกที่ปรับขนาดแล้ว โดยให้ผลลัพธ์เป็นมุมข้อต่อที่อธิบายว่าแต่ละส่วนของร่างกายเคลื่อนที่ผ่านพื้นที่อย่างไร

เหตุใดการใช้งานทุกอย่างบน Colab จึงเป็นเรื่องสำคัญมาก

การบรรจุกระบวนการทั้งหมดนี้ไว้ในสมุดบันทึก Colab เดียว ช่วยขจัดอุปสรรคสำคัญสุดท้ายในการนำไปใช้งาน นั่นคือ การจัดการสภาพแวดล้อมในเครื่อง การติดตั้ง Pose2Sim, ส่วนประกอบที่จำเป็นของ RTMPose และส่วนเชื่อมต่อ Python ของ OpenSim บนเครื่องส่วนตัว อาจเป็นเรื่องยุ่งยากที่ใช้เวลานานหลายชั่วโมง โดยเกี่ยวข้องกับเวอร์ชันไลบรารีที่ขัดแย้งกันและข้อจำกัดเฉพาะแพลตฟอร์ม

ด้วย Colab ทุกๆ การพึ่งพาอาศัยกันจะถูกเขียนไว้ในโน้ตบุ๊กโดยตรง นักวิจัยในไนโรบีและนักศึกษาปริญญาตรีในเซาเปาโลจึงเริ่มต้นจากจุดเริ่มต้นเดียวกัน ความสามารถในการทำซ้ำได้ ซึ่งเป็นปัญหาเรื้อรังของการวิจัยเชิงคำนวณ จึงกลายเป็นเรื่องง่ายดายไปโดยปริยาย

สำหรับข้อมูลเพิ่มเติมเกี่ยวกับวิธีที่สมุดบันทึกบนระบบคลาวด์กำลังเปลี่ยนแปลงเวิร์กโฟลว์การวิจัย AI โปรดดูบทความของเราเรื่อง คู่มือการใช้งาน ModelScope: ค้นหา ปรับแต่ง และส่งออก

มุมมองของผู้เชี่ยวชาญและบริบทของอุตสาหกรรม

การผลักดันไปสู่ระบบจลนศาสตร์แบบไร้เครื่องหมายสอดคล้องกับแนวโน้มที่กว้างขึ้นในการเข้าถึงเครื่องมือ AI อย่างแพร่หลาย บริษัทต่างๆ เช่น Theia Markerless และ Kinatrax ได้นำเสนอโซลูชันแบบไร้เครื่องหมายเชิงพาณิชย์สำหรับทีมกีฬาอาชีพแล้ว แต่ทางเลือกแบบโอเพนซอร์สก็กำลังพัฒนาอย่างรวดเร็ว การผสมผสานระหว่าง Pose2Sim และ OpenSim ทำให้ผู้วิจัยทุกคนสามารถเข้าถึงระบบการทำงานที่พร้อมใช้งานสำหรับการตีพิมพ์ได้ฟรีอย่างมีประสิทธิภาพ

ผู้เชี่ยวชาญด้านชีวกลศาสตร์ตั้งข้อสังเกตว่า สิ่งที่ยังคงเป็นความท้าทายอยู่คือการตรวจสอบความถูกต้องในวงกว้าง แม้ว่าการเปรียบเทียบข้อมูลจากห้องปฏิบัติการเดียวกับข้อมูลมาตรฐานที่ได้จากเครื่องมือวัดจะน่าพอใจ แต่ชุมชนก็ยังต้องการชุดข้อมูลมาตรฐานขนาดใหญ่และหลากหลาย ครอบคลุมรูปร่างของร่างกาย ความเร็วในการเคลื่อนไหว และการกำหนดค่ากล้องที่แตกต่างกัน ก่อนที่การวัดการเคลื่อนไหวแบบไร้เครื่องมือวัดจะสามารถเข้ามาแทนที่วิธีการแบบดั้งเดิมได้อย่างเต็มที่ในบริบทด้านกฎระเบียบหรือทางคลินิก

อะไรจะเกิดขึ้นต่อไป

มีพัฒนาการหลายอย่างที่น่าจับตามอง ประการแรก การวิเคราะห์จลนศาสตร์แบบเรียลไทม์โดยไม่ต้องใช้เครื่องหมายกำลังใกล้จะพร้อมใช้งานจริง ซึ่งจะช่วยให้สามารถให้ข้อมูลป้อนกลับทางชีวภาพแบบสดๆ ระหว่างการฟื้นฟูหรือการฝึกกีฬาได้ ประการที่สอง การบูรณาการกับการจำลองทางฟิสิกส์ โดยใช้พลศาสตร์ผกผันและการประมาณแรงกล้ามเนื้อของ OpenSim จะขยายขอบเขตการทำงานจากจลนศาสตร์อย่างเดียวไปสู่พลศาสตร์ ประการที่สาม เมื่อโมเดลท่าทางใหม่ๆ เช่น RTMPose3D ปรับปรุงการทำนาย 3 มิติโดยตรงจากวิดีโอแบบโมโนคูลาร์ ข้อกำหนดเรื่องกล้องหลายตัวอาจกลายเป็นทางเลือกสำหรับกรณีการใช้งานหลายๆ อย่างในที่สุด

ประเด็นสำคัญ

บทช่วยสอนนี้เป็นมากกว่าคู่มือทางเทคนิค มันแสดงให้เห็นถึงจุดเปลี่ยนสำคัญที่การวิเคราะห์ทางชีวกลศาสตร์ขั้นสูง—ซึ่งครั้งหนึ่งเคยต้องใช้ฮาร์ดแวร์ราคาแพงและความเชี่ยวชาญเฉพาะด้าน—ตอนนี้ทุกคนสามารถเข้าถึงได้เพียงแค่เปิดแท็บเบราว์เซอร์ ไม่ว่าคุณจะศึกษาความผิดปกติของการเดิน ปรับปรุงวงสวิงกอล์ฟ หรือสร้างอวตาร AR รุ่นใหม่ เครื่องมือสำหรับการดึงข้อมูลการเคลื่อนไหวของมนุษย์ที่มีความหมายจากวิดีโอธรรมดา ตอนนี้ใช้งานได้ฟรี เปิดเผย และเข้าถึงได้ง่ายเพียงแค่ใช้ Colab notebook