Безмаркерна 3D-кінематика людини: Pose2Sim, RTMPose та OpenSim

Нещодавно опублікований навчальний посібник з кодування привертає увагу спільнот біомеханіків та фахівців з комп'ютерного зору, демонструючи, як будь-хто з обліковим записом Google може створити повноцінний безмаркерний 3D-конвеєр кінематики людини — повністю в браузері. У цьому посібнику використовуються Pose2Sim , RTMPose та OpenSim , що працюють на Google Colab , що усуває потребу в дорогих лабораторіях захоплення руху на основі маркерів та робить біомеханічний аналіз дослідницького рівня доступним для студентів, клініцистів та незалежних розробників.

Що охоплює посібник — поетапно

Посібник проведе користувачів через кожен етап робочого процесу Pose2Sim, від початкового налаштування середовища до остаточної генерації кривих кутів суглобів. Оскільки Colab працює в середовищі без інтерфейсу користувача (без монітора чи графічного інтерфейсу), на початку потрібні спеціальні кроки налаштування — часто недооцінена деталь, яка ставить під сумнів користувачів-початківців. Після того, як середовище виконання готове, процес розгортається в логічній послідовності:

• Калібрування — встановлення внутрішніх та зовнішніх параметрів камери, щоб система розуміла просторові взаємозв'язки між кожною камерою.
• Оцінка 2D пози — використання RTMPose, найсучаснішої моделі з екосистеми OpenMMLab , для виявлення ключових точок тіла в кожному відеокадрі.
• Синхронізація та асоціація осіб — вирівнювання кадрів між камерами у часі та забезпечення послідовного відстеження однієї й тієї ж особи.
• Тріангуляція — перетворення збігаючись у 2D-ключових точках з кількох проекцій у 3D-координати за допомогою епіполярної геометрії.
• Фільтрація — згладжування зашумлених 3D-траєкторій за допомогою фільтра Баттерворта або інших фільтрів обробки сигналів.
• Доповнення маркерів — збагачення розрідженого набору ключових точок для відповідності шаблонам щільніших маркерів, яких очікують моделі опорно-рухового апарату.
• Кінематика OpenSim — передача доповнених 3D-маркерів до вирішувача оберненої кінематики OpenSim для обчислення анатомічно значущих кутів суглобів.

На кожному етапі посібник заохочує користувачів перевіряти проміжні результати — візуалізувати траєкторії, перевіряти помилки повторного проектування та побудовувати кути з'єднань — щоб внесок кожного компонента в кінцевий результат був прозорим.

Чому кінематика без маркерів важлива зараз

Традиційна оптична фіксація руху (наприклад, Vicon або OptiTrack) залишається золотим стандартом у багатьох дослідницьких лабораторіях, але вона має значні перешкоди. Системи коштують десятки тисяч доларів, вимагають ретельного розміщення світловідбиваючих маркерів на тілі та контрольованих лабораторних умов. Для клінічного аналізу ходи, спортивних тренувань у польових умовах або масштабних досліджень населення ці обмеження часто є непомірними.

Безмаркерні підходи змінюють рівняння. Багатокамерні смартфони або недорогі екшн-камери замінюють інфрачервоні масиви, а глибоке навчання замінює клейкі маркери. Розрив у точності між методами на основі маркерів та безмаркерними методами різко скоротився за останні роки, а рецензовані дослідження показують середні похибки кута суглобів нижче п'яти градусів для багатьох рухів — що цілком у межах клінічно значущих порогів.

Якщо ви новачок у вивченні того, як глибоке навчання допомагає оцінювати позу людини, наш огляд OSGym: OS Infrastructure Framework for Computer Use Agents (ОС інфраструктура ОС для агентів використання комп'ютера) надасть вам корисну інформацію.

Роль кожного ключового інструменту

Поза2Сім

Розроблений дослідниками під керівництвом Девіда Паньона з Ліонського університету, Pose2Sim — це пакет Python з відкритим кодом, який поєднує бібліотеки для двовимірної оцінки поз та програмне забезпечення для моделювання опорно-рухового апарату. Він обробляє складні компромісні процеси — калібрування, тріангуляцію, фільтрацію та доповнення маркерами — для яких раніше потрібні були власні скрипти або власні інструменти.

RTMPose

RTMPose — це високоточний оцінювач поз у режимі реального часу від OpenMMLab, який забезпечує привабливий баланс між швидкістю та точністю. Його легка архітектура робить його особливо придатним для середовищ виконання Colab на основі графічних процесорів, де користувачі зазвичай мають доступ до однієї карти T4 або A100 протягом обмеженого часу.

OpenSim

Спочатку розроблений у Лабораторії нейром'язової біомеханіки Стенфордського університету, OpenSim є фактичною платформою з відкритим вихідним кодом для моделювання та симуляції опорно-рухового апарату. Його обернений кінематичний розв'язувач приймає положення 3D-маркерів та підганяє їх до масштабованої моделі скелета, виводячи кути суглобів, які описують, як кожен сегмент тіла рухався в просторі.

Чому важливо запускати все на Colab

Пакування всього цього конвеєра в одному блокноті Colab усуває останню головну перешкоду для впровадження: керування локальним середовищем. Встановлення Pose2Sim, залежностей RTMPose та прив'язок Python OpenSim на персональному комп'ютері може бути багатогодинним випробуванням, пов'язаним з конфліктуючими версіями бібліотек та особливостями платформи.

Завдяки Colab кожна залежність записана в сам блокнот. Дослідник у Найробі та студент у Сан-Паулу починають з одного й того ж чистого аркуша. Відтворюваність — вічний головний біль обчислювальних досліджень — стає майже тривіальною.

Щоб дізнатися більше про те, як хмарні ноутбуки змінюють робочі процеси досліджень ШІ, перегляньте нашу статтю «Посібник з впровадження ModelScope: пошук, налаштування та експорт» .

Експертна точка зору та галузевий контекст

Прагнення до безмаркерної кінематики узгоджується з ширшими тенденціями в демократизованому інструментарії штучного інтелекту. Такі компанії, як Theia Markerless та Kinatrax, вже пропонують комерційні безмаркерні рішення для професійних спортивних команд, але альтернативи з відкритим кодом швидко наздоганяють їх. Поєднання Pose2Sim та OpenSim фактично надає будь-якому досліднику безкоштовний, готовий до публікації конвеєр.

Експерти з біомеханіки зазначили, що залишаючимся рубежем є валідація в великих масштабах. Хоча порівняння даних однієї лабораторії з даними маркерів золотого стандарту є обнадійливими, спільноті потрібні великі, різноманітні набори даних для порівняння, що охоплюють різні типи статури, швидкості руху та конфігурації камери, перш ніж безмаркерна кінематика зможе повністю замінити традиційні методи в регуляторному або клінічному контексті.

Що буде далі

Варто звернути увагу на кілька розробок. По-перше, кінематика в реальному часі без маркерів наближається до готовності до виробництва, що може забезпечити біологічний зворотний зв'язок у реальному часі під час реабілітації або спортивних тренувань. По-друге, інтеграція з фізичними симуляціями — з використанням зворотної динаміки OpenSim та оцінки м'язової сили — розширить можливості за межі чистої кінематики та охопить кінетику. По-третє, оскільки новіші моделі поз, такі як RTMPose3D, покращують пряме 3D-прогнозування з монокулярного відео, вимога до кількох камер може зрештою стати необов'язковою для багатьох випадків використання.

Ключовий висновок

Цей посібник являє собою більше, ніж просто технічну інструкцію. Він сигналізує про переломний момент, коли складний біомеханічний аналіз, який колись був обмежений дорогим обладнанням та спеціалізованою експертизою, тепер доступний кожному, хто бажає відкрити вкладку браузера. Незалежно від того, чи вивчаєте ви порушення ходи, оптимізуєте удар у гольфі чи створюєте наступне покоління AR-аватарів, інструменти для вилучення значущої кінематики людини зі звичайного відео тепер безкоштовні, відкриті та доступні лише за допомогою блокнота Colab.