Merkitsemätön 3D-ihmiskinematiikka: Pose2Sim, RTMPose ja OpenSim

Äskettäin julkaistu koodausopas kääntää päät biomekaniikan ja konenäön yhteisöissä osoittamalla, kuinka kuka tahansa Google-tilin omistaja voi rakentaa täydellisen merkitsijättömän 3D-ihmiskinematiikan prosessin – kokonaan selaimessa. Opas hyödyntää Google Colabissa toimivia Pose2Sim- , RTMPose- ja OpenSim- ohjelmistoja, mikä poistaa tarpeen kalliille merkitsijäpohjaisille liikkeentallennuslaboratorioille ja tekee tutkimustason biomekaanisesta analyysistä saatavilla niin opiskelijoille, lääkäreille kuin itsenäisille kehittäjillekin.

Opastusohjelman kattamat asiat – vaihe vaiheelta

Opas opastaa käyttäjiä Pose2Sim-työnkulun jokaisessa vaiheessa alustavasta ympäristön määrityksestä nivelkulmakäyrien lopulliseen luomiseen. Koska Colab toimii näkymättömässä ympäristössä (ilman näyttöä tai graafista käyttöliittymää), alussa tarvitaan erityisiä määritysvaiheita – usein unohdettu yksityiskohta, joka hämmentää ensikertalaisia. Kun ajonaikainen ympäristö on valmis, prosessi etenee loogisessa järjestyksessä:

• Kalibrointi — Kameran sisäisten ja ulkoisten parametrien määrittäminen, jotta järjestelmä ymmärtää kunkin kameran välisen spatiaalisen suhteen.
• 2D-asennon arviointi — Käytetään RTMPosea, OpenMMLab-ekosysteemin huippuluokan mallia, kehon avainpisteiden havaitsemiseen jokaisessa videoruudussa.
• Synkronointi ja henkilöiden yhdistäminen — Kuvien ajallinen kohdistaminen eri kameroiden välillä ja saman henkilön johdonmukaisen seurannan varmistaminen.
• Kolmiomittaus — Useista näkymistä saatujen täsmäävien 2D-avainpisteiden muuntaminen 3D-koordinaateiksi epipolaarigeometrian avulla.
• Suodatus — Kohinaisten 3D-ratojen tasoitus Butterworth- tai muilla signaalinkäsittelysuodattimilla.
• Merkkien lisäys — Harvan avainpistejoukon rikastaminen vastaamaan tuki- ja liikuntaelinmallien odottamia tiheämpiä merkkipohjia.
• OpenSim Kinematics — Syötetään laajennetut 3D-merkit OpenSimin käänteiseen kinematiikan ratkaisijaan anatomisesti merkityksellisten nivelkulmien laskemiseksi.

Jokaisessa vaiheessa opetusohjelma kannustaa käyttäjiä tarkastelemaan välivaiheen tuloksia – visualisoimaan liikeratoja, tarkistamaan uudelleenprojektiovirheitä ja piirtämään nivelkulmia – jotta jokaisen komponentin vaikutus lopputulokseen on läpinäkyvä.

Miksi merkitsemätön kinematiikka on nyt tärkeää

Perinteinen optinen liikkeenkaappaus (esimerkiksi Vicon tai OptiTrack) on edelleen monien tutkimuslaboratorioiden kultastandardi, mutta siihen liittyy merkittäviä esteitä. Järjestelmät maksavat kymmeniä tuhansia dollareita, vaativat heijastavien merkkien huolellisen sijoittamisen kehoon ja vaativat kontrolloituja laboratorioympäristöjä. Kliinisessä kävelyanalyysissä, urheiluvalmennuksessa kenttätyössä tai laajamittaisissa väestötutkimuksissa nämä rajoitukset ovat usein kohtuuttomia.

Merkitsemättömät menetelmät kääntävät yhtälön päälaelleen. Monikameraiset älypuhelinjärjestelmät tai edulliset action-kamerat korvaavat infrapunatunnisteet, ja syväoppiminen korvaa tarramerkit. Merkitsemiseen perustuvien ja merkitsemättömien menetelmien välinen tarkkuusero on kaventunut dramaattisesti viime vuosina, ja vertaisarvioidut tutkimukset osoittavat, että nivelkulman keskimääräiset virheet ovat monissa liikkeissä alle viisi astetta – selvästi kliinisesti merkittävien kynnysarvojen sisällä.

Jos et ole aiemmin perehtynyt siihen, miten syväoppiminen tukee ihmisen asennon arviointia, OSGym: OS Infrastructure Framework for Computer Use Agents -yleiskatsauksemme tarjoaa hyödyllistä taustatietoa.

Kunkin avaintyökalun rooli

Pose2Sim

David Pagnonin johtamien tutkijoiden Lyonin yliopistossa kehittämä Pose2Sim on avoimen lähdekoodin Python-paketti, joka kuroa umpeen kuilua 2D-asennonarviointikirjastojen ja tuki- ja liikuntaelimistön simulointiohjelmistojen välillä. Se hoitaa aiemmin mukautettuja skriptejä tai suljetun lähdekoodin työkaluja vaativat sekavat välivaiheet – kalibroinnin, kolmiomittauksen, suodatuksen ja markkereiden lisäyksen.

RTMPose

RTMPose on OpenMMLabin reaaliaikainen ja tarkka asennon arviointityökalu, joka löytää houkuttelevan tasapainon nopeuden ja tarkkuuden välillä. Sen kevyt arkkitehtuuri tekee siitä erityisen sopivan Colabin GPU-tuettuihin suoritusympäristöihin, joissa käyttäjillä on tyypillisesti käytössään yksi T4- tai A100-kortti rajoitettujen istuntojen ajan.

OpenSim

Alun perin Stanfordin yliopiston neuromuskulaarisen biomekaniikan laboratoriossa kehitetty OpenSim on tosiasiallisesti avoimen lähdekoodin alusta tuki- ja liikuntaelimistön mallinnukselle ja simuloinnille. Sen käänteinen kinematiikan ratkaisija ottaa 3D-merkkien sijainnit ja sovittaa ne skaalattuun luustomalliin, jolloin tuloksena on nivelkulmat, jotka kuvaavat, miten kukin kehon osa liikkui avaruudessa.

Miksi kaiken pyörittäminen Colabissa on iso juttu

Koko tämän prosessin pakkaaminen yhteen Colab-muistikirjaan poistaa viimeisen merkittävän käyttöönoton esteen: paikallisen ympäristön hallinnan. Pose2Simin, RTMPose-riippuvuuksien ja OpenSimin Python-sidosten asentaminen henkilökohtaiselle koneelle voi olla useiden tuntien koettelemus, johon liittyy ristiriitaisia kirjastoversioita ja alustakohtaisia omituisuuksia.

Colabin avulla jokainen riippuvuus on kirjoitettu suoraan muistikirjaan. Nairobissa toimiva tutkija ja São Paulossa asuva kandidaattiopiskelija aloittavat täsmälleen samalta tyhjältä pöydältä. Toistettavuus – laskennallisen tutkimuksen ikuinen päänsärky – muuttuu lähes triviaaliksi.

Lisätietoja siitä, miten pilvipohjaiset muistikirjat muokkaavat tekoälytutkimuksen työnkulkuja, on artikkelissamme ModelScope Implementation Guide: Haku, hienosäätö ja vienti .

Asiantuntijan näkökulma ja toimialakohtainen konteksti

Pyrkimys kohti merkitsimätöntä kinematiikkaa on linjassa laajempien demokratisoituneiden tekoälytyökalujen trendien kanssa. Yritykset, kuten Theia Markerless ja Kinatrax, tarjoavat jo kaupallisia merkitsimättömiä ratkaisuja ammattiurheilujoukkueille, mutta avoimen lähdekoodin vaihtoehdot kurovat umpeen nopeasti. Pose2Simin ja OpenSimin yhdistelmä tarjoaa käytännössä kaikille tutkijoille ilmaisen, julkaisuvalmiin prosessin.

Biomekaniikan asiantuntijat ovat huomauttaneet, että jäljellä oleva raja-alue on skaalautuva validointi. Vaikka yksittäisten laboratorioiden vertailut kultaisen standardin mukaisiin markkeritietoihin ovat rohkaisevia, yhteisö tarvitsee laajoja ja monipuolisia vertailuaineistoja – jotka kattavat eri kehotyypit, liikenopeudet ja kamerakonfiguraatiot – ennen kuin markkeriton kinematiikka voi täysin korvata perinteiset menetelmät sääntely- tai kliinisissä yhteyksissä.

Mitä seuraavaksi tapahtuu

Useita kehitysaskeleita on seurannan arvoisia. Ensinnäkin reaaliaikainen markkeriton kinematiikka on lähestymässä tuotantovalmiutta, mikä voisi mahdollistaa reaaliaikaisen biopalautteen kuntoutuksen tai urheiluharjoittelun aikana. Toiseksi, integrointi fysiikkaan perustuviin simulaatioihin – käyttäen OpenSimin käänteistä dynamiikkaa ja lihasvoiman arviointia – laajentaa prosessia pelkästä kinematiikasta kinetiikkaan. Kolmanneksi, kun uudemmat asentomallit, kuten RTMPose3D, parantavat suoraa 3D-ennustusta monokulaarisesta videosta, monikameravaatimuksesta voi lopulta tulla valinnainen monissa käyttötapauksissa.

Tärkeimmät vinkit

Tämä tutoriaali on enemmän kuin pelkkä tekninen opas. Se merkitsee käännekohtaa, jossa hienostunut biomekaaninen analyysi – joka aiemmin oli lukittu kalliiden laitteiden ja erikoisasiantuntemuksen taakse – on nyt kenen tahansa saavutettavissa, joka on valmis avaamaan selainvälilehden. Olitpa sitten tutkimassa kävelyhäiriöitä, optimoimassa golflyöntiä tai rakentamassa seuraavan sukupolven AR-avatareja, työkalut merkityksellisen ihmisen kinematiikan poimimiseksi tavallisesta videosta ovat nyt ilmaisia, avoimia ja vain Colab-muistikirjan päässä.