VimRAG: Alibaban Visual RAG -kehys käyttää muistigraafeja

Alibaban Tongyi-laboratorio ratkaisee multimodaalisen tekoälyn suurimman pullonkaulan

Alibaba Groupin Tongyi Labin tutkijat ovat julkaisseet VimRAGin, uuden multimodaalisen Retrieval-Augmented Generation -kehyksen, joka on suunniteltu voittamaan visuaalisen datan tekoälyjärjestelmille asettamat rajoitukset. Kehys esittelee strukturoidun muistigraafin, jonka avulla tekoälyagentit voivat navigoida valtavissa visuaalisissa konteksteissa – kuvien, videoiden ja sekamuotoisten dokumenttien välillä – hukkumatta tokeneihin tai menettämättä merkitystään.

Julkaisu saapuu kriittiseen käännekohtaan. Yritykset ja kehittäjät kilpailevat rakentaakseen tekoälyjärjestelmiä, jotka pystyvät analysoimaan muutakin kuin vain tekstiä, mutta nykyiset lähestymistavat törmäävät seinään heti, kun kuvakaappaukset, kaaviot, valvontakameramateriaali tai tuotekuvat tulevat markkinoille. VimRAG edustaa yhtä tähän mennessä harkituimmista yrityksistä ratkaista tämä ongelma sen arkkitehtuurin juuritasolla.

Mitä VimRAG tarkalleen ottaen tekee eri tavalla?

VimRAGin merkityksen ymmärtämiseksi on hyödyllistä ymmärtää, mikä nykyisissä lähestymistavoissa on puutteellista. Useimmat haulla laajennetut generointiagentit nykyään perustuvat silmukkamalliin – jota usein kutsutaan ReActiksi – jossa malli ajattelee, suorittaa toiminnon, havaitsee tuloksen ja syöttää sitten koko vuorovaikutushistorian takaisin seuraavaan vaiheeseen. Tekstin kohdalla tämä toimii kohtuullisen hyvin. Visuaalisen datan kohdalla se on katastrofi.

Kuvat ja videokehykset kuluttavat valtavan määrän tokeneita suhteessa niiden sisältämään semanttiseen tietoon missä tahansa kyselyssä. Kun agentin vuorovaikutushistoria kasvaa useiden päättelyvaiheiden läpi, konteksti-ikkuna täyttyy nopeasti. Historian tiivistäminen tilan säästämiseksi poistaa tärkeitä visuaalisia yksityiskohtia. Kyseessä on skenaario, jossa kaikki menettävät.

VimRAG hyökkää tätä vastaan perustavanlaatuisesti erilaisella arkkitehtuurilla, joka rakentuu kolmen keskeisen idean ympärille:

• Muistigraafin rakenne: VimRAG ei ylläpidä tasaista, lineaarista havaintohistoriaa, vaan järjestää haetut visuaaliset ja tekstitiedot graafiksi. Solmut edustavat erillisiä todisteita – kuva-aluetta, videosegmenttiä, tekstikatkelmaa – ja reunat koodaavat niiden välisiä suhteita.
• Valikoiva navigointi: Sen sijaan, että kaikki tungettaisiin yhteen valtavaan kehotteeseen, kehys antaa agentille mahdollisuuden käydä läpi muistigraafia strategisesti ja vetää esiin vain olennaisimmat visuaaliset todisteet jokaisessa päättelyvaiheessa.
• Irrotettu visuaalinen muisti: Järjestelmä erottaa raakat visuaaliset tunnukset niiden semanttisista yhteenvedoista, jolloin agentti voi viitata korkean tason abstraktioihin suunnittelussa ja porautua pikselitason yksityiskohtiin vain tarvittaessa.

Lopputuloksena on agentti, joka pystyy käsittelemään monihyppyistä päättelyä laajojen visuaalisten tietojoukkojen yli ilman eksponentiaalista kontekstin paisumista, joka lamauttaa perinteiset lähestymistavat.

Miksi tämä on tärkeää laajemmalle tekoälyalalle

VimRAGin julkaisun ajoitus on merkittävä. Tekoälyteollisuus on käyttänyt viimeiset kaksi vuotta RAG-prosessien optimointiin tekstipainotteisia yrityskäyttötapauksia varten – oikeudellisia asiakirjoja, asiakastuen tietokantoja ja taloudellisia raportteja varten. Mutta seuraava rajaseutu on kiistatta multimodaalinen. Terveydenhuollon kuvantaminen, autonomisten ajoneuvojen havainnointilokit, verkkokaupan tuoteluettelot ja valmistuksen laadunvalvonta vaativat kaikki tekoälyjärjestelmiä, jotka pystyvät päättelemään visuaalisen ja tekstimuotoisen tiedon samanaikaisesti.

Jos olet seurannut artikkeliamme merkitsemättömästä 3D-ihmiskinematiikasta: Pose2Sim, RTMPose ja OpenSim , tiedät, että RAG:n ydinlupaus on maadoittaa suuret kielimallit todelliseen, ulkoiseen dataan hallusinaatioiden vähentämiseksi. VimRAG laajentaa tätä lupausta visuaaliseen alueeseen ilman konteksti-ikkunoiden raa'an voiman laajennusta – lähestymistapa, joka olisi kohtuuttoman kallis skaalautuvasti.

Tämä myös kiristää kilpailua suurten kiinalaisten teknologiayritysten välillä tekoälyn perustavanlaatuisessa tutkimuksessa. Alibaban Tongyi Lab on tasaisesti rakentanut uskottavuutta kilpailijoiden, kuten Baidun ERNIE-tiimin ja ByteDancen tekoälyosaston, rinnalla. VimRAG lisää merkittävän lisän laboratorion kasvavaan avoimen tutkimuksen portfolioon aiempien julkaisujen, kuten Qwen-kieli- ja näkömallien, jälkeen.

Tekninen konteksti: Miksi graafit voittavat lineaarisen historian

Graafipohjaisen muistin käyttö ei ole täysin uusi tekoälytutkimuksessa. Tietograafeja on käytetty pitkään luonnollisen kielen käsittelyssä, ja viimeaikainen työ graafineuraaliverkkojen parissa on osoittanut tehokkaita relaatiopäättelykykyjä. VimRAG tarjoaa käytännöllisen kehyksen graafirakenteisen muistin soveltamiseen erityisesti visuaaliseen RAG-ongelmaan.

Tarkastellaan konkreettista tilannetta: agentti analysoi 30 minuutin mittaista ohjevideota vastatakseen moniosaiseen kysymykseen. Perinteisen ReAct-agentin täytyisi kasvattaa havaintohistoriaansa jokaisen tutkimansa ruudun myötä. Kymmenennessä tai viidennessätoista vaiheessa konteksti on täynnä aiempien ruutujen visuaalisia merkkejä, jotka eivät ehkä enää ole relevantteja.

VimRAGin muistigraafi mahdollistaa agentin "unohtaa" älykkäästi – tai tarkemmin sanottuna pitää tiedot saatavilla ilman, että ne vievät aktiivista kontekstitilaa. Agentti voi tarvittaessa hypätä takaisin tiettyyn solmuun graafissa sen sijaan, että se veisi jokaisen havainnon lineaarisesti eteenpäin.

Mitä analyytikot ja tutkijat sanovat

Multimodaalinen RAG-avaruus on herättänyt voimakasta kiinnostusta sekä akateemisessa maailmassa että teollisuudessa. Stanfordin, MIT:n ja Microsoft Researchin kaltaisten instituutioiden tutkijat ovat julkaisseet töitä aiheeseen liittyvistä haasteista, kuten pitkän kontekstin visuaalisesta ymmärryksestä ja muistilla täydennettyistä muuntimista. VimRAG erottuu edukseen tarjoamalla täydellisen, kokonaisvaltaisen kehyksen pikemminkin kuin pistemäisen ratkaisun yhdelle prosessin osa-alueelle.

Alan tarkkailijat huomauttavat, että Alibaban päätös julkaista tämä tutkimus julkisesti viestii luottamuksesta ja strategisesta halusta muokata multimodaalisten tekoälytyökalujen suuntaa. Kehittäjille, jotka rakentavat visuaaliseen ymmärrykseen perustuvia sovelluksia – dokumenttiälystä videoanalytiikkaan – VimRAG tarjoaa potentiaalisesti mullistavan arkkitehtuurimallin omaksuttavaksi tai mukautettavaksi.

Saadaksesi tarkemman katsauksen multimodaalisten mallien kehitykseen, tutustu analyysiimme viidestä tekoälylaskenta-arkkitehtuurista, jotka jokaisen insinöörin on tiedettävä vuonna 2025 .

Mitä VimRAGille ja visuaaliselle tekoälylle on seuraavaksi tulossa?

Useita avoimia kysymyksiä on edelleen. Skaalautuvuus tuotantoympäristöissä, integrointi olemassa oleviin visiokielimalleihin, kuten GPT-4o ja Qwen-VL, sekä reaalimaailman latenssivertailuarvot ratkaisevat, siirtyykö VimRAG tutkimuspaperista alan standardiksi.

Odotettavissa on nopeaa iteraatiota tällä alueella tulevina kuukausina. Konteksti-ikkunoiden laajentuessa – Googlen Gemini-mallit tukevat nyt miljoonia tokeneita – voitaisiin väittää, että raa'an voiman menetelmät lopulta kurovat umpeen. Mutta tokeneiden kustannukset, päättelyviive ja päättelyn tarkkuus suosivat kaikki älykkäämpiä arkkitehtuureja suurempiin ikkunoihin verrattuna. Tähän VimRAG vetoaa.

Kehittäjille ja tekoälytiimeille, jotka työskentelevät visuaalisen datan kanssa laajassa mittakaavassa, viesti on selvä: pelkkää tekstiä käyttävän RAG:n aikakausi on päättymässä. VimRAG:n kaltaiset viitekehykset viestivät siitä, että aidosti multimodaalisen tekoälypäättelyn infrastruktuuri alkaa vihdoin kypsyä – ja Alibaban Tongyi Lab aikoo olla tämän keskipisteessä.