VimRAG: Framework-ul Visual RAG al Alibaba utilizează grafice de memorie

Laboratorul Tongyi al Alibaba abordează cel mai mare blocaj din domeniul inteligenței artificiale multimodale

Cercetătorii de la Tongyi Lab , parte a Alibaba Group, au lansat VimRAG, un nou cadru multimodal de tip Retrieval-Augmented Generation, conceput pentru a depăși limitările zdrobitoare pe care datele vizuale le impun sistemelor de raționament cu inteligență artificială. Cadrul introduce un graf structurat al memoriei care permite agenților de inteligență artificială să navigheze în contexte vizuale enorme - care cuprind imagini, videoclipuri și documente media mixte - fără a se îneca în jetoane sau a pierde din vedere ceea ce contează.

Lansarea ajunge într-un punct critic de inflexiune. Întreprinderile și dezvoltatorii se întrec în a construi sisteme de inteligență artificială care pot raționa pe baza a mai mult decât text, dar abordările existente se lovesc de un zid în momentul în care capturi de ecran, diagrame, imagini de supraveghere sau imagini de produs intră în proces. VimRAG reprezintă una dintre cele mai deliberate încercări de până acum de a rezolva această problemă de la rădăcina sa arhitecturală.

Ce face VimRAG diferit, mai exact?

Pentru a înțelege importanța VimRAG, este util să înțelegem ce anume nu funcționează în abordările actuale. Majoritatea agenților de generare augmentată prin recuperare se bazează astăzi pe un model de buclă - adesea numit ReAct - în care modelul gândește, întreprinde o acțiune, observă rezultatul și apoi transmite întreaga istorie a acelei interacțiuni înapoi în pasul următor. Pentru text, acest lucru funcționează destul de bine. Pentru datele vizuale, este un dezastru.

Imaginile și cadrele video consumă un număr enorm de jetoane în raport cu informațiile semantice pe care le conțin pentru orice interogare dată. Pe măsură ce istoricul interacțiunilor unui agent crește de-a lungul mai multor etape de raționament, fereastra contextului se umple rapid. Comprimarea acestui istoric pentru a economisi spațiu elimină detalii vizuale cruciale. Este un scenariu în care se pierde.

VimRAG abordează acest lucru cu o arhitectură fundamental diferită, construită în jurul a trei idei cheie:

• Structura grafurilor de memorie: În loc să mențină un istoric plat și liniar al observațiilor, VimRAG organizează informațiile vizuale și textuale recuperate într-un graf. Nodurile reprezintă elemente discrete de probă - o regiune a imaginii, un segment video, un pasaj de text - iar muchiile codifică relațiile dintre ele.
• Navigare selectivă: În loc să înghesuie totul într-o singură solicitare masivă, cadrul permite agentului să parcurgă strategic graful de memorie, extragând doar cele mai relevante dovezi vizuale la fiecare pas de raționament.
• Memorie vizuală decuplată: Sistemul separă token-urile vizuale brute de rezumatele lor semantice, permițând agentului să facă referire la abstracțiuni de nivel înalt atunci când planifică și să aprofundeze detaliile la nivel de pixel doar atunci când este necesar.

Efectul net este un agent care poate gestiona raționament multi-hop pe seturi de date vizuale extinse, fără umflarea contextului exponențial care paralizează abordările convenționale.

De ce este important acest lucru pentru industria IA în general

Momentul lansării VimRAG este semnificativ. Industria inteligenței artificiale a petrecut ultimii doi ani optimizând canalele RAG pentru cazuri de utilizare în întreprinderi cu conținut ridicat de text - documente juridice, baze de cunoștințe pentru asistența clienților, rapoarte financiare. Dar următoarea frontieră este, fără îndoială, multimodală. Imagistica medicală, jurnalele de percepție ale vehiculelor autonome, cataloagele de produse din comerțul electronic și controlul calității producției necesită sisteme de inteligență artificială care pot procesa simultan informații vizuale și textuale.

Dacă ați urmărit articolul nostru despre Cinematica Umană 3D fără markeri: Pose2Sim, RTMPose și OpenSim , știți că promisiunea principală a RAG este bazarea modelelor lingvistice mari pe date externe reale pentru a reduce halucinațiile. VimRAG extinde această promisiune în domeniul vizual fără a necesita extinderea prin forță brută a ferestrelor de context - o abordare care ar fi prohibitiv de costisitoare la scară largă.

Acest lucru intensifică, de asemenea, concurența dintre marile firme de tehnologie chineze în cercetarea fundamentală a inteligenței artificiale. Laboratorul Tongyi al Alibaba și-a construit constant credibilitatea alături de rivali precum echipa ERNIE a Baidu și divizia de inteligență artificială a ByteDance. VimRAG adaugă o intrare semnificativă în portofoliul tot mai mare de contribuții la cercetarea deschisă a laboratorului, urmând lansări anterioare precum seria Qwen de modele de limbaj și viziune.

Contextul tehnic: De ce graficele au depășit istoria liniară

Conceptul de utilizare a memoriei bazate pe grafuri nu este complet nou în cercetarea inteligenței artificiale. Grafurile de cunoștințe au fost utilizate de mult timp în procesarea limbajului natural, iar lucrările recente asupra rețelelor neuronale grafice au demonstrat capacități puternice de raționament relațional. Ceea ce contribuie VimRAG este un cadru practic pentru aplicarea memoriei structurate pe grafuri în mod specific problemei vizuale RAG.

Să luăm în considerare un scenariu concret: un agent care analizează un videoclip instructiv de 30 de minute pentru a răspunde la o întrebare cu mai multe părți. Un agent ReAct convențional ar trebui să își mărească istoricul observațiilor cu fiecare cadru pe care îl examinează. Până la pasul zece sau cincisprezece, contextul este supraîncărcat cu elemente vizuale din cadre anterioare care s-ar putea să nu mai fie relevante.

Graful de memorie al VimRAG permite agentului să „uite” inteligent - sau mai precis, să păstreze informațiile accesibile fără ca acestea să ocupe spațiu contextual activ. Agentul poate sări înapoi la un anumit nod din graf atunci când este nevoie, în loc să ducă fiecare observație mai departe liniar.

Ce spun analiștii și cercetătorii

Spațiul RAG multimodal a atras un interes intens atât din partea mediului academic, cât și din industrie. Cercetătorii de la instituții precum Stanford, MIT și Microsoft Research au publicat lucrări despre provocări conexe, inclusiv înțelegerea vizuală în context lung și transformatoarele augmentate cu memorie. VimRAG se distinge prin oferirea unui cadru complet, end-to-end, mai degrabă decât a unei soluții punctuale pentru un aspect al fluxului de lucru.

Observatorii din industrie observă că decizia Alibaba de a publica această cercetare semnalează încredere și o dorință strategică de a modela direcția instrumentelor multimodale de inteligență artificială. Pentru dezvoltatorii care construiesc aplicații care depind de înțelegerea vizuală - de la inteligența documentelor la analiza video - VimRAG oferă un model arhitectural potențial transformator, care poate fi adoptat sau adaptat.

Pentru o analiză mai detaliată a modului în care evoluează modelele multimodale, consultați analiza noastră despre 5 arhitecturi de calcul bazate pe inteligență artificială pe care fiecare inginer trebuie să le cunoască în 2025 .

Ce urmează pentru VimRAG și Visual AI

Rămân câteva întrebări deschise. Scalabilitatea în mediile de producție, integrarea cu modelele existente de limbaj vizual, cum ar fi GPT-4o și Qwen-VL, și testele de latență din lumea reală vor determina dacă VimRAG va trece de la statutul de lucrare de cercetare la cel de standard industrial.

Așteptați-vă să vedeți o iterație rapidă în acest domeniu în lunile următoare. Pe măsură ce ferestrele contextuale continuă să se extindă - modelele Gemini de la Google acceptă acum milioane de token-uri - s-ar putea argumenta că abordările de tip forță brută vor ajunge în cele din urmă decalajul. Însă costul token-urilor, latența inferenței și acuratețea raționamentului favorizează arhitecturile mai inteligente în detrimentul ferestrelor mai mari. Acesta este pariul pe care îl face VimRAG.

Pentru dezvoltatorii și echipele de inteligență artificială care lucrează cu date vizuale la scară largă, mesajul este clar: era raționamentului bazat doar pe text (RAG) se apropie de sfârșit. Framework-uri precum VimRAG semnalează că infrastructura pentru raționamentul cu adevărat multimodal bazat pe inteligență artificială începe în sfârșit să se maturizeze - iar Tongyi Lab de la Alibaba intenționează să fie în centrul acesteia.