VimRAG: il framework Visual RAG di Alibaba utilizza grafi di memoria

Il laboratorio Tongyi di Alibaba affronta il principale collo di bottiglia nell'intelligenza artificiale multimodale.

I ricercatori del Tongyi Lab di Alibaba Group hanno rilasciato VimRAG, un nuovo framework multimodale di generazione aumentata per il recupero di informazioni, progettato per superare le enormi limitazioni che i dati visivi impongono ai sistemi di ragionamento basati sull'intelligenza artificiale. Il framework introduce un grafo di memoria strutturato che consente agli agenti di intelligenza artificiale di navigare in enormi contesti visivi – che comprendono immagini, video e documenti multimediali – senza perdersi in un eccesso di informazioni o perdere di vista ciò che è importante.

Il rilascio avviene in un momento cruciale. Aziende e sviluppatori sono impegnati in una corsa contro il tempo per creare sistemi di intelligenza artificiale in grado di ragionare su dati che vanno oltre il semplice testo, ma gli approcci esistenti si scontrano con un ostacolo insormontabile non appena entrano in gioco screenshot, grafici, filmati di sorveglianza o immagini di prodotti. VimRAG rappresenta uno dei tentativi più mirati finora compiuti per risolvere questo problema alla radice, dal punto di vista architetturale.

Cosa fa esattamente di diverso VimRAG?

Per comprendere l'importanza di VimRAG, è utile capire cosa non funziona negli approcci attuali. La maggior parte degli agenti di generazione aumentata per il recupero delle informazioni si basa oggi su uno schema a ciclo continuo, spesso chiamato ReAct, in cui il modello pensa, esegue un'azione, osserva il risultato e poi restituisce l'intera cronologia di quell'interazione al passaggio successivo. Per il testo, questo funziona abbastanza bene. Per i dati visivi, è un disastro.

Le immagini e i fotogrammi video consumano un numero enorme di token rispetto alle informazioni semantiche che veicolano per una data query. Man mano che la cronologia delle interazioni di un agente si espande attraverso molteplici fasi di ragionamento, la finestra di contesto si riempie rapidamente. Comprimere tale cronologia per risparmiare spazio significa eliminare dettagli visivi cruciali. È una situazione svantaggiosa sotto ogni punto di vista.

VimRAG affronta questo problema con un'architettura fondamentalmente diversa, basata su tre idee chiave:

• Struttura del grafo della memoria: anziché mantenere una cronologia piatta e lineare delle osservazioni, VimRAG organizza le informazioni visive e testuali recuperate in un grafo. I nodi rappresentano elementi discreti di prova (una regione di un'immagine, un segmento di video, un passaggio di testo) e gli archi codificano le relazioni tra di essi.
• Navigazione selettiva: anziché inserire tutto in un unico, enorme prompt, il framework consente all'agente di attraversare il grafo della memoria in modo strategico, estraendo solo le prove visive più rilevanti in ogni fase del ragionamento.
• Memoria visiva disaccoppiata: il sistema separa i token visivi grezzi dai loro riassunti semantici, consentendo all'agente di fare riferimento ad astrazioni di alto livello in fase di pianificazione e di approfondire i dettagli a livello di pixel solo quando necessario.

L'effetto complessivo è un agente in grado di gestire il ragionamento multi-hop su vasti insiemi di dati visivi senza l'eccessivo ingombro di contesto che paralizza gli approcci convenzionali.

Perché questo è importante per l'intero settore dell'IA

Il tempismo del rilascio di VimRAG è significativo. L'industria dell'IA ha trascorso gli ultimi due anni a ottimizzare le pipeline RAG per casi d'uso aziendali ad alto contenuto testuale, come documenti legali, basi di conoscenza per l'assistenza clienti e report finanziari. Ma la prossima frontiera è innegabilmente multimodale. L'imaging sanitario, i registri di percezione dei veicoli autonomi, i cataloghi di prodotti per l'e-commerce e il controllo qualità nella produzione richiedono tutti sistemi di IA in grado di ragionare simultaneamente su informazioni visive e testuali.

Se avete seguito la nostra copertura sulla cinematica umana 3D senza marcatori: Pose2Sim, RTMPose e OpenSim , sapete che la promessa principale di RAG è quella di ancorare modelli linguistici complessi a dati reali ed esterni per ridurre le allucinazioni. VimRAG estende questa promessa al dominio visivo senza richiedere un'espansione forzata delle finestre di contesto, un approccio che risulterebbe proibitivamente costoso su larga scala.

Ciò intensifica anche la competizione tra le principali aziende tecnologiche cinesi nella ricerca fondamentale sull'intelligenza artificiale. Il Tongyi Lab di Alibaba ha costantemente consolidato la propria credibilità, affiancandosi a rivali come il team ERNIE di Baidu e la divisione AI di ByteDance. VimRAG rappresenta un importante contributo al crescente portfolio di progetti di ricerca open source del laboratorio, dopo precedenti pubblicazioni come la serie Qwen di modelli linguistici e di visione.

Il contesto tecnico: perché i grafici sono più efficaci della storia lineare.

Il concetto di utilizzo di memorie basate su grafi non è del tutto nuovo nella ricerca sull'intelligenza artificiale. I grafi della conoscenza sono stati a lungo utilizzati nell'elaborazione del linguaggio naturale e recenti lavori sulle reti neurali a grafo hanno dimostrato potenti capacità di ragionamento relazionale. Il contributo di VimRAG consiste in un framework pratico per applicare la memoria strutturata a grafo specificamente al problema RAG visivo.

Consideriamo uno scenario concreto: un agente che analizza un video didattico di 30 minuti per rispondere a una domanda composta da più parti. Un agente ReAct convenzionale dovrebbe continuare ad ampliare la sua cronologia di osservazione con ogni fotogramma esaminato. Al decimo o quindicesimo passaggio, il contesto è sovraccarico di token visivi provenienti da fotogrammi precedenti che potrebbero non essere più rilevanti.

Il grafo di memoria di VimRAG consente all'agente di "dimenticare" in modo intelligente, o più precisamente, di mantenere le informazioni accessibili senza che occupino spazio nel contesto attivo. L'agente può tornare a un nodo specifico del grafo quando necessario, invece di riportare ogni osservazione in avanti in modo lineare.

Cosa dicono analisti e ricercatori

Lo spazio multimodale RAG ha suscitato un intenso interesse sia nel mondo accademico che in quello industriale. Ricercatori di istituzioni come Stanford, MIT e Microsoft Research hanno pubblicato lavori su sfide correlate, tra cui la comprensione visiva a lungo termine e i transformer con memoria aumentata. VimRAG si distingue per offrire un framework completo end-to-end, piuttosto che una soluzione puntuale per un singolo aspetto del processo.

Gli osservatori del settore notano che la decisione di Alibaba di rendere pubblica questa ricerca segnala fiducia e la volontà strategica di plasmare la direzione degli strumenti di intelligenza artificiale multimodale. Per gli sviluppatori che creano applicazioni basate sulla comprensione visiva, dall'analisi dei documenti all'analisi video, VimRAG offre un modello architetturale potenzialmente rivoluzionario da adottare o adattare.

Per un'analisi più approfondita dell'evoluzione dei modelli multimodali, consulta la nostra analisi di 5 architetture di calcolo AI che ogni ingegnere deve conoscere nel 2025 .

Cosa riserva il futuro a VimRAG e all'intelligenza artificiale visiva?

Rimangono aperti diversi interrogativi. La scalabilità negli ambienti di produzione, l'integrazione con i modelli di linguaggio visivo esistenti come GPT-4o e Qwen-VL e i benchmark di latenza nel mondo reale determineranno se VimRAG passerà dalla fase di ricerca a quella di standard industriale.

Aspettatevi una rapida evoluzione in questo ambito nei prossimi mesi. Con l'espansione continua delle finestre di contesto (i modelli Gemini di Google ora supportano milioni di token), si potrebbe sostenere che gli approcci basati sulla forza bruta finiranno per recuperare terreno. Tuttavia, il costo dei token, la latenza di inferenza e l'accuratezza del ragionamento favoriscono architetture più intelligenti rispetto a finestre di contesto più ampie. Questa è la scommessa di VimRAG.

Per gli sviluppatori e i team di IA che lavorano con dati visivi su larga scala, il messaggio è chiaro: l'era del RAG basato esclusivamente sul testo sta volgendo al termine. Framework come VimRAG indicano che l'infrastruttura per un ragionamento AI veramente multimodale sta finalmente maturando, e il Tongyi Lab di Alibaba intende esserne al centro.