VimRAG: Framework Visual RAG od Alibaby využívá paměťové grafy

Laboratoř Tongyi společnosti Alibaba se potýká s největším úzkým hrdlem v multimodální umělé inteligenci

Výzkumníci z laboratoře Tongyi společnosti Alibaba Group vydali VimRAG, nový multimodální framework pro rozšířené vyhledávání dat (Retrieval-Augmented Generation), který je navržen tak, aby překonal omezení, která vizuální data kladou na systémy uvažování s využitím umělé inteligence. Framework zavádí strukturovaný graf paměti, který umožňuje agentům umělé inteligence procházet obrovskými vizuálními kontexty – zahrnujícími obrázky, videa a dokumenty se smíšenými médii – aniž by se utopili v tokenech nebo ztratili přehled o tom, na čem záleží.

Toto vydání přichází v kritickém bodě zlomu. Podniky a vývojáři se předhánějí v budování systémů umělé inteligence, které dokáží uvažovat nad více než jen textem, ale stávající přístupy narážejí na selhání v okamžiku, kdy se do vývoje dostanou snímky obrazovky, grafy, záznamy z bezpečnostních kamer nebo obrázky produktů. VimRAG představuje jeden z dosud nejpromyšlenějších pokusů o vyřešení tohoto problému v jeho architektonickém základech.

Co přesně dělá VimRAG jinak?

Abychom pochopili, proč je VimRAG důležitý, je dobré pochopit, co je v současných přístupech nefunkční. Většina agentů generování s rozšířeným vyhledáváním se dnes spoléhá na smyčku – často nazývanou ReAct – kde model přemýšlí, provede akci, pozoruje výsledek a poté celou historii této interakce vrátí zpět do dalšího kroku. U textu to funguje docela dobře. U vizuálních dat je to katastrofa.

Obrázky a video snímky spotřebovávají obrovské množství tokenů v porovnání s sémantickými informacemi, které nesou pro jakýkoli daný dotaz. Jak historie interakce agenta roste v rámci několika kroků uvažování, kontextové okno se rychle zaplňuje. Komprese této historie za účelem úspory místa odstraňuje klíčové vizuální detaily. Je to scénář, ve kterém prohrajete.

VimRAG to řeší zásadně odlišnou architekturou postavenou na třech klíčových myšlenkách:

• Struktura grafu paměti: Místo udržování ploché, lineární historie pozorování organizuje VimRAG načtené vizuální a textové informace do grafu. Uzly představují samostatné důkazy – oblast obrazu, segment videa, textovou pasáž – a hrany kódují vztahy mezi nimi.
• Selektivní navigace: Místo toho, aby se vše nacpalo do jednoho masivního výzvy, umožňuje framework agentovi strategicky procházet graf paměti a v každém kroku uvažování vybírat pouze nejrelevantnější vizuální důkazy.
• Oddělená vizuální paměť: Systém odděluje nezpracované vizuální tokeny od jejich sémantických souhrnů, což agentovi umožňuje odkazovat na abstrakce na vysoké úrovni při plánování a procházet detaily na úrovni pixelů pouze v případě potřeby.

Čistým výsledkem je agent, který dokáže zpracovat víceskokové uvažování nad rozsáhlými vizuálními datovými sadami bez exponenciálního kontextového nafouknutí, které ochromuje konvenční přístupy.

Proč je to důležité pro širší odvětví umělé inteligence

Načasování vydání VimRAGu je významné. Odvětví umělé inteligence strávilo poslední dva roky optimalizací RAG procesů pro podnikové případy použití s velkým množstvím textu – právní dokumenty, znalostní báze zákaznické podpory, finanční zprávy. Další hranice je však nepopiratelně multimodální. Zobrazování ve zdravotnictví, protokoly vnímání autonomních vozidel, katalogy produktů elektronického obchodování a kontrola kvality výroby – to vše vyžaduje systémy umělé inteligence, které dokáží současně zpracovávat vizuální i textové informace.

Pokud jste sledovali naše zpravodajství o bezznačkové 3D lidské kinematice: Pose2Sim, RTMPose a OpenSim , víte, že hlavním slibem RAG je zakotvení velkých jazykových modelů v reálných externích datech za účelem snížení halucinací. VimRAG rozšiřuje tento slib i do vizuální domény, aniž by vyžadoval hrubou silou rozšiřování kontextových oken – přístup, který by byl ve velkém měřítku neúnosně nákladný.

To také zostřuje konkurenci mezi hlavními čínskými technologickými firmami v oblasti základního výzkumu umělé inteligence. Laboratoř Tongyi společnosti Alibaba si neustále buduje důvěryhodnost po boku konkurentů, jako je tým ERNIE společnosti Baidu a divize umělé inteligence společnosti ByteDance. VimRAG přidává do rostoucího portfolia laboratoře smysluplný příspěvek k otevřenému výzkumu, a to navazuje na dřívější vydání, jako byla série jazykových a vizuální modelů Qwen.

Technický kontext: Proč grafy porážejí lineární historii

Koncept využití grafové paměti není ve výzkumu umělé inteligence zcela nový. Grafy znalostí se již dlouho používají ve zpracování přirozeného jazyka a nedávná práce na grafových neuronových sítích prokázala silné schopnosti relačního uvažování. VimRAG přispívá praktickým rámcem pro aplikaci grafově strukturované paměti konkrétně na vizuální problém RAG.

Představte si konkrétní scénář: agent analyzuje 30minutové instruktážní video, aby odpověděl na vícedílnou otázku. Konvenční agent ReAct by musel s každým zkoumaným snímkem neustále rozšiřovat svou historii pozorování. V kroku desátém nebo patnáctém je kontext zahlcen vizuálními tokeny z dřívějších snímků, které již nemusí být relevantní.

Paměťový graf VimRAGu umožňuje agentovi inteligentně „zapomínat“ – přesněji řečeno, udržovat informace přístupné, aniž by zabíraly aktivní kontextový prostor. Agent se může v případě potřeby vrátit zpět na konkrétní uzel v grafu, místo aby lineárně přenášel každé pozorování vpřed.

Co říkají analytici a výzkumníci

Multimodální prostor RAG přitahuje intenzivní zájem akademické obce i průmyslu. Výzkumníci z institucí, jako jsou Stanford, MIT a Microsoft Research, publikovali práce o souvisejících problémech, včetně vizuálního porozumění v dlouhém kontextu a transformátorů s rozšířenou pamětí. VimRAG se odlišuje tím, že nabízí kompletní rámec od začátku do konce, nikoli bodové řešení pro jeden aspekt vývojového procesu.

Pozorovatelé z oboru poznamenávají, že rozhodnutí společnosti Alibaba zveřejnit tento výzkum signalizuje sebevědomí a strategickou touhu utvářet směr multimodálních nástrojů umělé inteligence. Pro vývojáře, kteří vytvářejí aplikace závislé na vizuálním porozumění – od dokumentové inteligence až po analýzu videa – nabízí VimRAG potenciálně transformativní architektonický vzorec, který si mohou osvojit nebo upravit.

Pro hlubší pohled na vývoj multimodálních modelů se podívejte na naši analýzu 5 architektur umělé inteligence, které by měl v roce 2025 znát každý inženýr .

Co bude dál s VimRAG a vizuální umělou inteligencí

Zbývá několik otevřených otázek. Škálovatelnost v produkčním prostředí, integrace se stávajícími modely vizuální komunikace, jako jsou GPT-4o a Qwen-VL, a reálné benchmarky latence určí, zda se VimRAG přesune z výzkumné práce do průmyslového standardu.

V nadcházejících měsících očekávejte v tomto prostoru rychlý vývoj. Vzhledem k tomu, že se kontextová okna dále rozšiřují – modely Gemini od Googlu nyní podporují miliony tokenů – lze argumentovat, že metody hrubé síly je nakonec doženou. Cena tokenů, latence inference a přesnost uvažování však dávají přednost chytřejším architekturám před většími okny. Na to sází i VimRAG.

Pro vývojáře a týmy umělé inteligence pracující s vizuálními daty ve velkém měřítku je zpráva jasná: éra textových RAG končí. Frameworky jako VimRAG signalizují, že infrastruktura pro skutečně multimodální uvažování s využitím umělé inteligence konečně začíná dozrávat – a laboratoř Tongyi společnosti Alibaba má v úmyslu stát se jejím středem.