VimRAG: Alibabas visuelle RAG-rammeværk bruger hukommelsesgrafer

Alibabas Tongyi-laboratorium tackler den største flaskehals inden for multimodal AI

Forskere ved Alibaba Groups Tongyi Lab har udgivet VimRAG, et nyt multimodalt Retrieval-Augmented Generation-framework, der er designet til at overvinde de knusende begrænsninger, som visuelle data pålægger AI-ræsonnementssystemer. Frameworket introducerer en struktureret hukommelsesgraf, der giver AI-agenter mulighed for at navigere i enorme visuelle kontekster – der spænder over billeder, videoer og mixed-media-dokumenter – uden at drukne i tokens eller miste overblikket over, hvad der betyder noget.

Udgivelsen kommer til et kritisk vendepunkt. Virksomheder og udviklere kæmper om at bygge AI-systemer, der kan ræsonnere over mere end blot tekst, men eksisterende tilgange støder på en mur i det øjeblik, skærmbilleder, diagrammer, overvågningsoptagelser eller produktbilleder kommer ind i pipelinen. VimRAG repræsenterer et af de mest bevidste forsøg hidtil på at løse dette problem ved dets arkitektoniske rod.

Hvad gør VimRAG præcis anderledes?

For at forstå, hvorfor VimRAG er vigtig, hjælper det at forstå, hvad der er i stykker i nuværende tilgange. De fleste retrieval-augmented generation-agenter er i dag afhængige af et loop-mønster – ofte kaldet ReAct – hvor modellen tænker, udfører en handling, observerer resultatet og derefter fører hele historikken for den interaktion tilbage til næste trin. For tekst fungerer dette rimeligt godt. For visuelle data er det en katastrofe.

Billeder og videobilleder bruger et enormt antal tokens i forhold til den semantiske information, de indeholder for en given forespørgsel. Efterhånden som en agents interaktionshistorik vokser på tværs af flere ræsonnementstrin, fyldes kontekstvinduet hurtigt op. Komprimering af denne historik for at spare plads fjerner afgørende visuelle detaljer. Det er et tab-tab-scenarie.

VimRAG angriber dette med en fundamentalt anderledes arkitektur bygget op omkring tre nøgleideer:

• Hukommelsesgrafstruktur: I stedet for at opretholde en flad, lineær observationshistorik organiserer VimRAG hentet visuel og tekstuel information i en graf. Knuder repræsenterer diskrete beviser - et billedområde, et videosegment, en tekstpassage - og kanter koder for forholdet mellem dem.
• Selektiv navigation: I stedet for at proppe alt ind i én massiv prompt, giver frameworket agenten mulighed for strategisk at navigere i hukommelsesgrafen og kun trække de mest relevante visuelle beviser ud ved hvert ræsonnementstrin.
• Afkoblet visuel hukommelse: Systemet adskiller rå visuelle tokens fra deres semantiske opsummeringer, hvilket giver agenten mulighed for at referere til abstraktioner på højt niveau under planlægning og kun dykke ned i detaljer på pixelniveau, når det er nødvendigt.

Nettoeffekten er en agent, der kan håndtere multi-hop-ræsonnement over spredte visuelle datasæt uden den eksponentielle kontekstoppustning, der lammer konventionelle tilgange.

Hvorfor dette er vigtigt for den bredere AI-industri

Timingen af VimRAGs lancering er betydningsfuld. AI-industrien har brugt de sidste to år på at optimere RAG-pipelines til teksttunge virksomhedsbrugsscenarier - juridiske dokumenter, vidensbaser for kundesupport, finansielle rapporter. Men den næste grænse er unægtelig multimodal. Billeddannelse inden for sundhedsvæsenet, logfiler til opfattelse af autonome køretøjer, produktkataloger for e-handel og kvalitetskontrol i produktionen kræver alle AI-systemer, der kan ræsonnere på tværs af visuel og tekstuel information samtidigt.

Hvis du har fulgt vores dækning af Markerless 3D Human Kinematics: Pose2Sim, RTMPose & OpenSim , ved du, at RAGs kerneløfte er at forankre store sprogmodeller i reelle, eksterne data for at reducere hallucinationer. VimRAG udvider dette løfte til det visuelle domæne uden at kræve brute-force-udvidelse af kontekstvinduer – en tilgang, der ville være uoverkommeligt dyr i stor skala.

Dette intensiverer også konkurrencen mellem store kinesiske tech-firmaer inden for grundlæggende AI-forskning. Alibabas Tongyi Lab har støt opbygget troværdighed sammen med rivaler som Baidus ERNIE-team og ByteDances AI-afdeling. VimRAG tilføjer et meningsfuldt bidrag til laboratoriets voksende portefølje af åbne forskningsbidrag efter tidligere udgivelser som Qwen-serien af sprog- og visionsmodeller.

Den tekniske kontekst: Hvorfor grafer slår lineær historie

Konceptet med at bruge grafbaseret hukommelse er ikke helt nyt inden for AI-forskning. Vidensgrafer har længe været brugt i behandling af naturligt sprog, og nyere arbejde med grafiske neurale netværk har vist stærke relationelle ræsonnementsevner. Det, VimRAG bidrager med, er en praktisk ramme for anvendelse af grafstruktureret hukommelse specifikt til det visuelle RAG-problem.

Overvej et konkret scenario: en agent, der analyserer en 30-minutters instruktionsvideo for at besvare et spørgsmål i flere dele. En konventionel ReAct-agent ville skulle fortsætte med at udvide sin observationshistorik for hver frame, den undersøger. Ved trin ti eller femten er konteksten oppustet med visuelle tokens fra tidligere frames, der muligvis ikke længere er relevante.

VimRAGs hukommelsesgraf gør det muligt for agenten at "glemme" intelligent – eller mere præcist at holde information tilgængelig uden at den optager aktiv kontekstplads. Agenten kan hoppe tilbage til en specifik node i grafen, når det er nødvendigt, i stedet for at føre hver observation lineært fremad.

Hvad analytikere og forskere siger

Det multimodale RAG-rum har tiltrukket sig stor interesse fra både den akademiske verden og industrien. Forskere ved institutioner som Stanford, MIT og Microsoft Research har publiceret arbejde om relaterede udfordringer, herunder visuel forståelse i lang kontekst og hukommelsesforstærkede transformere. VimRAG adskiller sig ved at tilbyde et komplet, end-to-end framework snarere end en punktløsning til ét aspekt af pipelinen.

Brancheobservatører bemærker, at Alibabas beslutning om at offentliggøre denne forskning signalerer tillid og et strategisk ønske om at forme retningen for multimodale AI-værktøjer. For udviklere, der bygger applikationer, der er afhængige af visuel forståelse - fra dokumentintelligens til videoanalyse - tilbyder VimRAG et potentielt transformerende arkitekturmønster at adoptere eller tilpasse.

For et dybere kig på, hvordan multimodale modeller udvikler sig, kan du se vores analyse af 5 AI-beregningsarkitekturer, som enhver ingeniør skal kende i 2025 .

Hvad der kommer nu for VimRAG og visuel AI

Der er stadig flere åbne spørgsmål. Skalerbarhed i produktionsmiljøer, integration med eksisterende visionssprogsmodeller som GPT-4o og Qwen-VL, og latenstidsmålinger i den virkelige verden vil afgøre, om VimRAG går fra at være en forskningsartikel til at være en industristandard.

Forvent hurtig iteration på dette område i de kommende måneder. Efterhånden som kontekstvinduer fortsætter med at udvide sig – Googles Gemini-modeller understøtter nu millioner af tokens – kunne man argumentere for, at brute-force-tilgange med tiden vil indhente det forsømte. Men token-omkostninger, inferensforsinkelse og ræsonnementsnøjagtighed favoriserer alle smartere arkitekturer frem for større vinduer. Det er det bud, VimRAG lægger på.

For udviklere og AI-teams, der arbejder med visuelle data i stor skala, er budskabet klart: Æraen med tekstbaseret RAG er ved at være slut. Frameworks som VimRAG signalerer, at infrastrukturen til ægte multimodal AI-ræsonnement endelig begynder at modnes – og Alibabas Tongyi Lab har til hensigt at være i centrum for det.