VimRAG: 알리바바의 비주얼 RAG 프레임워크는 메모리 그래프를 사용합니다.

알리바바의 통이 연구소, 멀티모달 AI의 최대 병목 현상 해결에 나서

알리바바 그룹의 통이 연구소 연구진은 시각 데이터가 인공지능 추론 시스템에 가하는 심각한 한계를 극복하기 위해 설계된 새로운 멀티모달 검색-증강 생성 프레임워크인 VimRAG를 발표했습니다. 이 프레임워크는 구조화된 메모리 그래프를 도입하여 인공지능 에이전트가 이미지, 비디오, 혼합 미디어 문서 등 방대한 시각적 맥락을 탐색할 때 토큰에 파묻히거나 중요한 정보를 놓치지 않도록 합니다.

이번 출시는 중요한 전환점에 이루어졌습니다. 기업과 개발자들은 텍스트뿐 아니라 더 많은 데이터를 분석할 수 있는 AI 시스템 구축에 박차를 가하고 있지만, 기존 방식은 스크린샷, 차트,CCTV 영상, 제품 이미지 등이 분석 과정에 포함되는 순간 한계에 부딪힙니다. VimRAG는 이러한 문제를 근본적인 아키텍처 수준에서 해결하려는 가장 의도적인 시도 중 하나입니다.

VimRAG는 정확히 어떤 점에서 다른가요?

VimRAG이 왜 중요한지 이해하려면 현재 접근 방식의 문제점을 파악하는 것이 도움이 됩니다. 오늘날 대부분의 검색 증강 생성 에이전트는 ReAct라고 불리는 루프 패턴에 의존합니다. 이 패턴에서 모델은 생각하고, 행동을 취하고, 결과를 관찰한 다음, 해당 상호 작용의 전체 기록을 다음 단계로 되돌려 보냅니다. 텍스트의 경우 이 방식은 비교적 잘 작동하지만, 시각 데이터의 경우에는 심각한 문제를 야기합니다.

이미지와 비디오 프레임은 특정 쿼리에 대해 담고 있는 의미 정보에 비해 엄청난 양의 토큰을 소비합니다. 에이전트의 상호 작용 기록이 여러 추론 단계를 거치면서 증가함에 따라 컨텍스트 창이 빠르게 가득 차게 됩니다. 공간을 절약하기 위해 기록을 압축하면 중요한 시각적 세부 정보가 손실됩니다. 이는 결국 손해만 보는 상황입니다.

VimRAG는 세 가지 핵심 아이디어를 중심으로 구축된 근본적으로 다른 아키텍처를 통해 이 문제를 해결합니다.

• 메모리 그래프 구조: VimRAG는 관찰 기록을 평면적이고 선형적으로 유지하는 대신, 검색된 시각 및 텍스트 정보를 그래프 형태로 구성합니다. 노드는 이미지 영역, 비디오 세그먼트, 텍스트 구절과 같은 개별적인 증거를 나타내고, 엣지는 이러한 증거들 간의 관계를 나타냅니다.
• 선택적 탐색: 모든 정보를 하나의 거대한 프롬프트에 담는 대신, 이 프레임워크는 에이전트가 메모리 그래프를 전략적으로 탐색하여 각 추론 단계에서 가장 관련성이 높은 시각적 증거만 추출할 수 있도록 합니다.
• 분리된 시각적 메모리: 이 시스템은 원시 시각적 토큰과 의미 요약을 분리하여 에이전트가 계획 단계에서는 고수준 추상화를 참조하고, 필요한 경우에만 픽셀 수준의 세부 정보를 탐색할 수 있도록 합니다.

결과적으로 이 에이전트는 기존 접근 방식을 무력화시키는 기하급수적인 컨텍스트 증가 없이 방대한 시각적 데이터 세트에 대한 다중 홉 추론을 처리할 수 있습니다.

이것이 인공지능 산업 전반에 중요한 이유는 무엇일까요?

VimRAG의 출시 시점은 매우 중요합니다. AI 업계는 지난 2년간 법률 문서, 고객 지원 지식 기반, 재무 보고서와 같은 텍스트 중심의 기업용 애플리케이션에 맞춰 RAG 파이프라인을 최적화하는 데 주력해 왔습니다. 하지만 다음 단계는 분명 멀티모달 환경에 달려 있습니다. 의료 영상, 자율주행 차량 인지 로그, 전자상거래 제품 카탈로그, 제조 품질 관리 등은 모두 시각 정보와 텍스트 정보를 동시에 분석할 수 있는 AI 시스템을 요구합니다.

마커리스 3D 인간 운동학: Pose2Sim, RTMPose 및 OpenSim 에 대한 저희의 보도를 꾸준히 살펴보셨다면, RAG의 핵심 약속이 대규모 언어 모델을 실제 외부 데이터에 기반하여 오류 발생 가능성을 줄이는 데 있다는 것을 아실 겁니다. VimRAG는 컨텍스트 창을 무작정 확장하는 방식 없이도 이러한 약속을 시각 영역으로 확장합니다. 이러한 방식은 대규모 환경에서 지나치게 비용이 많이 들기 때문입니다.

이는 중국 주요 기술 기업들 간의 기초 AI 연구 경쟁을 더욱 심화시킬 것입니다. 알리바바의 통이 연구소는 바이두의 ERNIE 팀, 바이트댄스의 AI 부서와 같은 경쟁사들과 어깨를 나란히 하며 꾸준히 신뢰도를 쌓아왔습니다. VimRAG는 언어 및 비전 모델 시리즈인 Qwen 시리즈와 같은 기존 연구 성과에 이어 통이 연구소의 연구 포트폴리오에 중요한 한 축을 더합니다.

기술적 맥락: 그래프가 선형적 역사보다 나은 이유

그래프 기반 메모리를 사용하는 개념은 인공지능 연구에서 완전히 새로운 것은 아닙니다. 지식 그래프는 자연어 처리 분야에서 오랫동안 사용되어 왔으며, 최근 그래프 신경망 연구는 강력한 관계형 추론 능력을 보여주었습니다. VimRAG의 공헌은 그래프 구조 메모리를 시각적 RAG 문제에 특화하여 적용하기 위한 실용적인 프레임워크를 제공한다는 점입니다.

구체적인 시나리오를 생각해 보겠습니다. 에이전트가 30분짜리 교육 비디오를 분석하여 여러 부분으로 구성된 질문에 답한다고 가정해 봅시다. 기존의 ReAct 에이전트는 분석하는 모든 프레임마다 관찰 기록을 계속해서 확장해야 합니다. 10단계 또는 15단계에 이르면 컨텍스트는 이전 프레임의 시각적 토큰으로 가득 차게 되고, 이러한 토큰은 더 이상 관련성이 없을 수도 있습니다.

VimRAG의 메모리 그래프는 에이전트가 지능적으로 정보를 "잊어버리는" 것을 가능하게 합니다. 더 정확히 말하면, 활성 컨텍스트 공간을 차지하지 않으면서도 정보에 쉽게 접근할 수 있도록 유지하는 것입니다. 에이전트는 모든 관찰 내용을 순차적으로 전달하는 대신, 필요할 때 그래프의 특정 노드로 되돌아갈 수 있습니다.

분석가와 연구원들이 하는 말은 무엇일까요?

멀티모달 RAG 분야는 학계와 산업계 모두에서 큰 관심을 불러일으켰습니다. 스탠포드, MIT, 마이크로소프트 리서치 와 같은 기관의 연구원들은 장기 컨텍스트 시각 이해 및 메모리 증강 트랜스포머를 포함한 관련 과제에 대한 연구 결과를 발표했습니다. VimRAG는 파이프라인의 특정 측면에 대한 솔루션이 아닌, 완전한 엔드투엔드 프레임워크를 제공한다는 점에서 차별화됩니다.

업계 전문가들은 알리바바가 이 연구 결과를 공개하기로 한 결정이 멀티모달 AI 툴링의 방향을 제시하려는 전략적 의지와 자신감을 보여주는 것이라고 분석합니다. 문서 분석부터 비디오 분석에 이르기까지 시각적 이해에 기반한 애플리케이션을 개발하는 개발자들에게 VimRAG는 혁신적인 아키텍처 패턴을 제공하거나 기존 패턴을 변형하여 활용할 수 있는 좋은 기회를 제공합니다.

멀티모달 모델의 발전 과정을 더 자세히 살펴보려면, 2025년 모든 엔지니어가 알아야 할 5가지 AI 컴퓨팅 아키텍처 에 대한 분석을 확인해 보세요.

VimRAG과 비주얼 AI의 미래는 어떻게 될까요?

몇 가지 해결되지 않은 문제가 남아 있습니다. 실제 운영 환경에서의 확장성, GPT-4o 및 Qwen-VL과 같은 기존 비전 언어 모델과의 통합, 그리고 실제 환경에서의 지연 시간 벤치마크 결과가 VimRAG가 연구 논문 단계에서 업계 표준으로 자리 잡을 수 있을지를 결정할 것입니다.

향후 몇 달 동안 이 분야에서 빠른 발전이 예상됩니다. 컨텍스트 창이 계속 확장됨에 따라(구글의 제미니 모델은 이제 수백만 개의 토큰을 지원합니다), 무차별 대입 방식이 결국 따라잡을 것이라는 주장이 제기될 수도 있습니다. 그러나 토큰 비용, 추론 지연 시간, 추론 정확도 모두 더 큰 컨텍스트 창보다는 더 스마트한 아키텍처에 유리합니다. VimRAG는 바로 이 점에 주목하고 있습니다.

대규모 시각 데이터를 다루는 개발자와 AI 팀에게 전하는 메시지는 분명합니다. 텍스트 기반 RAG 시대는 끝났다는 것입니다. VimRAG와 같은 프레임워크는 진정한 멀티모달 AI 추론을 위한 인프라가 마침내 성숙 단계에 접어들었음을 보여주며, 알리바바의 통이랩은 그 중심에 서고자 합니다.