VimRAG: Візуальний RAG-фреймворк Alibaba використовує графи пам'яті

Лабораторія Tongyi від Alibaba вирішує найбільше вузьке місце в мультимодальному штучному інтелекті

Дослідники з лабораторії Tongyi групи Alibaba випустили VimRAG, новий мультимодальний фреймворк для генерації з доповненим пошуком даних, розроблений для подолання обмежень, які візуальні дані накладають на системи мислення на основі штучного інтелекту. Фреймворк впроваджує структурований граф пам'яті, який дозволяє агентам штучного інтелекту орієнтуватися у величезних візуальних контекстах, що охоплюють зображення, відео та документи зі змішаними медіа, не занурюючись у токени та не втрачаючи важливого.

Цей реліз досяг критичного моменту. Підприємства та розробники змагаються у створенні систем штучного інтелекту, які можуть обробляти не лише текст, але існуючі підходи стикаються з труднощами, щойно скріншоти, діаграми, записи спостереження або зображення продуктів потрапляють у конвеєр. VimRAG є однією з найбільш цілеспрямованих спроб вирішити цю проблему в її архітектурному корі.

Що саме робить VimRAG інакше?

Щоб зрозуміти важливість VimRAG, корисно зрозуміти, що не працює в сучасних підходах. Більшість агентів генерації з доповненим пошуком даних сьогодні покладаються на циклічний шаблон, який часто називають ReAct, де модель думає, виконує дію, спостерігає за результатом, а потім повертає всю історію цієї взаємодії назад на наступний крок. Для тексту це працює досить добре. Для візуальних даних це катастрофа.

Зображення та відеокадри споживають величезну кількість токенів порівняно із семантичною інформацією, яку вони несуть для будь-якого заданого запиту. Оскільки історія взаємодії агента зростає на кількох етапах міркування, вікно контексту швидко заповнюється. Стиснення цієї історії для економії місця позбавляє важливих візуальних деталей. Це програшний сценарій.

VimRAG вирішує цю проблему за допомогою принципово іншої архітектури, побудованої навколо трьох ключових ідей:

• Структура графа пам'яті: Замість того, щоб підтримувати плоску, лінійну історію спостережень, VimRAG організовує отриману візуальну та текстову інформацію в граф. Вузли представляють окремі фрагменти доказів — область зображення, сегмент відео, уривок тексту — а ребра кодують зв'язки між ними.
• Вибіркова навігація: Замість того, щоб втискати все в одну масивну підказку, фреймворк дозволяє агенту стратегічно переміщатися по графу пам'яті, вибираючи лише найважливіші візуальні докази на кожному кроці міркування.
• Розділена візуальна пам'ять: Система відокремлює необроблені візуальні токени від їхніх семантичних зведень, дозволяючи агенту звертатися до високорівневих абстракцій під час планування та заглиблюватися в деталі на піксельному рівні лише за необхідності.

Кінцевий ефект полягає в тому, що агент може обробляти багатострибкові міркування над розтягнутими візуальними наборами даних без експоненціального контекстного роздуття, яке паралізує традиційні підходи.

Чому це важливо для ширшої індустрії штучного інтелекту

Час випуску VimRAG є значним. Індустрія штучного інтелекту витратила останні два роки на оптимізацію RAG-конвеєрів для корпоративних випадків використання з великою кількістю тексту — юридичних документів, баз знань підтримки клієнтів, фінансових звітів. Але наступний рубіж, безперечно, мультимодальний. Візуалізація в охороні здоров'я, журнали сприйняття автономних транспортних засобів, каталоги продуктів електронної комерції та контроль якості виробництва — все це вимагає систем штучного інтелекту, які можуть одночасно обробляти візуальну та текстову інформацію.

Якщо ви слідкували за нашими статтями про безмаркерну 3D-кінематику людини: Pose2Sim, RTMPose та OpenSim , ви знаєте, що основною обіцянкою RAG є заземлення великих мовних моделей на реальних зовнішніх даних для зменшення галюцинацій. VimRAG розширює цю обіцянку на візуальну сферу, не вимагаючи грубого розширення контекстних вікон — підходу, який був би надмірно дорогим у великих масштабах.

Це також загострює конкуренцію серед великих китайських технологічних фірм у фундаментальних дослідженнях штучного інтелекту. Лабораторія Tongyi компанії Alibaba постійно нарощує довіру поряд із такими конкурентами, як команда ERNIE компанії Baidu та підрозділ штучного інтелекту ByteDance. VimRAG додає значущий запис до зростаючого портфоліо відкритих дослідницьких внесків лабораторії після попередніх релізів, таких як серія мовних та зорових моделей Qwen.

Технічний контекст: чому графіки перевершують лінійну історію

Концепція використання графової пам'яті не є зовсім новою в дослідженнях штучного інтелекту. Графи знань вже давно використовуються в обробці природної мови, а нещодавня робота над графовими нейронними мережами продемонструвала потужні можливості реляційного мислення. VimRAG пропонує практичну основу для застосування графово-структурованої пам'яті саме до задачі візуального RAG.

Розглянемо конкретний сценарій: агент аналізує 30-хвилинне навчальне відео, щоб відповісти на багатоетапне запитання. Звичайний агент ReAct повинен постійно збільшувати свою історію спостережень з кожним кадром, який він досліджує. До десятого чи п'ятнадцятого кроку контекст роздувається візуальними токенами з попередніх кадрів, які можуть більше не бути релевантними.

Граф пам'яті VimRAG дозволяє агенту інтелектуально «забувати» — або, точніше, зберігати інформацію доступною, не займаючи її в активному контекстному просторі. Агент може повернутися до певного вузла в графі, коли це необхідно, замість того, щоб лінійно переносити кожне спостереження вперед.

Що кажуть аналітики та дослідники

Мультимодальний простір RAG викликав значний інтерес як з боку академічних кіл, так і з боку промисловості. Дослідники з таких установ, як Стенфорд, Массачусетський технологічний інститут та Microsoft Research, опублікували роботи з пов'язаних проблем, включаючи візуальне розуміння довгого контексту та трансформатори з доповненою пам'яттю. VimRAG вирізняється тим, що пропонує повний комплексний фреймворк, а не точкове рішення для одного аспекту конвеєра.

Галузеві оглядачі зазначають, що рішення Alibaba оприлюднити це дослідження свідчить про впевненість та стратегічне бажання сформувати напрямок розвитку мультимодальних інструментів штучного інтелекту. Для розробників, які створюють додатки, що залежать від візуального розуміння — від документного інтелекту до відеоаналітики — VimRAG пропонує потенційно трансформаційний архітектурний шаблон для впровадження або адаптації.

Щоб глибше зрозуміти, як розвиваються мультимодальні моделі, ознайомтеся з нашим аналізом 5 архітектур обчислень на основі штучного інтелекту, які кожен інженер повинен знати у 2025 році .

Що далі для VimRAG та візуального ШІ

Залишається кілька відкритих питань. Масштабованість у виробничих середовищах, інтеграція з існуючими моделями мови візуального розуміння, такими як GPT-4o та Qwen-VL, а також реальні тести затримки визначатимуть, чи перейде VimRAG від дослідницької роботи до галузевого стандарту.

Очікуйте побачити швидкі ітерації в цій сфері протягом наступних місяців. Оскільки вікна контексту продовжують розширюватися — моделі Gemini від Google тепер підтримують мільйони токенів — можна стверджувати, що підходи грубої сили зрештою наздоженуть. Але вартість токенів, затримка виведення та точність міркувань свідчать на користь розумніших архітектур над більшими вікнами. Саме на це робить ставку VimRAG.

Для розробників та команд штучного інтелекту, які працюють з візуальними даними у великих масштабах, послання зрозуміле: ера текстових RAG добігає кінця. Такі фреймворки, як VimRAG, сигналізують про те, що інфраструктура для справді мультимодального мислення на основі штучного інтелекту нарешті починає дозрівати, і Tongyi Lab від Alibaba має намір бути в центрі цього процесу.