VimRAG: Визуальный RAG-фреймворк от Alibaba использует графы памяти.

Лаборатория Tongyi компании Alibaba решает самую серьезную проблему в области многомодального искусственного интеллекта.

Исследователи из лаборатории Tongyi Lab компании Alibaba Group выпустили VimRAG, новую многомодальную структуру для генерации информации с расширенными возможностями поиска, разработанную для преодоления серьезных ограничений, которые визуальные данные накладывают на системы логического мышления ИИ. Эта структура представляет собой структурированный граф памяти, позволяющий агентам ИИ ориентироваться в огромных визуальных контекстах — изображениях, видео и документах смешанного типа — не утопая в токенах и не теряя из виду то, что действительно важно.

Релиз выходит в критически важный момент. Предприятия и разработчики соревнуются в создании систем искусственного интеллекта, способных рассуждать не только на основе текста, но существующие подходы сталкиваются с препятствиями, как только в конвейер обработки попадают скриншоты, диаграммы, записи с камер видеонаблюдения или изображения продукции. VimRAG представляет собой одну из наиболее продуманных попыток решить эту проблему на её архитектурном уровне.

Чем именно VimRAG отличается от других подобных программ?

Чтобы понять, почему VimRAG важен, полезно разобраться в недостатках существующих подходов. Большинство современных агентов генерации с дополненной реальностью полагаются на циклический шаблон — часто называемый ReAct — где модель думает, совершает действие, наблюдает за результатом, а затем передает всю историю этого взаимодействия на следующий шаг. Для текста это работает достаточно хорошо. Для визуальных данных это катастрофа.

Изображения и видеокадры потребляют огромное количество токенов по сравнению с семантической информацией, которую они несут для любого заданного запроса. По мере того, как история взаимодействий агента растет на протяжении нескольких этапов рассуждения, контекстное окно быстро заполняется. Сжатие этой истории для экономии места приводит к потере важных визуальных деталей. Это безвыходная ситуация.

VimRAG решает эту проблему с помощью принципиально иной архитектуры, построенной на трех ключевых идеях:

• Структура графа памяти: Вместо хранения плоской линейной истории наблюдений, VimRAG организует извлеченную визуальную и текстовую информацию в виде графа. Узлы представляют собой отдельные фрагменты данных — область изображения, видеофрагмент, фрагмент текста — а ребра кодируют взаимосвязи между ними.
• Выборочная навигация: вместо того, чтобы помещать все в один огромный запрос, эта система позволяет агенту стратегически перемещаться по графу памяти, извлекая на каждом этапе рассуждения только наиболее релевантные визуальные данные.
• Разделенная визуальная память: система отделяет исходные визуальные данные от их семантических сводок, позволяя агенту обращаться к высокоуровневым абстракциям при планировании и углубляться в детали на уровне пикселей только при необходимости.

В итоге получается агент, способный обрабатывать многошаговые логические рассуждения над обширными визуальными наборами данных без экспоненциального раздувания контекста, которое парализует традиционные подходы.

Почему это важно для всей индустрии искусственного интеллекта

Время выпуска VimRAG имеет важное значение. Последние два года индустрия ИИ занималась оптимизацией конвейеров RAG для корпоративных сценариев использования, связанных с большим объемом текста — юридических документов, баз знаний службы поддержки клиентов, финансовых отчетов. Но следующим рубежом, несомненно, станет мультимодальный подход. Медицинская визуализация, журналы распознавания автономных транспортных средств, каталоги товаров для электронной коммерции и контроль качества в производстве — все это требует от систем ИИ способности одновременно обрабатывать визуальную и текстовую информацию.

Если вы следили за нашими публикациями о 3D-моделировании кинематики человека без маркеров: Pose2Sim, RTMPose и OpenSim , вы знаете, что основное преимущество RAG заключается в том, чтобы основывать большие языковые модели на реальных внешних данных для уменьшения эффекта галлюцинаций. VimRAG расширяет это преимущество на визуальную область, не требуя грубой силы расширения контекстных окон — подхода, который был бы непомерно дорогим в больших масштабах.

Это также усиливает конкуренцию между крупными китайскими технологическими компаниями в области фундаментальных исследований в сфере искусственного интеллекта. Лаборатория Tongyi Lab компании Alibaba неуклонно укрепляет свои позиции наряду с такими конкурентами, как команда ERNIE компании Baidu и подразделение ИИ компании ByteDance. VimRAG добавляет значимое дополнение к растущему портфелю открытых исследовательских разработок лаборатории, вслед за более ранними релизами, такими как серия языковых и компьютерных моделей Qwen.

Технический контекст: почему графики превосходят линейную историю

Концепция использования памяти на основе графов не является совершенно новой в исследованиях в области искусственного интеллекта. Графы знаний давно используются в обработке естественного языка, а недавние работы по графовым нейронным сетям продемонстрировали мощные возможности реляционного рассуждения. VimRAG вносит свой вклад в виде практической структуры для применения памяти на основе графов именно к задаче визуального реляционного рассуждения.

Рассмотрим конкретный сценарий: агент анализирует 30-минутное обучающее видео, чтобы ответить на многосоставный вопрос. Обычному агенту ReAct пришлось бы постоянно пополнять историю наблюдений с каждым просмотренным кадром. К десятому или пятнадцатому шагу контекст раздувается визуальными элементами из предыдущих кадров, которые могут быть уже неактуальны.

Граф памяти VimRAG позволяет агенту интеллектуально «забывать» — или, точнее, сохранять доступ к информации, не занимая при этом активное контекстное пространство. Агент может при необходимости вернуться к определенному узлу в графе, вместо того чтобы линейно переносить каждое наблюдение вперед.

Что говорят аналитики и исследователи?

Мультимодальная область RAG привлекла пристальное внимание как академических кругов, так и промышленности. Исследователи из таких учреждений, как Стэнфорд, Массачусетский технологический институт и Microsoft Research, опубликовали работы по смежным задачам, включая визуальное понимание в длительном контексте и трансформеры с расширенной памятью. VimRAG отличается тем, что предлагает полную, комплексную структуру, а не точечное решение для одного аспекта конвейера обработки данных.

Эксперты отрасли отмечают, что решение Alibaba опубликовать это исследование публично свидетельствует об уверенности и стратегическом стремлении определить направление развития мультимодальных инструментов искусственного интеллекта. Для разработчиков, создающих приложения, зависящие от визуального восприятия — от анализа документов до видеоаналитики — VimRAG предлагает потенциально революционный архитектурный шаблон, который можно внедрить или адаптировать.

Для более подробного ознакомления с эволюцией мультимодальных моделей, ознакомьтесь с нашим анализом 5 архитектур вычислительных систем для ИИ, которые должен знать каждый инженер в 2025 году .

Что ждет VimRAG и Visual AI в будущем?

Остается несколько открытых вопросов. Масштабируемость в производственных средах, интеграция с существующими моделями обработки изображений, такими как GPT-4o и Qwen-VL, а также реальные тесты задержки определят, станет ли VimRAG отраслевым стандартом, перешедшим из разряда научных статей.

В ближайшие месяцы следует ожидать быстрого развития этой области. Поскольку контекстные окна продолжают расширяться — модели Gemini от Google теперь поддерживают миллионы токенов — можно утверждать, что методы грубой силы в конечном итоге догонят. Но стоимость токенов, задержка при выводе и точность рассуждений — всё это говорит в пользу более интеллектуальных архитектур по сравнению с большими окнами. Именно на это делает ставку VimRAG.

Для разработчиков и команд, работающих с визуальными данными в больших масштабах, послание ясно: эра текстовых алгоритмов распознавания речи подходит к концу. Такие фреймворки, как VimRAG, свидетельствуют о том, что инфраструктура для действительно многомодального логического мышления в ИИ наконец-то начинает созревать, и лаборатория Tongyi Lab компании Alibaba намерена быть в центре этого процесса.