VimRAG：アリババのビジュアルRAGフレームワークはメモリグラフを使用

アリババ傘下の同義研究所がマルチモーダルAIにおける最大のボトルネックに取り組む

アリババグループの同義研究所の研究者らは、AI推論システムに視覚データが課す大きな制約を克服するために設計された、新しいマルチモーダル検索拡張生成フレームワーク「VimRAG」を発表しました。このフレームワークは、構造化されたメモリグラフを導入することで、AIエージェントが膨大な画像、動画、複合メディア文書といった視覚的コンテキストを、トークンの洪水に溺れたり、重要な情報を見失ったりすることなくナビゲートできるようにします。

今回のリリースは、まさに転換期にふさわしいものです。企業や開発者は、テキストだけでなく様々なデータに対して推論できるAIシステムの構築を競い合っていますが、既存のアプローチでは、スクリーンショット、グラフ、監視カメラ映像、製品画像などが処理パイプラインに取り込まれると、行き詰まってしまいます。VimRAGは、この問題をアーキテクチャの根本から解決しようとする、これまでで最も綿密な試みの一つと言えるでしょう。

VimRAGは具体的に何が違うのですか？

VimRAGがなぜ重要なのかを理解するには、現在の手法の何が問題なのかを理解することが役立ちます。今日のほとんどの検索拡張型生成エージェントは、ループパターン（多くの場合ReActと呼ばれる）に依存しています。このパターンでは、モデルが考え、行動を起こし、結果を観察し、そのやり取りの履歴全体を次のステップにフィードバックします。テキストの場合、これはかなりうまく機能します。しかし、ビジュアルデータの場合、これは大失敗です。

画像や動画フレームは、特定のクエリに対して持つ意味情報量に比べて膨大な数のトークンを消費します。エージェントのインタラクション履歴が複数の推論ステップにわたって増加するにつれて、コンテキストウィンドウはすぐにいっぱいになります。スペースを節約するために履歴を圧縮すると、重要な視覚情報が失われてしまいます。これはどちらにとっても不利な状況です。

VimRAGは、3つの重要なアイデアに基づいた根本的に異なるアーキテクチャでこの問題に取り組んでいます。

• メモリグラフ構造： VimRAGは、観測の履歴を直線的に保持するのではなく、取得した視覚情報とテキスト情報をグラフに整理します。ノードは、画像領域、ビデオセグメント、テキスト部分といった個別の証拠を表し、エッジはそれらの間の関係を符号化します。
• 選択的ナビゲーション：このフレームワークでは、すべてを1つの巨大なプロンプトに詰め込むのではなく、エージェントがメモリグラフを戦略的にたどり、各推論ステップで最も関連性の高い視覚的証拠のみを取り出すことができます。
• 分離された視覚メモリ：このシステムは、生の視覚トークンとその意味的要約を分離することで、エージェントが計画時には高レベルの抽象概念を参照し、必要な場合にのみピクセルレベルの詳細に掘り下げることができるようにします。

その結果、従来の手法を阻害するような指数関数的なコンテキスト肥大化を起こすことなく、広大なビジュアルデータセット上でマルチホップ推論を処理できるエージェントが実現する。

これがより広範なAI業界にとって重要な理由

VimRAGのリリース時期は非常に重要です。AI業界は過去2年間、法律文書、顧客サポートのナレッジベース、財務報告書など、テキスト量の多い企業向けユースケース向けにRAGパイプラインの最適化に取り組んできました。しかし、次のフロンティアは間違いなくマルチモーダルです。医療画像処理、自動運転車の認識ログ、eコマースの商品カタログ、製造品質管理など、あらゆる分野で、視覚情報とテキスト情報を同時に推論できるAIシステムが求められています。

これまで弊社が取り上げてきた「マーカーレス3D人体運動学：Pose2Sim、RTMPose、OpenSim」の記事をご覧になった方はご存知でしょうが、RAGの核となる理念は、大規模な言語モデルを実際の外部データに基づいて構築することで、誤った解釈を減らすことです。VimRAGは、コンテキストウィンドウを力ずくで拡張することなく、その理念を視覚領域にまで拡張します。このような力ずくの拡張は、大規模な環境ではコストがかかりすぎるため、現実的ではありません。

これはまた、中国の大手テクノロジー企業間の基礎AI研究における競争を激化させる。アリババ傘下の同義研究所は、百度傘下のERNIEチームやバイトダンス傘下のAI部門といったライバル企業と肩を並べ、着実に信頼性を高めてきた。VimRAGは、同研究所がこれまで発表してきた言語モデルや画像認識モデル「Qwen」シリーズに続き、拡大を続けるオープンリサーチの成果ポートフォリオに重要な一ページを加えるものとなる。

技術的背景：グラフが線形履歴よりも優れている理由

グラフベースのメモリを使用するという概念は、AI研究において全く新しいものではありません。知識グラフは自然言語処理において長年使用されており、グラフニューラルネットワークに関する最近の研究では、強力な関係推論能力が実証されています。VimRAGの貢献は、グラフ構造メモリを視覚的なRAG問題に特化して適用するための実用的なフレームワークを提供することです。

具体的なシナリオを考えてみましょう。エージェントが30分間の解説ビデオを分析し、複数のパートからなる質問に答える場合です。従来のReActエージェントでは、フレームを分析するたびに観測履歴を蓄積していく必要があります。10ステップ目や15ステップ目になると、コンテキストは以前のフレームからの視覚的なトークンで膨れ上がり、それらのトークンはもはや関連性がない可能性があります。

VimRAGのメモリグラフは、エージェントが情報を賢く「忘却」することを可能にします。より正確に言えば、アクティブなコンテキスト空間を占有することなく、情報にアクセス可能な状態に保つことができます。エージェントは、すべての観測結果を直線的に進めるのではなく、必要に応じてグラフ内の特定のノードに戻ることができます。

アナリストや研究者の見解

マルチモーダルRAG分野は、学術界と産業界の両方から大きな注目を集めています。スタンフォード大学、MIT、マイクロソフトリサーチなどの研究者たちは、長文脈の視覚理解やメモリ拡張型トランスフォーマーなど、関連する課題に関する研究成果を発表しています。VimRAGは、パイプラインの特定の部分に対するポイントソリューションではなく、完全なエンドツーエンドのフレームワークを提供することで、他とは一線を画しています。

業界関係者は、アリババがこの研究成果を公表したことは、自信の表れであり、マルチモーダルAIツールの方向性を決定づけようとする戦略的な意欲の表れだと指摘している。文書分析から動画解析まで、視覚理解に依存するアプリケーションを開発する開発者にとって、VimRAGは採用または応用することで、革新的なアーキテクチャパターンとなる可能性を秘めている。

マルチモーダルモデルがどのように進化しているかについてさらに詳しく知りたい場合は、 「2025年にすべてのエンジニアが知っておくべき5つのAIコンピューティングアーキテクチャ」に関する分析をご覧ください。

VimRAGとビジュアルAIの今後はどうなるのか？

いくつかの未解決の課題が残っている。本番環境における拡張性、GPT-4oやQwen-VLといった既存の画像認識・言語モデルとの統合、そして実世界でのレイテンシベンチマークが、VimRAGが研究論文から業界標準へと移行するかどうかを決定づけるだろう。

今後数ヶ月で、この分野における急速な進化が期待されます。コンテキストウィンドウが拡大し続けるにつれ（GoogleのGeminiモデルは現在、数百万個のトークンをサポートしています）、総当たり的なアプローチもいずれ追いつくという議論も成り立ちます。しかし、トークンコスト、推論レイテンシ、推論精度といった点では、より大きなウィンドウよりもスマートなアーキテクチャの方が有利です。VimRAGはまさにこの点に賭けているのです。

大規模なビジュアルデータを扱う開発者やAIチームにとって、メッセージは明確だ。テキストのみのRAGの時代は終わりを迎えつつある。VimRAGのようなフレームワークは、真のマルチモーダルAI推論のためのインフラがようやく成熟し始めていることを示しており、アリババのTongyi Labはその中心となることを目指している。