VimRAG: เฟรมเวิร์ก Visual RAG ของ Alibaba ที่ใช้กราฟหน่วยความจำ

ห้องปฏิบัติการ Tongyi ของ Alibaba แก้ปัญหาคอขวดที่ใหญ่ที่สุดใน AI แบบมัลติโมดอล

นักวิจัยจาก Tongyi Lab ของ Alibaba Group ได้เปิดตัว VimRAG ซึ่งเป็นเฟรมเวิร์กการสร้างข้อมูลเสริมแบบหลายโมดอล (multimodal Retrieval-Augmented Generation) ที่ออกแบบมาเพื่อเอาชนะข้อจำกัดที่สำคัญของข้อมูลภาพที่มีต่อระบบการให้เหตุผลของ AI เฟรมเวิร์กนี้แนะนำกราฟหน่วยความจำที่มีโครงสร้าง ซึ่งช่วยให้เอเจนต์ AI สามารถนำทางในบริบทภาพขนาดใหญ่ — ที่ครอบคลุมทั้งภาพนิ่ง วิดีโอ และเอกสารสื่อผสม — โดยไม่จมอยู่กับโทเค็นหรือหลงลืมสิ่งที่สำคัญ

การเปิดตัวครั้งนี้เกิดขึ้นในช่วงหัวเลี้ยวหัวต่อที่สำคัญ องค์กรและนักพัฒนาต่างเร่งสร้างระบบ AI ที่สามารถประมวลผลได้มากกว่าแค่ข้อความ แต่แนวทางที่มีอยู่เดิมกลับไปติดขัดเมื่อต้องนำภาพหน้าจอ แผนภูมิ ภาพจากกล้องวงจรปิด หรือภาพผลิตภัณฑ์เข้ามาประมวลผล VimRAG จึงเป็นความพยายามที่รอบคอบที่สุดครั้งหนึ่งในการแก้ปัญหาดังกล่าวตั้งแต่รากฐานทางสถาปัตยกรรม

VimRAG ทำอะไรที่แตกต่างออกไปบ้าง?

เพื่อให้เข้าใจว่าทำไม VimRAG จึงมีความสำคัญ จำเป็นต้องเข้าใจก่อนว่าอะไรคือข้อบกพร่องของวิธีการปัจจุบัน ตัวแทนการสร้างข้อความที่เสริมด้วยการค้นหาข้อมูลส่วนใหญ่ในปัจจุบันอาศัยรูปแบบการวนซ้ำ — ซึ่งมักเรียกว่า ReAct — โดยที่โมเดลคิด ดำเนินการ สังเกตผลลัพธ์ แล้วป้อนประวัติการโต้ตอบทั้งหมดกลับไปยังขั้นตอนถัดไป สำหรับข้อความ วิธีนี้ใช้ได้ผลดีพอสมควร แต่สำหรับข้อมูลภาพ มันเป็นหายนะ

รูปภาพและเฟรมวิดีโอใช้โทเค็นจำนวนมหาศาลเมื่อเทียบกับข้อมูลเชิงความหมายที่พวกมันบรรจุอยู่สำหรับคำค้นหาใดๆ เมื่อประวัติการโต้ตอบของเอเจนต์เพิ่มขึ้นเรื่อยๆ ผ่านขั้นตอนการให้เหตุผลหลายขั้นตอน หน้าต่างบริบทก็จะเต็มอย่างรวดเร็ว การบีบอัดประวัติเหล่านั้นเพื่อประหยัดพื้นที่จะทำให้รายละเอียดภาพที่สำคัญหายไป มันเป็นสถานการณ์ที่เสียเปรียบทั้งสองฝ่าย

VimRAG แก้ปัญหานี้ด้วยสถาปัตยกรรมที่แตกต่างไปจากเดิมโดยสิ้นเชิง ซึ่งสร้างขึ้นจากแนวคิดหลักสามประการ:

• โครงสร้างกราฟหน่วยความจำ: แทนที่จะเก็บรักษาประวัติการสังเกตการณ์แบบเส้นตรงแบนราบ VimRAG จะจัดระเบียบข้อมูลภาพและข้อความที่ดึงมาได้เป็นกราฟ โหนดแทนชิ้นส่วนหลักฐานที่แยกจากกัน เช่น บริเวณภาพ ส่วนของวิดีโอ หรือข้อความ และขอบจะแสดงความสัมพันธ์ระหว่างชิ้นส่วนเหล่านั้น
• การนำทางแบบเลือกสรร: แทนที่จะยัดทุกอย่างลงในคำถามขนาดใหญ่เพียงคำถามเดียว เฟรมเวิร์กนี้อนุญาตให้เอเจนต์สำรวจกราฟหน่วยความจำอย่างมีกลยุทธ์ โดยดึงเฉพาะหลักฐานภาพที่เกี่ยวข้องมากที่สุดในแต่ละขั้นตอนการให้เหตุผล
• หน่วยความจำภาพแบบแยกส่วน: ระบบจะแยกโทเค็นภาพดิบออกจากบทสรุปความหมาย ทำให้เอเจนต์สามารถอ้างอิงถึงนามธรรมระดับสูงเมื่อวางแผน และเจาะลึกรายละเอียดระดับพิกเซลเฉพาะเมื่อจำเป็นเท่านั้น

ผลลัพธ์โดยรวมคือเอเจนต์ที่สามารถจัดการกับการให้เหตุผลแบบหลายขั้นตอนบนชุดข้อมูลภาพขนาดใหญ่ได้โดยไม่เกิดปัญหาการขยายตัวของบริบทอย่างทวีคูณซึ่งเป็นอุปสรรคต่อวิธีการแบบเดิม

เหตุใดเรื่องนี้จึงมีความสำคัญต่ออุตสาหกรรม AI ในวงกว้าง

จังหวะเวลาในการเปิดตัว VimRAG นั้นมีความสำคัญอย่างยิ่ง อุตสาหกรรม AI ได้ใช้เวลาสองปีที่ผ่านมาในการปรับปรุงประสิทธิภาพของไปป์ไลน์ RAG สำหรับกรณีการใช้งานระดับองค์กรที่มีข้อความจำนวนมาก เช่น เอกสารทางกฎหมาย ฐานข้อมูลความรู้ด้านการสนับสนุนลูกค้า และรายงานทางการเงิน แต่ปฏิเสธไม่ได้เลยว่าขอบเขตต่อไปนั้นเป็นแบบหลายรูปแบบ การถ่ายภาพทางการแพทย์ บันทึกการรับรู้ของยานยนต์ไร้คนขับ แคตตาล็อกสินค้าอีคอมเมิร์ซ และการควบคุมคุณภาพการผลิต ล้วนต้องการระบบ AI ที่สามารถวิเคราะห์ข้อมูลทั้งภาพและข้อความได้พร้อมกัน

หากคุณติดตามข่าวสารเกี่ยวกับการจำลอง การเคลื่อนไหวของมนุษย์แบบ 3 มิติโดยไม่ต้องใช้เครื่องหมาย เช่น Pose2Sim, RTMPose และ OpenSim คุณจะรู้ว่าหัวใจสำคัญของ RAG คือการสร้างแบบจำลองภาษาขนาดใหญ่โดยอิงจากข้อมูลจริงภายนอกเพื่อลดภาพลวงตา VimRAG ขยายคำมั่นสัญญานั้นไปสู่โดเมนภาพโดยไม่จำเป็นต้องขยายหน้าต่างบริบทแบบใช้กำลังมหาศาล ซึ่งเป็นวิธีการที่จะมีค่าใช้จ่ายสูงเกินไปหากนำไปใช้ในวงกว้าง

สิ่งนี้ยังทำให้การแข่งขันระหว่างบริษัทเทคโนโลยีชั้นนำของจีนในด้านการวิจัย AI พื้นฐานทวีความรุนแรงขึ้นด้วย ห้องปฏิบัติการ Tongyi ของ Alibaba ได้สร้างความน่าเชื่อถือมาอย่างต่อเนื่องเคียงข้างคู่แข่งอย่างทีม ERNIE ของ Baidu และแผนก AI ของ ByteDance VimRAG นับเป็นการเพิ่มผลงานวิจัยแบบเปิดที่สำคัญให้กับห้องปฏิบัติการแห่งนี้ ซึ่งต่อยอดมาจากผลงานก่อนหน้านี้ เช่น โมเดลภาษาและภาพตระกูล Qwen

บริบททางเทคนิค: เหตุใดกราฟจึงดีกว่าประวัติศาสตร์เชิงเส้น

แนวคิดการใช้หน่วยความจำแบบกราฟไม่ใช่เรื่องใหม่ทั้งหมดในงานวิจัยด้านปัญญาประดิษฐ์ กราฟความรู้ถูกนำมาใช้ในกระบวนการประมวลผลภาษาธรรมชาติมานานแล้ว และงานวิจัยล่าสุดเกี่ยวกับ โครงข่ายประสาทเทียมแบบกราฟ ได้แสดงให้เห็นถึงความสามารถในการให้เหตุผลเชิงสัมพันธ์ที่มีประสิทธิภาพ สิ่งที่ VimRAG นำเสนอคือกรอบการทำงานเชิงปฏิบัติสำหรับการประยุกต์ใช้หน่วยความจำที่มีโครงสร้างแบบกราฟโดยเฉพาะกับปัญหา RAG ทางภาพ

ลองพิจารณาสถานการณ์ที่เป็นรูปธรรม: เอเจนต์วิเคราะห์วิดีโอแนะนำความยาว 30 นาทีเพื่อตอบคำถามหลายส่วน เอเจนต์ ReAct แบบดั้งเดิมจะต้องขยายประวัติการสังเกตของตนไปเรื่อยๆ ในทุกเฟรมที่ตรวจสอบ เมื่อถึงขั้นตอนที่สิบหรือสิบห้า บริบทก็จะเต็มไปด้วยโทเค็นภาพจากเฟรมก่อนหน้าซึ่งอาจไม่เกี่ยวข้องอีกต่อไป

โครงสร้างกราฟหน่วยความจำของ VimRAG ช่วยให้เอเจนต์สามารถ "ลืม" ได้อย่างชาญฉลาด หรือกล่าวให้แม่นยำยิ่งขึ้นคือ สามารถเก็บข้อมูลไว้ให้เข้าถึงได้โดยไม่ต้องใช้พื้นที่บริบทที่ใช้งานอยู่ เอเจนต์สามารถย้อนกลับไปยังโหนดเฉพาะในกราฟได้เมื่อต้องการ แทนที่จะดำเนินการสังเกตการณ์ทุกอย่างไปข้างหน้าแบบเป็นเส้นตรง

สิ่งที่นักวิเคราะห์และนักวิจัยกล่าวไว้

พื้นที่ RAG แบบมัลติโมดอลได้รับความสนใจอย่างมากจากทั้งแวดวงวิชาการและอุตสาหกรรม นักวิจัยจากสถาบันต่างๆ เช่น สแตนฟอร์ด MIT และ Microsoft Research ได้ตีพิมพ์ผลงานเกี่ยวกับความท้าทายที่เกี่ยวข้อง รวมถึงการทำความเข้าใจภาพในบริบทระยะยาวและทรานส์ฟอร์เมอร์ที่เสริมด้วยหน่วยความจำ VimRAG โดดเด่นด้วยการนำเสนอเฟรมเวิร์กแบบครบวงจรตั้งแต่ต้นจนจบ แทนที่จะเป็นเพียงโซลูชันเฉพาะจุดสำหรับด้านใดด้านหนึ่งของกระบวนการทำงาน

ผู้สังเกตการณ์ในอุตสาหกรรมตั้งข้อสังเกตว่า การตัดสินใจของ Alibaba ที่จะเผยแพร่ผลการวิจัยนี้สู่สาธารณะ แสดงให้เห็นถึงความมั่นใจและความปรารถนาเชิงกลยุทธ์ที่จะกำหนดทิศทางของเครื่องมือ AI แบบมัลติโมดอล สำหรับนักพัฒนาที่สร้างแอปพลิเคชันที่ต้องอาศัยความเข้าใจด้านภาพ ไม่ว่าจะเป็นการวิเคราะห์เอกสารหรือการวิเคราะห์วิดีโอ VimRAG นำเสนอรูปแบบสถาปัตยกรรมที่อาจเปลี่ยนแปลงวงการได้ ซึ่งสามารถนำไปใช้หรือปรับปรุงได้

หากต้องการศึกษาเจาะลึกถึงวิวัฒนาการของโมเดลมัลติโมดอล โปรดดูบทวิเคราะห์ของเราเรื่อง สถาปัตยกรรมประมวลผล AI 5 แบบที่วิศวกรทุกคนต้องรู้ในปี 2025

อนาคตของ VimRAG และ Visual AI จะเป็นอย่างไรต่อไป

ยังมีคำถามที่ยังไม่ได้รับคำตอบอีกหลายข้อ ความสามารถในการขยายขนาดในสภาพแวดล้อมการผลิต การบูรณาการกับโมเดลภาษาภาพที่มีอยู่ เช่น GPT-4o และ Qwen-VL และเกณฑ์มาตรฐานความหน่วงในโลกแห่งความเป็นจริง จะเป็นตัวกำหนดว่า VimRAG จะเปลี่ยนจากเอกสารวิจัยไปเป็นมาตรฐานอุตสาหกรรมได้หรือไม่

คาดว่าจะมีการพัฒนาอย่างรวดเร็วในด้านนี้ในอีกไม่กี่เดือนข้างหน้า เนื่องจากหน้าต่างบริบท (context windows) ขยายตัวอย่างต่อเนื่อง — โมเดล Gemini ของ Google รองรับโทเค็นได้หลายล้านรายการแล้ว — อาจมีคนแย้งว่าวิธีการแบบดั้งเดิมจะตามทันในที่สุด แต่ต้นทุนโทเค็น ความล่าช้าในการอนุมาน และความแม่นยำในการให้เหตุผล ล้วนสนับสนุนสถาปัตยกรรมที่ชาญฉลาดกว่าหน้าต่างที่ใหญ่กว่า นั่นคือสิ่งที่ VimRAG กำลังเดิมพันอยู่

สำหรับนักพัฒนาและทีม AI ที่ทำงานกับข้อมูลภาพในปริมาณมาก ข้อความนั้นชัดเจน: ยุคของ RAG ที่ใช้ข้อความเพียงอย่างเดียวกำลังจะสิ้นสุดลง เฟรมเวิร์กอย่าง VimRAG บ่งชี้ว่าโครงสร้างพื้นฐานสำหรับการให้เหตุผล AI แบบหลายโมดอลอย่างแท้จริงกำลังเริ่มเติบโตเต็มที่ และห้องปฏิบัติการ Tongyi ของ Alibaba ตั้งใจที่จะเป็นศูนย์กลางของเรื่องนี้