أنشئ مسارات ذكاء المستندات باستخدام LangExtract

يفتح LangExtract من جوجل الباب أمام ذكاء المستندات القابل للتطوير

ظهرت آلية عمل جديدة في مجال البرمجة تجمع بين مكتبة LangExtract من جوجل ونماذج اللغة الضخمة من OpenAI لتحويل النصوص غير المنظمة والمعقدة إلى مجموعات بيانات نظيفة وقابلة للقراءة آليًا. ويوضح هذا النهج، الذي تم شرحه بالتفصيل في دليل تقني حديث، كيف يمكن للمطورين بناء مسارات قابلة لإعادة الاستخدام قادرة على تحليل العقود، ومحاضر الاجتماعات، وإعلانات المنتجات، وسجلات العمليات، مع الحفاظ على البيانات المستخرجة مرتبطة بنطاقاتها الأصلية الدقيقة داخل المستند الأصلي.

بالنسبة للفرق التي تغرق في كم هائل من المعلومات غير المنظمة، يمثل هذا تقدماً كبيراً. فبدلاً من بناء محللات مخصصة لكل نوع من أنواع المستندات، يوفر LangExtract إطار عمل موحداً حيث توجه التوجيهات المصممة بعناية والتعليقات التوضيحية النموذج نحو مخرجات متسقة ومنظمة.

ما حدث: مسار عمل خطوة بخطوة للاستخراج المنظم

تبدأ عملية العمل بإعداد البيئة - تثبيت LangExtract وملحقاته، ثم تكوين مفتاح واجهة برمجة تطبيقات OpenAI بشكل آمن. يتيح هذا التكوين لخط الأنابيب الاستفادة من نماذج GPT للقيام بالمهام المعقدة المتعلقة بفهم اللغة الطبيعية.

ومن ثم، يُحدد المطورون مخططات استخراج البيانات التي تُخبر النظام بدقة ما الذي يجب البحث عنه. تكمن روعة هذا النهج في مرونته، إذ يُمكن تكييف مسار واحد مع أنواع مختلفة تمامًا من المستندات عن طريق استبدال قوالب التوجيهات وأمثلة التعليقات التوضيحية. إليك شكل سير العمل الأساسي:

• تعريف المخطط: حدد الكيانات والإجراءات والمواعيد النهائية وعوامل الخطر والسمات الأخرى التي تريد استخراجها من كل فئة من فئات المستندات.
• هندسة التوجيه: تصميم التوجيهات باستخدام أمثلة قليلة حتى يفهم النموذج تنسيق الإخراج المطلوب ومستوى التفصيل.
• تنفيذ الاستخراج: قم بتغذية النص الخام من خلال مسار LangExtract، الذي يستدعي نموذج OpenAI ويعيد كائنات JSON المهيكلة المرتبطة بنطاقات النص المصدر.
• التصور والجدولة: تنظيم البيانات المستخرجة في إطارات بيانات باندا ولوحات معلومات مرئية تفاعلية للتحليل اللاحق.

وتُعد هذه الخطوة الأخيرة جديرة بالملاحظة بشكل خاص. فمن خلال تحويل نتائج الاستخراج إلى تنسيقات جدولية، يمكن للفرق إدخال البيانات على الفور في أدوات ذكاء الأعمال، أو لوحات معلومات الامتثال، أو أنظمة التنبيه الآلية.

أهمية الموضوع: مشكلة البيانات غير المهيكلة ضخمة

تشير تقديرات محللي الصناعة إلى أن حوالي 80% من بيانات المؤسسات غير منظمة، إذ تُخزَّن في ملفات PDF ورسائل البريد الإلكتروني ومحادثات Slack والمستندات الممسوحة ضوئيًا. وقد اعتمدت الأساليب التقليدية للسيطرة على هذه الفوضى على محللات قائمة على القواعد أو نماذج التعرف على الكيانات المسماة المدربة خصيصًا، وكلاهما هش ومكلف الصيانة.

يشير قرار جوجل بإصدار LangExtract كمكتبة مفتوحة المصدر إلى اتجاه أوسع في هذا المجال: تسهيل الوصول إلى طبقة استخراج البيانات، ما يسمح للمطورين بالتركيز على كيفية استخدام البيانات بدلاً من كيفية استخراجها. إذا كنتم تتابعون تغطيتنا لمشروع Falcon Perception: نموذج الرؤية المتكامل المبكر من TII بحجم 0.6 مليار ، فستدركون أن هذا جزء من تحول أكبر نحو أدوات تعتمد على نماذج التعلم الآلي للغة (LLM) تُبسط تعقيدات معالجة اللغة الطبيعية التقليدية.

يُعدّ التكامل مع نماذج OpenAI خطوة استراتيجية أيضاً. فبينما يُقدّم قسم الذكاء الاصطناعي في جوجل نماذج منافسة مثل Gemini، فإنّ جعل LangExtract مستقلاً عن النموذج (أو على الأقل متوافقاً مع نظام OpenAI البيئي) يُوسّع قاعدة مستخدميه المحتملين بشكلٍ كبير.

الخلفية: أين يندرج LangExtract ضمن النظام البيئي

لا تُعدّ LangExtract المكتبة الأولى التي تتناول استخراج البيانات المنظمة من النصوص. فقد سبقتها أدوات أخرى مثل spaCy وHugging Face Transformers، وحتى أدوات الاستخراج الخاصة بـ LangChain، في هذا المجال لسنوات. ما يُميّز LangExtract هو تركيزها على ربط البيانات بالمصدر الأصلي ، حيث يتم ربط كل كيان أو سمة مُستخرجة بنطاق الأحرف الدقيق في المستند الأصلي الذي وُجدت فيه.

يُعدّ تتبّع مصدر البيانات أمرًا بالغ الأهمية للتطبيقات الحساسة. ففي مراجعة الوثائق القانونية، على سبيل المثال، لا يُعدّ معرفة أن الموعد النهائي مُستخرج من الفقرة 14، الجملة 3 من العقد أمرًا مفيدًا فحسب، بل هو شرط أساسي للامتثال. وبالمثل، في معالجة السجلات الطبية، يحتاج المدققون إلى التحقق من أن التشخيصات المُستخرجة تُشير مباشرةً إلى الملاحظات السريرية.

بالنسبة للقراء المهتمين بالمشهد الأوسع لأدوات معالجة المستندات، فإن مقالنا حول بناء أنظمة وكلاء جاهزة للإنتاج باستخدام Z.AI GLM-5 يوفر سياقًا إضافيًا حول كيفية مقارنة هذه التقنيات.

وجهة نظر الخبراء: ما يقوله المحللون

أبدى مجتمع المطورين حماسًا حذرًا. ففي المنتديات ومنصات التواصل الاجتماعي، أشاد المهندسون بتصميم واجهة برمجة التطبيقات (API) النظيف لـ LangExtract وبساطة منهجها القائم على الموجه والمخطط. إلا أن البعض أشار إلى أن جودة الاستخراج لا تزال محدودة بشكل أساسي بقدرات نموذج اللغة الأساسي.

هذا تحذير هام. فالهلوسة - أي ميل نماذج اللغة إلى اختلاق معلومات تبدو معقولة ظاهريًا ولكنها غير صحيحة - لا تزال تشكل خطرًا في أي عملية استخراج. وتخفف ميزة التحقق من المصدر في LangExtract من هذا الخطر إلى حد ما، إذ يمكن التحقق برمجيًا من المقاطع المستخرجة بمقارنتها بالنص الأصلي. ومع ذلك، ينبغي على المطورين بناء طبقات تحقق فوق مخرجات الاستخراج الخام، لا سيما في القطاعات الخاضعة للتنظيم.

كما ذكرت مجلة MIT Technology Review على نطاق واسع، فإن الفجوة بين العروض التوضيحية الرائعة وأنظمة الذكاء الاصطناعي الجاهزة للإنتاج غالباً ما تعود إلى هذا النوع من الدقة في المعالجة اللاحقة.

ما سيأتي لاحقاً: بناء سير عمل مستقل للمستندات

بالنظر إلى المستقبل، من المرجح أن تكون خطوط الأنابيب مثل تلك التي تم عرضها مع LangExtract مجرد بداية. تشير عدة اتجاهات إلى الوجهة التي تتجه إليها هذه التقنية:

1. الاستخراج متعدد الوسائط: الجمع بين استخراج النصوص وفهم الصور والجداول من المستندات الممسوحة ضوئياً وملفات PDF.
2. سير العمل الموجه بواسطة الوكلاء: تغذية البيانات المهيكلة المستخرجة مباشرة إلى وكلاء الذكاء الاصطناعي الذين يمكنهم اتخاذ إجراءات - مثل إعداد التقارير أو إرسال التنبيهات أو تحديث قواعد البيانات بشكل مستقل.
3. نماذج المجال المُحسَّنة: استخدام تنسيق التعليقات التوضيحية لـ LangExtract لإنشاء بيانات تدريب لنماذج أصغر وأسرع ومخصصة للمجال يمكن تشغيلها على الجهاز دون استدعاءات واجهة برمجة التطبيقات.

يُتوقع أن يشهد سوق تحليل البيانات المستندية، الذي بلغت قيمته أكثر من 5 مليارات دولار أمريكي في عام 2024 وفقًا لتقارير صناعية متعددة، نموًا سريعًا مع تطور هذه القدرات. ويُعزز استثمار جوجل في أدوات مفتوحة المصدر مثل LangExtract من مكانتها في جذب اهتمام المطورين، حتى مع اشتداد المنافسة من مايكروسوفت وأمازون ومجموعة من الشركات الناشئة الممولة تمويلًا جيدًا.

أهم النقاط الرئيسية

بالنسبة للمطورين وفرق البيانات الذين يسعون لبناء قدرات قوية في مجال تحليل البيانات المستندة إلى المستندات، يوفر LangExtract نقطة انطلاق مثالية. فمزيجه من المرونة القائمة على التوجيه، والاستخراج المستند إلى المصدر، والتكامل السلس مع نماذج OpenAI، يجعله أحد أكثر الأدوات العملية التي ظهرت في مجال الاستخراج المنظم هذا العام. ومع ذلك، تكمن القيمة الحقيقية في مسارات العمل التي تبنيها الفرق حوله - طبقات التحقق، ولوحات معلومات التصور، والأتمتة اللاحقة التي تحول الاستخراج الخام إلى رؤى تجارية حقيقية.