تحديات تحويل النصوص إلى لغة الاستعلامات الهيكلية في البيانات المؤسسية

أظهرت نتائج اختبار Spider 2.0 أن الوكيل المعتمد على نموذج o1-preview حل 21.3% من المهام المستمدة من سيناريوهات مؤسسية حقيقية على BigQuery وSnowflake، بينما بلغت دقة أدائه 91.2% في نسخة Spider 1.0 التعليمية و73.0% في اختبار BIRD.

وفي اختبار BEAVER، الذي اعتمد على 9,128 زوجاً من الأسئلة والاستعلامات من مستودعات مؤسسية مغلقة، سجل إطار العمل ReFoRCE باستخدام GPT-5.2 دقة بلغت 10.8%، بينما سجل Claude 4.5 Sonnet دقة 11.4%.

كشفت تجارب اختبار BEAVER أن استخدام التلميحات يرفع الدقة من 9.5% في المتوسط بدون تلميحات إلى 18.9% عند تقديم تلميحات حول ثلاثة عناصر من المخطط، وتصل إلى 25.9% عند استخدام خمس تلميحات كاملة. ومع ذلك، تظل الأخطاء موجودة، حيث كانت 46.8% من الأخطاء هيكلية، و35.2% تتعلق باختيار عناصر المخطط، و18.0% تتعلق بمرشحات البيانات.

أشار بحث نشره Michael Stonebraker وPeter Chen في سبتمبر 2026 إلى أن النماذج اللغوية الكبيرة بمفردها سجلت صفر في اختبار BEAVER، بينما رفعت تقنيات التوليد المعزز بالاسترجاع وهندسة الأوامر والوكلاء النتيجة إلى حوالي 10%، ووصلت إلى 30% عند تزويد النموذج بالجداول وشروط الربط المناسبة.

حدد الباحثون أربع مشكلات رئيسية في المستودعات المؤسسية مقارنة بالبيانات التعليمية، وهي أن المستودعات المؤسسية مغلقة وغير متاحة للتدريب، ومخططاتها تعاني من التدهور بسبب تغيرات الأعمال، وتمتلك قواميس مصطلحات خاصة لا يمكن استنتاجها من المخطط، كما أن الاستعلامات الحقيقية أكثر تعقيداً من التعليمية.