الفصل الثاني عشر: الذكاء الاصطناعي التوليدي في التقييمات المعيارية: حوار مع ألينا فون دافيير
هذا الفصل مقابلة بين ألينا فون دافيير، من دولينجو وEdastratech في الولايات المتحدة، وأمانة منظمة التعاون الاقتصادي والتنمية. ويدور الحوار حول الإمكانات الجديدة التي يتيحها الذكاء الاصطناعي التوليدي لتطوير التقييمات المعيارية والعالية المخاطر وتطبيقها. فبعد بيان كيف يمكن للذكاء الاصطناعي التوليدي تعزيز إنتاجية إعداد البنود، يتوقف النقاش عند الكيفية التي تصبح بها بعض الابتكارات ممكنة بفضله، متخذاً تقييم اللغات الأجنبية مثالاً على ذلك. ويجب أن تظل هذه العمليات خاضعة لسيطرة بشرية محكمة، وهي تنطوي عادةً على أنواع مختلفة من الذكاء الاصطناعي.
تعزيز إنتاجية تصميم البنود
منظمة التعاون الاقتصادي والتنمية: تعمل أدوات كثيرة للذكاء الاصطناعي بفاعلية كبيرة في التقييم، بل أحياناً أفضل من الذكاء الاصطناعي التوليدي. غير أننا نريد استكشاف الإمكانات الجديدة التي يمكن للذكاء الاصطناعي التوليدي أن يتيحها. ونحن مهتمون بمجالين رئيسيين: كيف يمكن للذكاء الاصطناعي التوليدي المساعدة في أداء مهام التقييم التقليدية بفاعلية أكبر، كتوليد البنود للتقييمات المعيارية، وكيف يمكنه إتاحة تقييمات مختلفة وأفضل. فلعلنا نبدأ بالجانب الأول؟
ألينا فون دافيير: في مجال التقييم، نستخدم في دولينجو الذكاء الاصطناعي من البداية إلى النهاية، لكن ليس بمعزل عن غيره؛ فهو يسهم في عملياتنا فحسب. فعلى سبيل المثال، نستخدم الذكاء الاصطناعي التوليدي لتوليد البنود على نطاق واسع بعد أن يصمم الخبراء البشريون نماذجها الأولية. ويتعاون خبراء المحتوى مع مهندسي الذكاء الاصطناعي والمختصين في القياس النفسي خلال مرحلة التصميم لضمان أن يكون تصميم النوع الجديد من البنود قابلاً للتطبيق في البيئات التشغيلية. وبمجرد اكتمال التصميم الأولي للبند وشعورنا بالارتياح إليه، يحدد مهندسو الذكاء الاصطناعي وعلماؤه طريقة العرض المرغوبة للبنود في التقديم الإلكتروني، ويعدون نصوصاً برمجية تولد بنوداً متعددة على نطاق واسع. وبعد ذلك، يراجع خبراء بشريون البنود من حيث الجودة والإنصاف والملاءمة للتطبيق على مستوى عالمي. وقد أصبحت هذه عملية سائدة. وأنشأنا «مصنع البنود»، وهو نظام متكامل يتعاون فيه البشر والآلات. ودعوني أؤكد أن ثمة قدراً كبيراً من العمل في البداية؛ فالأمر يتطلب مستوى عالياً جداً من الخبرة وجهداً كبيراً حين تُعد نظاماً للذكاء الاصطناعي التوليدي لنوع معين من البنود أول مرة. وهنا يكمن العمل الرئيسي: في الإعداد وتحديد ما ينجح وما لا ينجح. لكن بمجرد اكتمال هذا الإعداد، تتضاعف الفاعلية عشر مرات مقارنةً بالإعداد البشري، وهو أمر مذهل من حيث السرعة والتكلفة. ونحن لا نزال متحفظين جداً، ونواصل الاستعانة بالبشر لمراجعة كل بند على حدة، لكننا نخطط لاستكشاف كيفية جعل ذلك أكثر كفاءة.
تحسين تقييم مهارات الكتابة والتحدث
منظمة التعاون الاقتصادي والتنمية: بعيداً عن تعزيز إنتاجية تصميم التقييمات التقليدية، كيف يمكننا استخدام الذكاء الاصطناعي التوليدي للابتكار في طرق تقييم معارف الناس ومهاراتهم؟
ألينا فون دافيير: في اختبار دولينجو للغة الإنجليزية، لدينا مثلاً تطبيقان آخران للذكاء الاصطناعي التوليدي: أحدهما لمهمة كتابة، والآخر لمهمة تحدث. ففي أبريل 2024، أطلقنا مهمة كتابة جديدة تعمل على النحو التالي: نقدم موضوعاً، كقولنا: «يرجى الكتابة عن الموضوع كذا، ولديك كذا من الدقائق»، وبعد أن يكمل المختبَرون المهمة، يتدخل الذكاء الاصطناعي في الوقت الفعلي، فيحلل النص المكتوب حتى تلك اللحظة ويقارنه بمجموعة من المحاور التي أعددناها لذلك البند تحديداً. ثم يعمل الذكاء الاصطناعي بوصفه قريناً أو أستاذاً، مقترحاً مواصلة الكتابة بتغطية موضوعات فرعية جديدة، كأن يسأل: «هل يمكنك أيضاً الكتابة عن هذا؟». ولم يكن هذا النوع من القدرة التفاعلية ممكناً لمثل هذا البند قبل الذكاء الاصطناعي التوليدي؛ فهو يتيح محاكاة أقرب لمهمة من الحياة الواقعية، مما يوفر أصالة أكبر، وهي مشكلة تعاني منها معظم التقييمات.
ومؤخراً، في يوليو 2025، أطلقنا مهمة تحدث تفاعلية وتكيفية، يتحاور فيها المختبَر مع عامل ذكي. ويتمثل الجانب التوليدي أساساً في توليد أقوال العامل. ومع أنه ليس عاملاً حياً ومقيد تقييداً شديداً، فإنه يتيح لنا إيجاد التفاعلية، كما هو الحال في بند الكتابة. ويستخدم هذان المثالان الذكاء الاصطناعي التوليدي للتقييم بطريقة مختلفة عما كان من قبل، ولم يكن ذلك ممكناً دون هذه التقنية.
فمهمة الكتابة لا تنطوي إلا على تدخل واحد من الذكاء الاصطناعي؛ إذ تتلقى موضوعاً، وتكتب، ثم يتدخل الذكاء الاصطناعي ويطلب منك الكتابة أكثر عن موضوع محدد. أما مهمة التحدث فهي محادثة تنطوي على تفاعلات متعددة، وإدارة هذه التفاعلات المتعددة هي ما يجعلها صعبة. فالصعوبة تكمن في أن الذكاء الاصطناعي يحتاج إلى أن يكون مدمجاً بحيث «يفهم» ما يقوله الشخص. وحين يكون المختبَرون غير ناطقين أصليين باللغة المختبرة، أي أن لهم كل أنواع اللكنات والقدرات، يُبذل عمل كثير لضمان قدرة الذكاء الاصطناعي على فهم كلام كل شخص وتقييمه ثم اختيار الرد الملائم له. ولذلك فتطبيقها أصعب بكثير في الواقع من مهمة الكتابة. وعلى حد علمي، هذه أول مرة يتضمن فيها تقييم عالي المخاطر يخضع له ملايين المختبَرين مهمة تحدث تفاعلية وتكيفية كهذه.
منظمة التعاون الاقتصادي والتنمية: ما الغرض من هاتين المهمتين؟ وما الذي تريدون تقييمه أو تحقيقه؟
ألينا فون دافيير: كما ذكرت سابقاً، هاتان المهمتان مثالان على شيء لم يكن تحقيقه ممكناً من قبل. ونحاول تحقيق هدفين رئيسيين بهذه المقاربة: الأصالة ودعم المختبَرين. فمن قبل، كان يمكنك الاكتفاء بقول: «اكتب لمدة عشر دقائق»، بدلاً من تقييم ما كتبوه في منتصف المهمة ثم تشجيعهم على الكتابة أكثر. والفرق الجوهري هنا أن الناس في الحياة الواقعية كثيراً ما تُراجع كتاباتهم ويتلقون مقترحات حول كيفية المضي قدماً.
ولنأخذ مهمة الكتابة. أولاً، نعتقد أن ذلك يجعل المهمة أقرب إلى مواقف الحياة الواقعية؛ ففي الكلية أو الجامعة مثلاً، يراجع أحدهم كتابتك، ويقدم تغذية راجعة، ويطلب منك التوسع فيها، ونحن نفعل الشيء ذاته، وهذا هو جانب التفاعلية. وثانياً، نسعى أيضاً إلى مساعدة المختبَرين. فحين نقدم الموضوع الأولي لمهمة الكتابة، كثيراً ما تكون له اتجاهات كتابة محتملة متعددة، ونريد تشجيع المختبَرين على تغطية جوانب أخرى لم يتناولوها بعد، بما يساعدهم على أن يصبحوا كتّاباً أفضل ويمنحهم فرصة لإظهار قدرتهم على الكتابة عن موضوعات مختلفة. وفي النهاية، ما نقيّمه هو جودة كتابتهم بالإنجليزية بوصفها لغة أجنبية.
أما مهمة التحدث، فلا يوجد حالياً أي اختبار عالي المخاطر آخر يستخدم التحدث التفاعلي المدعوم بالتقنية حصراً. ففي السابق، كانت الاختبارات تقدم موضوعاً فتستمع وتجيب، ثم تستمع إلى شيء آخر وتجيب، لكن ذلك لم يكن تفاعلياً ولا تكيفياً. أما مهمتنا فتكيفية وتفاعلية معاً؛ فإذا لم يكن مستوى إتقان المختبَر للإنجليزية مرتفعاً جداً مثلاً، سيتكيف العامل الذكي وينخرط في محادثة أبسط، وهذا ببساطة لم يكن ممكناً من قبل. والاختبار الوحيد الآخر لإتقان الإنجليزية الذي يتضمن مقابلة حقيقية بتبادل للحديث هو اختبار IELTS، لكنهم يجرونها مع بشر؛ فعليك بوصفك مختبَراً أن تحدد موعداً، وتسافر إلى مركز اختبار، وتتحدث مع إنسان. ونحن نحاول الحفاظ على تلك المحادثة مع الاستغناء عن الأعباء اللوجستية المرتبطة بالسفر إلى مركز. فسفر المختبَرين إلى مركز وخضوعهم لاختبار يجريه محاورون بشريون عملية مكلفة وصعبة للغاية. واختبارنا متاح باستمرار، يمكن أداؤه في أي وقت وأي مكان، ولذلك فإن الحل القائم على التقنية أنسب لنموذج التقديم هذا. فضلاً عن ذلك، للبشر مشكلاتهم الخاصة، كأثر الهالة مثلاً: فإذا أجاب المختبَر إجابة جيدة عن سؤال ما، قد ينقل الممتحن هذا الانطباع الإيجابي إلى تقييم الأسئلة التالية.
منظمة التعاون الاقتصادي والتنمية: ما مستوى فاعلية هاتين المهمتين؟ أفترض أنكم اختبرتم أداءهما لدى المختبَرين: هل تعملان جيداً؟ وكيف تقارنان بالمقيّمين البشريين؟ وأخيراً، كيف تجمعون بين الذكاء الاصطناعي التقليدي والذكاء الاصطناعي التوليدي في هذا السيناريو المقيد جداً، في ضوء متطلباتكم كالتكيف وربما توسيع موضوعات المحادثة؟ كيف يعمل ذلك؟
ألينا فون دافيير: بعد الإعداد، يكون توليد هذه المهام على نطاق واسع فعالاً للغاية. فضلاً عن ذلك، فإن الجودة متميزة، ولا يستطيع الخبراء التمييز بينها وبين المهام التي يولدها البشر.
أما سؤالك الثاني، فالعمل الذي نقوم به لا يقتصر على الذكاء الاصطناعي التوليدي؛ إذ تُستدعى أيضاً أنواع أخرى من نماذج الذكاء الاصطناعي والنماذج السيكومترية. فالذكاء الاصطناعي التوليدي وبرامج الذكاء الاصطناعي الأخرى تعمل معاً. ونحن نكتب نماذج ونصوصاً برمجية، ولدينا نصوص كثيرة تستدعي الذكاء الاصطناعي والذكاء الاصطناعي التوليدي لتطبيقات مختلفة. وعلى الناس أن يدركوا أن الذكاء الاصطناعي التوليدي مجرد نوع واحد، وأننا نستخدم أنواعاً أخرى كثيرة أيضاً.
ولننظر في مهمة التحدث المحددة التي وصفتها آنفاً. فبعض أجزائها لا يمكن إنجازه إلا بالذكاء الاصطناعي التوليدي، كفهم ما يقوله الشخص وتقييمه بسرعة في الوقت الفعلي. ثم إن جعل العامل يختار الإجابة الصحيحة ويقدم الرد المنطوق الملائم للمختبَر، ضمن بقية النصوص البرمجية، ليس عملية قائمة على الذكاء الاصطناعي التوليدي وحده، بل تشمل القياس النفسي أيضاً. لذا ثمة مكون لا يستطيع التعامل معه إلا الذكاء الاصطناعي التوليدي، لكن ثمة أجزاء أخرى تنفذها أنواع أخرى من الذكاء الاصطناعي والقياس النفسي، ومن هنا جاء مسمى القياس النفسي الحاسوبي. وفي مهمة الكتابة، وبالنطاق الذي نعمل به، لا يمكن أن تتم القراءة الآنية للنص إلا بالذكاء الاصطناعي التوليدي. غير أن كل ما وصفته مضمَّن في نصوص وبرامج أخرى؛ فالذكاء الاصطناعي التوليدي لا يُستخدم عملية مستقلة نكتفي فيها بإعطائه أمراً نصياً وقول «افعل هذا». بل لدينا نص برمجي يصمم الأمر النصي ثم يغذي به الذكاء الاصطناعي التوليدي، وهي عملية متقنة إلى حد كبير. ولهذا ذكرت أن «الإعداد» يتطلب قدراً كبيراً من الخبرة والوقت.
منظمة التعاون الاقتصادي والتنمية: إذن ما الخطوة التالية بعد مهمتي الكتابة والتحدث؟ هل تفضي إلى مهمة أخرى أم إلى درجة؟ وهل تمنحون المختبَرين درجاتهم بالذكاء الاصطناعي؟
ألينا فون دافيير: نعم، يتم التصحيح بالذكاء الاصطناعي والقياس النفسي، لكن باستخدام تعلم الآلة لا الذكاء الاصطناعي التوليدي. ففي تصحيح مهمة التحدث، ثمة مكون واحد يعتمد على الذكاء الاصطناعي التوليدي، هو تقييم النطق. ونحن نوظف أشكالاً متعددة من الذكاء الاصطناعي، لا النماذج اللغوية الكبيرة وحدها؛ فنستخدم مثلاً نظاماً للتعرف الآلي على الكلام لمعالجة الأصوات، وتقنيتي تحويل النص إلى كلام والكلام إلى نص. لذا، نعم، نستخدم الذكاء الاصطناعي بالفعل في التصحيح، بل وحتى في المراقبة خلال الاختبار، وهذا ما قصدته بعبارة «من البداية إلى النهاية». غير أننا نستخدم أيضاً نماذج سيكومترية للحصول على الدرجة النهائية وتقييم ثبات الدرجات وصدقها.
ومهمتنا الكبرى التالية التي تنطوي على الذكاء الاصطناعي التوليدي ستكون تقديم التغذية الراجعة، بدءاً بالكتابة. وهذا جاهز تقريباً، لكنه مخصص أساساً للجزء التدريبي من الاختبار. ومن التحسينات المرغوبة الأخرى تخفيف بعض القيود المفروضة على عامل التحدث الذكي، لكن علينا أن نكون واثقين من أننا نحافظ على قابلية المقارنة، وهي أمر بالغ الأهمية في الاختبارات المعيارية. فإذا سمحت لنموذج لغوي كبير بالعمل مستقلاً، فإنك تخاطر بفقدان قابلية المقارنة؛ إذ تحصل مرة على رد، وفي المرة التالية على رد مختلف. ومع أن ذلك مقبول في بعض السياقات، فإنه لا يلائم الاختبارات العالية المخاطر، ولهذا وضعنا هذه القيود. ويمكننا بطبيعة الحال تعديلها أو تخفيفها لجعل الاختبارات أكثر أصالة، لكننا ما زلنا بحاجة إلى الحفاظ على الدقة وقابلية المقارنة اللازمتين لامتحان عالي الجودة.
التقييم العالي المخاطر والخطوات التالية
منظمة التعاون الاقتصادي والتنمية: تحديداً، بالنسبة إلى الاختبارات العالية المخاطر، دارت نقاشات مكثفة حول تصحيح الامتحانات والأوراق. ويبدو أن الذكاء الاصطناعي «التقليدي» يؤدي أفضل من الذكاء الاصطناعي التوليدي من حيث الدقة والاتساق. ويبدو أن الناس يرون أن تعلم الآلة الأقدم يميل إلى أن يكون أدق لكنه أقل مرونة؛ إذ يتطلب وقتاً ومالاً كثيرين للتدريب، وإذا غيرت المهمة فغالباً ما يتعين عليك البدء من جديد وإعادة العمل. أما مع الذكاء الاصطناعي التوليدي، فلا تخسر الوقت ذاته لأنه يتكيف مع السياقات الجديدة على نحو أفضل بكثير، لكنك قد لا تحقق المستوى ذاته من الدقة. ويعني ذلك أنه إذا لم يكن السيناريو عالي المخاطر فالأمر مقبول تماماً، أما إذا كان عالي المخاطر فعليك التفكير ملياً في مقاربتك. فهل توافقين على هذا التقييم؟ وهل تعتقدين أن ذلك مرجح أن يتغير؟ وما تجربتك؟
ألينا فون دافيير: أولاً، دعوني أقول إن الأهم هو معرفة كيفية استخدام الذكاء الاصطناعي التوليدي على النحو الصحيح. فمجرد استخدام أمر نصي خطر لأحدهم ذات صباح لن يفضي إلى تقييم جيد الجودة؛ الأمر لا يعمل هكذا. بل على المرء أن يفكر بعناية ويخطط.
فالناس يأملون أنهم إذا قالوا فقط: «افعل هذا من أجلي»، فسيفعله على أكمل وجه، لكن الأمر ليس كذلك. وعلينا أن نكون حذرين جداً حين يطلق الناس ادعاءات مفرطة في الإيجابية أو السلبية، فلنأخذها بتحفظ، لأن معظم الناس ربما لم يكتسبوا خبرة كافية مع الذكاء الاصطناعي التوليدي. هذه هي ملاحظتي الرئيسية الآن. فكثيرون يظنون أنه سهل وحواري، لكنه ليس بهذه البساطة حين يتعلق الأمر بامتحانات عالية الجودة. ويمكن للمرء أن يحصل على طيف كامل من جودة المخرجات من الذكاء الاصطناعي التوليدي بحسب ما إذا كان يوجهه على النحو الصحيح أو يبنيه بطريقة سليمة. وحين أدرّس استخدام الذكاء الاصطناعي التوليدي في توليد البنود، أنصح الناس بمبدأ «فرّق تَسُد»، وأعني بذلك ألا يحاولوا إنجاز كل شيء بأمر نصي واحد. فلنفترض أن المرء يحتاج إلى نص تقييمي تليه أسئلة لطلبة الصف الثامن؛ فلا ينبغي أن يضع ذلك كله في أمر نصي واحد، إذ لن تكون النتيجة جيدة جداً. وأقترح أن يُقسم العمل: أولاً يُولد النص، ثم يُراجع للتأكد من جودته، وحين يطمئن المرء إليه يُعد الأسئلة. وهذه المقاربة تنجح على نحو أفضل بكثير، لكنها لم تنتشر بعد. فكثيرون يحاولون وضع كل شيء في أمر نصي واحد، ولا يجربون أكثر، ثم يزعمون أنه لا يعمل جيداً. لذا أقول: احذروا واطرحوا مزيداً من الأسئلة إزاء الادعاءات المتطرفة، إيجابية كانت أم سلبية.
منظمة التعاون الاقتصادي والتنمية: إنها ملاحظة مثيرة للاهتمام، لأن ثمة أدبيات بحثية جديدة حول عدد الأوامر النصية اللازمة لتحقيق جودة مماثلة للأنواع الأقدم من التصحيح القائم على تعلم الآلة.
ألينا فون دافيير: في التصحيح، نستخدم نماذجنا الخاصة لتعلم الآلة، وأحياناً مع بعض المكونات التوليدية. ونستخدم نماذجنا الخاصة، لكن همنا الأكبر، الذي يعادل في أهميته الدقة، هو قابلية المقارنة. فإذا صحح الذكاء الاصطناعي التوليدي المقالة ذاتها بطريقة ما في وقت، وبطريقة مختلفة في وقت آخر، فإن ذلك يمس قابلية المقارنة وقابلية التكرار، وهما أمران حاسمان لتقييم موثوق. وقد يكون الذكاء الاصطناعي التوليدي دقيقاً أحياناً، لكن ذلك يتوقف مرة أخرى على طريقة استخدامه. فإذا كان المرء يستكشف مثلاً استخدام الذكاء الاصطناعي التوليدي في تصحيح المقالات، وزوّده بسلم تقدير جيد جداً، هو ذاته الذي يعطيه للبشر، وبأمثلة أكثر قليلاً مما يقدمه عادةً، فأعتقد أنه يستطيع أداء عمل جيد إلى حد كبير. غير أن ذلك يتوقف على تعقيد المهمة والغرض من الدرجات، ويتفاوت. وصحيح أن جميع هذه التطبيقات لا تزال خاصة بالمهمة في التوليد والتصحيح على السواء؛ فمع إمكانية إعادة استخدام بعض الأجزاء، يكون النموذج الرئيسي عموماً خاصاً بالمهمة، ويحتاج المرء إلى اختباره مجدداً ليرى ما إذا كان يصلح لمهام أخرى.
كما ندمج فحوصاً عديدة لاحقاً، بمرشحات متعددة لضمان عدم إصدار أي شيء ما لم يكن جيداً بما يكفي. ولدينا أدوات آلية لمراقبة جودة تقييماتنا؛ فأول أداة بنيناها تسمى AQuAA، أي تحليلات ضمان الجودة في التقييم، وتدمج بعض نماذج تعلم الآلة وكثيراً من القياس النفسي. وهي تعمل نظاماً للإنذار يحلل البيانات باستمرار فور ورودها، فإذا حدث أي شيء غير معتاد، نتلقى تنبيهاً يدفعنا إلى التحقيق فيما يجري. ولدينا نظام آخر أحدث يسمى AQuAP، أي تحليلات ضمان الجودة لبنوك البنود، يعمل هو الآخر في الخلفية، ويراقب البنود لضمان ألا تصبح فجأة أصعب أو تُظهر سلوكيات غير معتادة أخرى داخل البنك. وهذه أيضاً أداة آلية تعتمد اعتماداً كبيراً على تعلم الآلة. ونعمل كذلك على تطوير أداة تسمى AQuATT خاصة بالمختبَرين، ستركز على مستوى المختبَر.
منظمة التعاون الاقتصادي والتنمية: شكراً جزيلاً على مشاركتنا كيف يسهم الذكاء الاصطناعي والذكاء الاصطناعي التوليدي في التقييمات الحالية.
ألينا فون دافيير: بكل سرور. إذا زرتم موقع اختبار دولينجو للغة الإنجليزية، ستجدون ما يسمى مركز التدريب، فألقوا نظرة لتروا كيف تبدو هذه البنود. فكل ذلك مجاني ومتاح، ويمكن لكل من يهتم بمعرفة المزيد أن يطلع عليه.
