كيف أتحقق من أن أسئلة الاختبارات القصيرة والامتحانات المولَّدة بالذكاء الاصطناعي جيدة فعلًا؟

ترجمة آلية للصفحة الإنجليزية، لم يراجعها بعد متحدث أصلي.

تطلب عشرين سؤالًا من ملاحظات محاضراتك. فتأتي بمفاتيح إجابات وشروح وتصنيفات صعوبة وفئات من تصنيف بلوم (Bloom)، في مستند منسَّق يبدو مكتملًا. واسمك على وشك أن يوضع عليه.

جواب قصير تعطيه لزميل: الأسئلة المولَّدة مرشّحات لا تقييم. حُلّ كل سؤال بنفسك، وافحص ما يطلبه البند من الطالب أن يفعله فعلًا، واعرف كيف يستجيب الطلاب له قبل أن يُحتسب. وفي أكبر دراستين في قاعدة المعرفة هذه، الإشارة المثيرة ليست أن التوليد يعمل، بل أين يفشل. أنتج التوليد التكراري داخل سير عمل خاص بالمقرر امتحانات اختيار من متعدد صالحة للاستخدام في 71 صفًا جامعيًا (Isley وآخرون، 2025). وفي تدقيق لعلوم البيانات على 311 سؤالًا مُستخدَمًا، تبعت تصنيفات النموذج للصعوبة مستويات بلوم التي ولّدها إلى جانبها شبه تام (Spearman ρ = 0.90) بينما تتبعت ما حصّله الطلاب فعلًا عند ρ = 0.06 (An وWang، 2026). فالتصنيف كان وصفًا للمطالبة، لا قياسًا للبند.

النسخة المختصرة

1. اكتب النتيجة المستهدفة والدليل الذي تقدّمه إجابة مرضية قبل أن تولّد أي شيء.

2. ابنِ مخططًا للتقييم (blueprint) لترى أي النتائج تخدمها المجموعة وبأي تكرار.

3. حُلّ كل بند بنفسك قبل أن تثق بالمفتاح، واقرأ الشرح كادعاء يحتاج فحصًا.

4. اسأل ما يجب على الطالب أن يفعله للإجابة. فسؤال يقول "حلّل" ويتطلب تذكّرًا هو سؤال تذكّر.

5. تعامل مع تصنيفات الصعوبة كبيانات وصفية للمطالبة، لا كقياس سيكومتري.

6. جرّب البنود تجريبًا وافحص كيف تؤدي وظيفتها، ثم راجع الضعيف منها.

ابدأ بالتعلّم الذي تريد دليلًا عليه

التوليد رخيص بما يكفي ليصير شكل المخرَج هو المواصفة بهدوء. فإن أنتجت ملاحظاتك بنود اختيار من متعدد أنيقة، فستنتهي إلى قياس قدرة الطلاب على الاختيار بين عبارات معقولة، أيًّا كانت النتيجة التي يعلنها المقرر.

حدّد النتيجة أولًا، ثم الدليل الذي تقدّمه إجابة مرضية، ثم المعرفة التي يُتوقع من الطلاب الإتيان بها. وأدرج مواد المقرر، والمفاهيم الخاطئة التي تتوقعها، وأي أدوات مسموحة، وصيغة الإجابة. فإن أردت أن يفسّر الطلاب أدلة، فعلى البند أن يتطلب تفسيرًا، وإضافة الكلمة إلى سؤال تعريف لا تفعل ذلك. والسيناريو الطويل قد يبقى قابلًا للإجابة عبر عبارة مألوفة واحدة تكشف الحل.

ومخطط التقييم جدول يقابل النتائج بالبنود، وقيمته أنه يكشف الفجوات قبل الطلاب. وهو أيضًا يجعل المقايضة مرئية: كل بند تولّده من أسهل المواد هو بند لم تنفقه على النتيجة التي تهمّك أكثر.

راجع كل بند على ستة أبعاد

ابدأ بالمفتاح. هل هو قابل للدفاع مقابل محتوى المقرر المعتمد، وهل يصمد الشرح حين تفحصه باستقلال؟ فالمفتاح والشرح كثيرًا ما يأتيان من الخطوة المعيبة نفسها، وفحص أحدهما لا يفحص الآخر.

ثم اسأل ما تتطلبه الإجابة فعلًا من الطالب بين القراءة والاختيار. وهنا تفشل البنود المولَّدة أكثر ما تفشل، وهنا يكون التصنيف أقل موثوقية.

وافحص المواءمة بعد ذلك: هل تقدّم الإجابة دليلًا على النتيجة المقصودة، أم على شيء مجاور وأسهل تقييمًا؟

واقرأ الصياغة كما يقرأها طالب. هل المعلومات اللازمة موجودة، وهل أُزيل الغموض غير المتصل بمفهومك؟

وانظر إلى الخيارات وقواعد التنقيط معًا. هل المشتِّتات معقولة ومتميزة بعضها عن بعض وعن المفتاح، وهل يعترف المفتاح بالإجابات البديلة المشروعة التي تمنحها معاييرك الدرجة؟

وأخيرًا اسأل من يستبعده البند. فعبء القراءة والسياق الثقافي والرسوم والتنسيق قد تفرض مطالب غير متصلة بالنتيجة. ولطالب متعدد اللغات أو ذي إعاقة، فالبند الذي يكافئ القراءة السريعة يقيس شيئًا لم تقصده، وأداء المجموعات الفرعية هو حيث يظهر ذلك.

وقد يساعدك نموذج ثانٍ على رصد المشكلات، والتوافق بين نموذجين ليس تحققًا مستقلًا من الصحة. فهما يتشاركان بيانات التدريب وأنماط الفشل. حُلّ البند، ثم اطلب من شخص مؤهل أن ينظر في البنود التي ستُحتسب.

لا تدع تصنيف الصعوبة يقرّر

أدبيات توليد الأسئلة أنفع في فشل التصنيفات منها في نجاح التوليد. فحص An وWang (2026) 378 سؤالًا مؤلَّفًا في مقررات علوم البيانات، منها 311 استُخدمت مع 54 طالبًا عبر 7,888 إجابة. وارتبطت تصنيفات النموذج (سهل، متوسط، صعب) بمستويات بلوم التي ولّدها معها عند ρ = 0.90، وارتبطت بصعوبة البند التجريبية عند ρ = 0.06. ونحو 70% من البنود المستخدمة أجاب عنها كل الطلاب إجابة صحيحة، وهذا لم يترك تباينًا يكاد يتتبعه تصنيف الصعوبة حتى من حيث المبدأ.

وينتج عن ذلك درسان. الأول أن الصعوبة خاصية للتفاعل بين بند وجماعة، فلا يمكن الوثوق بأي تصنيف يُنتج قبل تطبيق البند كقيمة مقيسة. والثاني أن بنك بنود يجيب عنها الجميع إجابة صحيحة ليس تقييمًا سهلًا، بل تقييمًا عديم النفع: فهو يحمل معلومات تكاد تكون منعدمة عن من يعرف ماذا.

والحالة الإيجابية أضيق من ادعاءات البائعين وتستحق أن تُعرف بدقة. ولّد Isley وآخرون (2025) امتحانات اختيار من متعدد من عشرة أسئلة لـ71 صفًا جامعيًا، ونحو 1,200 طالب، بحلقة تولّد كل بند وتحكم عليه وتراجعه بشرط مواد كل مقرر التي يقدمها مدرّسه، ثم قارنوا البنود بامتحانات مؤلَّفة بشريًا. فذلك سير عمل فيه مراجع بالداخل، يُشغَّل لكل مقرر، لا مطالبة واحدة على محتوى عام. والدعم يخصّ سير العمل في تلك الظروف، ولا يمتد إلى ما ينتجه النموذج نفسه من لصق ملاحظات غير محرَّرة.

أدر دورة: توليد، مراجعة، تجريب، مراجعة

ولّد مقابل مخطط، واطلب النتيجة المقصودة، والمفتاح، وحلًّا موجزًا، والمفهوم الخاطئ الذي يُفترض أن يلتقطه كل مشتِّت. والتعليقات تجعل التصميم قابلًا للفحص. وهي ليست دليلًا على سلامة التصميم.

وأصلح قبل أن تتراكم. احذف الادعاءات غير المسنودة، والبنود المكرّرة، والإشارات العَرَضية في نص السؤال، والمفاتيح المتعددة القابلة للدفاع، والتعقيد غير المتصل بالمفهوم، وسجّل ما غيّرته، لأن نمط الإصلاحات يخبرك أي جزء من المطالبة يجب إصلاحه.

وجرّب حيث يكون التجريب متناسبًا. فالتدريب منخفض المخاطر، أو تجربة مُدارة داخل التقييم، يعطيك بيانات استجابات. وأخبر الطلاب كيف يبلّغون عن سؤال غامض أو خاطئ واقرأ تلك البلاغات، فهي أكثر إشارات الخطأ إفادة عندك.

ثم افحص كيف تؤدي البنود وظيفتها: نسبة من أجاب إجابة صحيحة، وأي المشتِّتات تجذب الاستجابات، وهل يسير النجاح في البند مع الأداء في بقية التقييم. والبند الذي يفشل فيه الطلاب الأقوياء وينجح فيه الضعفاء عيب لا سؤال صعب. وفي صف صغير تكون هذه الإحصاءات غير مستقرة، فاجمعها مع مراجعة المحتوى وشروح الطلاب بدلًا من معاملة نسبة مئوية كحكم نهائي.

وراجع، واحفظ السجل: النسخة المعتمدة، والنتيجة التي تخدمها، والمفتاح، والمبرر، وملاحظات المراجعة، وتاريخ التطبيق. ولبنوك الأسئلة الكبيرة أو عالية المخاطر، هذا هو موضع اختصاصيي التقييم والطرائق السيكومترية السليمة، وخبرة القياس ليست شيئًا تقوم قراءة متأنية مقامه.

كيف يبدو هذا في مقرر

في مقرر تمهيدي في علم الاجتماع قد تكون النتيجة التمييز بين تفسير بنيوي وتفسير فردي. والبند الضعيف يطلب من الطلاب تعريف "بنيوي"، وهو يقيس التعرّف على المفردات. والمرشّح الأقوى يعطي سيناريو قصيرًا عن أسرة وقرار توظيف، ثم يسأل أي تفسير يحدّد قيدًا بنيويًا على أفضل وجه، بمشتِّتات تمثّل تفسيرات معقولة لكنها مختلفة.

ويتحقق المدرّس من أن السيناريو يسند المفتاح فعلًا، وأن أي خيارين لا يعبّران عن الفكرة نفسها، وأن الإجابة لا تعتمد على مصطلحات لم يقدّمها المقرر. وسؤال متابعة من سطر واحد، "أي تفصيل يسند اختيارك؟"، يُظهر الاستدلال الذي يخفيه الخيار المختار. والتكييف غير مختبر كصيغة بند، وقيمته أضيق: أسئلة المراجعة أعلاه يمكن الإجابة عنها قبل تطبيق البند، ويمكن إصلاح مفتاح خاطئ قبل أن يراه الطلاب.

وللطلاب الذين يولّدون أسئلة تدريب خاصة بهم، تنطبق القاعدة نفسها على مستواهم: حاول حلّ البند، وافحص الشرح مقابل مصادر المقرر، وأحضر الحالات التي لا تُحلّ إلى من يعرف الموضوع. والتدريب على الدراسة الذي يعلّم الطلاب قبول المفاتيح المولَّدة بلا نقد يعلّم العادة الخاطئة.

ما سيعود إليك

"أعطى إجابة وشرحًا." كلاهما قد يكرّر خطأً واحدًا، والشرح يولّد الثقة تحديدًا لأنه فصيح. تحقّق من الاستدلال مقابل موادك، لا مقابل إعادة صياغته هو.

"هذه أسئلة تدريب فقط." التدريب يعلّم المفاهيم الخاطئة حين تمرّ المفاتيح الخاطئة دون تصحيح، ويتدرّب الطلاب على الخطأ كما يتدرّبون على الإجابة الصحيحة. انخفاض المخاطر يغيّر مقدار المراجعة المتناسب. ولا يغيّر هل الدقة تهمّ.

"الطلاب أحبّوا الاختبار." المتعة دليل عن التجربة. فالاختبار السهل الذي ينهيه الجميع بارتياح يبدو جيدًا ويقيس قليلًا، وقد وجد تدقيق علوم البيانات أن شيوع البنود لم يصحبه أي إشارة صعوبة قابلة للاستخدام.

"المعايير أو وسوم بلوم تُظهر أنه يحقق النتائج." وسوم بلوم التي تقدّمها خطوة التوليد نفسها هي أقل الأدلة استقلالًا. وρ = 0.90 مقابل الوسوم وρ = 0.06 مقابل أداء الطلاب هو بالضبط شكل ذلك حين يُقاس.

ما يمكنك فعله هذا الأسبوع

1. اختر نتيجة واحدة واكتب الدليل الذي تقدّمه إجابة مرضية. ثم ولّد خمسة بنود مقابلها، طالبًا المفتاح والحل والمفهوم الخاطئ المقصود وراء كل مشتِّت.

2. حُلّ الخمسة دون النظر إلى المفاتيح، وسجّل ما تختلف فيه أنت والنموذج.

3. اطلب من زميل أن يفحص أقوى المرشّحين من حيث المواءمة والغموض، واحذف كل ما لا يستطيع أي منكما الدفاع عنه.

4. جرّب الباقين مع متابعة قصيرة تسأل الطلاب أي تفصيل يسند اختيارهم.

5. سجّل ما غيّرته ولماذا، ليبدأ الدفعة التالية من مطالبة أفضل لا من المطالبة نفسها.

إلى أين تذهب بعد ذلك

توليد الأسئلة هو صفحة المفهوم لطرائق التوليد وجودتها المقيسة، والقياس التربوي يغطي تحليل البنود والثبات والطرائق السيكومترية التي لا يشير إليها التجريب إلا إشارة. وكلاهما يقع تحت صدق التقييم، وهو المعيار الذي تخدمه الدورة كلها.

والجانب الحكمي من المشكلة نفسها ينتمي إلى التصحيح بالذكاء الاصطناعي، فبند جيد يُصحَّح تصحيحًا سيئًا ليس أفضل من بند سيئ يُصحَّح تصحيحًا جيدًا. وأما السؤال الأوسع عن ما ينبغي أن تمثّله الدرجة حين يستطيع الطلاب استخدام الذكاء الاصطناعي، فانظر إعادة تصميم التقويم في عصر الذكاء الاصطناعي.