יצירת שאלות אוטומטית

תרגום אוטומטי של העמוד באנגלית, שטרם נבדק בידי דובר/ת שפת אם.

יצירת שאלות אוטומטית (AQG) — השימוש בבינה מלאכותית, ובמיוחד ב-NLP ובמודלי שפה גדולים (LLMs), כדי לייצר אוטומטית פריטי הערכה חינוכית (רב-ברירה, תשובה קצרה, השלמת חסר, קוד ושאלות ביצוע) מחומר מקור או מיעדי למידה. AQG מאפשרת הערכה בקנה מידה — ייצור חידוני עיצוב, תרגילים מסתגלים ופריטי תרגול — אך האיכות משתנה מאוד בין סוגי הפריטים ודורשת אימות כדי למנוע שאלות מהולות או מכוילות בצורה גרועה. היא מרכיב ליבה של הערכה אוטומטית ומאפשר-מפתח של למידה מסתגלת ולמידה מותאמת אישית.

שאלות למחשבה

• יצירת שאלות אוטומטית מייצרת פריטי הערכה מחומר מקור בקנה מידה — אך העמוד מזהיר שהאיכות משתנה מאוד בין סוגי הפריטים. לפני קריאה, איזה סוג פריט לדעתכם בינה מלאכותית מייצרת באמינות הגדולה ביותר: רב-ברירה, תשובה קצרה, או קוד — ומדוע?
• האתגר המרכזי הוא בקרת איכות: LLMs יכולים לייצר שאלות שגויות מבחינה עובדתית. צינור אחד הפחית היווצרות-הולות ב-62% על ידי הוספת לולאת יצירה-ואז-אימות-ושיפור. מדוע לדעתכם בקשה מהבינה המלאכותית לאמת את השאלות שלה תשפר אותן באופן מהותי במקום רק לאשר בעל-פה את הפלט שלה?
• מחקר מראה ששאלות מיוצרות עלולות להטות לחשיבה ברמה נמוכה (זכירה) אלא אם כן תוכנו במפורש לתוצאות ברמה גבוהה. אם הייתם משתמשים בבינה מלאכותית לבניית פריטי תרגול, כיצד הייתם יודעים האם הם אימנו הבנה אמיתית או רק שינון?
• כיול קושי חשוב: הערכות קושי של בינה מלאכותית מתואמות היטב עם ביצועי הסטודנטים, אך העמוד מזהיר משימוש לרעה בשימוש בעל חשיבות גבוהה. מתי שאלה שבינה מלאכותית שופטת אותה 'קושי נכון' תהיה בכל זאת השאלה הלא-נכונה לשאול לומד מסוים?
• יצירה מודעת-נגישות בונה שאלות מכוונות ללומדים כבדי-שמיעה וכקשיי-שמיעה, ומשופרת בשותפות עם הקהילה היעד. מה הדוגשה מרמזת על מדוע יצירת שאלות אינה ניתנת לטיפול כבעיה טכנית-בלבד או תכנים-בלבד?

מבוא

יצירת שאלות אוטומטית חשובה מכיוון שיצירת פריטי הערכה ביד יקרה, ובינה מלאכותית יכולה לייצר אותם במהירות ובקנה מידה. עם זאת, המחקר של מאגר הידע מראה שפריטים מיוצרים חייבים להיות מאומתים לנכונות, רלוונטיות וקושי, ושסוגי פריטים שונים (MCQ, תשובה קצרה, קוד) משתנים באמינות הייצור שלהם. AQG נמצאת איפוא במפגש של בינה מלאכותית יוצרת, NLP חינוכי ומדידה חינוכית.

גישות ליצירת שאלות

המחקר של מאגר הידע ממחיש מספר גישות:

• צינורות יצירה-ואז-אימות: Generate-Then-Validate מציג לולאת יצירה → אימות → שיפור המפחיתה היווצרות-הולות של LLM ב-62% בהשוואה ליצירה ישירה, ומגיעה ל-89% דיוק במאגרי נתוני STEM ולשיפור של 23% ברלוונטיות. שלב האימות מסנן פריטים לא-חוקיים או באיכות נמוכה, ופריטים שנכשלו מפעילים יצירה מחדש עם הנחיות מתקנות.
• יצירה מבוססת-מעקב ידע: KT4EQG מייצר שאלות תרגול מותאמות-אישית בהנחיית מעקב ידע, ומתאים פריטים למצב הידע של כל לומד במקום לייצר שאלות גנריות.
• מסכות-הטעה קשורות-לתפיסה-שגויה כתוויות אבחנה: CoLearn (He et al., 2026) מקשר כל מסכת-הטעה לתפיסה שגויה בודדת שנכרתה ומסמן בדיוק אפשרות נכונה אחת, כך שהפריט מיוצר עם יעדי האבחנה שלו מובנים בו, ואז ניתן לדרגו באופן דטרמיניסטי ללא קריאת מודלי שפה גדולים (LLM) — כ-7.6 שניות ובערך \$0.005 לסיבוב בפריסה החיה של המחברים, לעומת כ-32 שניות ו-\\$0.015 לסיבוב תשובה-קצרה בדגימת-LLM. הקישור טוב רק כמו תוויות התפיסה-השגויה שמאחוריו, היות שתפיסות שגויות שנכרו תאמו את התפיסות היעד ב-F1 ≈ 0.56, ובחירות הפריטים שלו שירתו מיומנות חלשה באמת 0.72 מהזמן.
• יצירה מודעת-עומק-קוגניטיבי: הערכת העומק הקוגניטיבי של שאלות מיוצרות-LLM בודקת האם פריטים מיוצרים נוגעים בחשיבה ברמה גבוהה (יצירה, הערכה) או רק בשינון, ומתחברת לטקסונומיה של בלום ולמדידה חינוכית.
• בעיות-מקרה עם שגיאות מוטבעות להערכה חוזרת: Takahashi et al. (2026) יצרו בעיות היגוי אבחני היררכי (HDR) חדשות — מקרים קצרים הנושאים שגיאות מוטבעות בכוונה שהסטודנטים חייבים למצוא ולהסביר — ומצאו שפריטים שנכתבו על ידי GPT-4o תאמו פריטים שנכתבו על ידי בני אדם בעקביות פנימית (α של Cronbach = 0.78 לשניהם) ובקושי, כאשר מבחני Fisher המדויקים מצאו הבדל מובהק-סטטיסטית בהתפלגות הציונים על פני 100 משתתפים. הפורמט מצמד דרישת חשיבה ברמה גבוהה עם תגובה חסומה, כך שהתשובות מתכנסות והדירוג הופך לשחזיר-יתכן. המוטיבציה היוצרת היא שימוש חוזר בפריט: שימוש חוזר במקרה אחד מזמין זיכרון ושימוש חוזר בתשובות, בעוד שמקרים מיוצרים שווים-מבנית אך שונים-הקשר מדכאים הטיית-פריט במדידה חוזרת.
• צינורות פדגוגיים: יצירת שאלות ותשובות ממצגות משתמשת בצינור מרובה-שלבים ליצירת שאלות פדגוגית-נכונה מחומרי הקורס.
• יצירה מודעת-נגישות: Chen et al. מעצבים מערכת יצירת שאלות המונעת LLM עבור לומדים כבדי-שמיעה וכקשיי-שמיעה, ומציגים אסטרטגיות שאלות חזותיות ורגשיות המכוונות לרגעים של קושי חזותי או רגשי בוידאו, ומשכללים שאלות איטרטיבית עם הקהילה היעד כדי להבטיח נגישות לשונית.
• מערכות מבוססות-RAG עם אדם-בתמונה: CODE-GEN משלב יצירה מבוססת-שליפה עם סקירת אדם-בתמונה ליצירת הערכות רב-ברירה.
• בנצ'מרקים והערכה: NSMQ Riddles מספק בנצ'מרק של חידות מדעיות/מתמטיות להערכת מערכות יצירת שאלות והיגיון.

אימות ואיכות

האתגר המרכזי ב-AQG הוא בקרת איכות:

• העריכו את תהליך הפתרון, לא את הגזר (stem): ProIQA טוען שביקורת איכות פריט צריכה ללכת אחרי מה שמומחה עושה — לדמות את הפתרון — ובונה עץ היגיון מיוצר-LLM לכל פריט, שאומת לנכונות מתמטית ב-90.38–97.80%, ואז מקודד את מבנה התלות שלו עם רשת עצבית של גרף למידת מכונה לצד תצוגה של גזר-בלבד. היא מדווחת על שיפורי ממוצע של 7.5% בהערכת מושגים, 6.3% בהערכת קושי ו-19.5% בהערכת מיומנות, וניתוח השגיאות שלה מכנה מצב-כשל שיש לצפות בו: עץ היגיון נכון לוגית אך שטוח מבנית הופך פריט קשה לקל-למראה.

• סיכון היווצרות-הולות: LLMs יכולים לייצר שאלות שגויות מבחינה עובדתית. Generate-Then-Validate מראה שפאזת אימות ייעודית מפחיתה זאת בחדות, וסיכון היווצרות-הולות היא דאגה מוכרת לאורך כל העמוד.

• כיול קושי: שאלות מיוצרות חייבות להיות מכוילות לקושי מתאים. מחקר כיול-קושי מראה שהערכות קושי של בינה מלאכותית מתואמות היטב עם ביצועי הסטודנטים (למשל, rho ≈ −0.87), ומאפשרות בחירת פריטים טובה יותר — תוך אזהרה משימוש לרעה בעל חשיבות גבוהה. Razavi and Powers (2026) מרחיבים זאת לפריטי מתמטיקה וקריאה בכיתות K-5 (N = 5170) מכוילים תחת מודל IRT של ראש: דירוגי הקושי zero-shot של GPT-4o תואמו במידה בינונית-עד-חזקה עם הקושי האמיתי (r = 0.83 במתמטיקה, r = 0.81 בקריאה) אך השתנו לפי שכבה, בעוד שגישה מבוססת-תכונות — תכונות קוגניטיביות ולשוניות שחולצו על ידי LLM והוזנו למודלים מבוססי-עץ — הגיעו למתאמים של עד r = 0.87. חילוץ התכונות המובנה של המחקר (למשל, מורכבות תחבירית, עומס קוגניטיבי, ערמומיות מסכות-הטעה) ותהליך העבודה המעשי בן שבעת השלבים שלו מציעים תבנית לכיול פריטים מיוצרים, בעוד שממצא הגבלת-הטווח בשכבות המוקדמות ואזהרות ההכללה שלו מזהירים משימוש בעל חשיבות גבוהה.

• תוויות קושי מיוצרות יכולות להיות כשל תקפות-מבנה, לא שגיאת כיול. על פני 378 פריטים מיוצרים, תוויות Easy/Medium/Hard של המודל עקבו אחר רמת בלום שיוצרו איתן (ρ=0.90) ואחר הצורה השטחית — אורך ממוצע של הגזר עולה מ-15.9 ל-22.1 ל-30.2 מילים — אך תואמו עם קושי פריט אמפירי רק ב-ρ=0.06 על פני 7,888 תשובות מ-54 סטודנטים, והוא המקרה לכיול מטאדאטה מיוצרת מול נתוני תגובה במקום לסמוך על תגיות שיוצרו-איתן (An & Wang (2026)).

• אימות פסיכומטרי בשטח בקנה מידה גדול: הערכת בחינות מיוצרות-AI מאמת צינור AQG של שיפור איטרטיבי (יצירה→שיפוט→עדכון, בסגנון Self-Refine) ב-91 כיתות אמיתיות בקולג' (~1,686 סטודנטים). ניתוח IRT היררכי-בייסיאני מסוג 2PL IRT מראה ששאלות מיוצרות-AI מתפקדות ברמה של פריטים בבחינות סטנדרטיות שנכתבו על ידי מומחים — קלות מעט יותר (β̄ = −0.45 לעומת 0.35) אך מבדילות מעט יותר (ᾱ = 1.3 לעומת 1.2), עם מידע-בחינה שיאי גבוה יותר (מהימנות 0.79 לעומת 0.72) — ומדגים ש-AQG יכולה לייצר הערכות מכוילות-קורס ונשמעות פסיכומטרית בקנה מידה.

• שוויון פסיכומטרי ממוצע יכול להסתיר ליקויים ברמת-הפריט: סקירת היקף של 153 דוחות חינוך רפואי מצאה שייצור פריטים על ידי AI תאם לעיתים קושי והבחנה אנושיים, אך בהשוואה אחת בפיזיולוגיה רק 9 מתוך 40 פריטים של ChatGPT עמדו בכל הקריטריונים האידיאליים לעומת 19 מתוך 40 פריטים של הפקולטה (Zhao et al. (2026)).

• זיהות בבחינה חיה, ומה שהסקירה מסירה בפועל: Vogt et al. (2026) הציבו 30 שאלות רב-ברירה מיוצרות-AI ו-30 שאלות מבחן רישוי לאומי בבחינה מדורגת מבוססת-טאבלט שנבחנה על ידי 119 סטודנטים לרפואה בשנה החמישית, כאשר הפריטים ה-AI נכתבו מחומרי הקורס עצמו על ידי ChatGPT-4o ו-Gemini 1.5 Pro דרך פאנל מומחים שקיבל 82% מהם וסיפק 18.2% כשאינם שמישים. ייחוס המקור של הסטודנטים לא נבדל בין שני סוגי הפריטים, וקושי הפריט, התפלגות מסכות-ההטעה ויישור תכנית-הלימודים הנתפס היו בלתי-ניתנים-להבחנה סטטיסטית — תוצאה של זיהות ולא תוצאה איכות, וזאת הסיבה שהמחברים מתארים את התועלת של תהליך העבודה כמעבר של מאמץ החינוכן מיצירה לסקירה ולא כהסרתו. הבדל חקרני אחד שרד: פריטי Gemini היו קשים יותר מפריטי מבחן הרישוי (p = 0.028), בעוד שפריטי ChatGPT לא (p = 0.984).

• תלות-במשימה: אמינות היצירה משתנה לפי סוג הפריט. דירוג תשובות-קצרות והערכת כתיבה אנליטית מראים שפריטי תגובה-פתוחה וכתיבה קשים יותר ליצירה ולדירוג באמינות מפריטים מובנים.

• איכות קוגניטיבית: הערכת עומק-קוגניטיבי מראה שפריטים מיוצרים עלולים להטות לחשיבה ברמה נמוכה אלא אם כן תוכנו במפורש לתוצאות ברמה גבוהה.

• תיוג אוטומטי של רמה קוגניטיבית אינו עובר לפריטים מיוצרים. מסווג טקסונומיית בלום שאומן על בנק פריטים שאוצר התמוטט על שאלות מיוצרות-AI — macro F1 מ-0.88 בהתפלגות-בתוך ל-0.48 ו-0.20 מחוצה לה — מכיוון שפריטים מיוצרים ממוצעים הרבה יותר מילים (18.2 לעומת 9.3) ומשתפים חציוני של 10.5% בלבד מפעלי ההדרכה של בלום עם הקורפוס שאוצר, לעומת 35.1% לקבוצה קרובה יותר; אימון מחדש על נתונים מתויגים מחוץ-להתפלגות היה הרווח הבודד הגדול ביותר, בסף של בערך N > 1,000 דגימות מתויגות (Castanares et al., 2026)).

תפקיד בלמידה מסתגלת ומותאמת-אישית

AQG היא מאפשר-מפתח של למידה מסתגלת ומותאמת-אישית: היא מייצרת את בנקי הפריטים הגדולים שמהם חונכים מסתגלים שואבים, ובשילוב עם מעקב ידע או מידול סטודנטים יכולה לייצר פריטים המותאמים למצבי הידע של לומדים בודדים (KT4EQG). התאמה-אישית מבוססת-עניין מראה ש-AQG יכולה גם להתאים שאלות לתחומי העניין של הסטודנטים, לא רק לקושי.

השלכות לבינה מלאכותית בחינוך

• צרו ואז אמתו: תמיד צדדו יצירה עם שלב אימות/שיפור כדי לשלוט בהולות ולהבטיח רלוונטיות.
• התאימו את סוג הפריט לאמינות: השתמשו ב-AQG עבור סוגי פריטים מובנים (MCQ, השלמת חסר, קוד) שבהם היא אמינה ביותר, והחילו אימות קפדני על פריטי תגובה-פתוחה וכתיבה.
• תכננו לעומק קוגניטיבי: הנחיות וצינורות צריכים למקד חשיבה ברמה גבוהה, לא רק זכירה, כדי לתמוך בלמידה אמיתית.
• כיילו קושי: השתמשו בהערכות קושי של בינה מלאכותית כדי לבחור פריטים מאתגרים באופן מתאים, עם אימות חזק לפני שימוש בעל חשיבות גבוהה.
• התאימו אישית באמצעות מודלי לומד: שלבו AQG עם מעקב ידע ומודלי עניין כדי לייצר פריטים מסתגלים ומותאמים-אישית.

מושגים מקושרים

• מודלי שפה גדולים (LLM)
• בינה מלאכותית יוצרת
• NLP חינוכי
• הערכה אוטומטית
• ציון אוטומטי של חיבורים
• הערכה
• הערכה עיצובית
• למידה מסתגלת
• למידה מותאמת אישית
• עקיבה אחר ידע
• מידול הלומד והוראה אדפטיבית
• RAG (יצירה מוגברת-אחזור)
• בינה מלאכותית עם אדם בלולאה
• מדידה חינוכית
• תיאוריית תגובת הפריט
• סיכון להזיה
• הערכת מערכות בינה מלאכותית בחינוך
• בנצ'מרק
• פיגום
• חונך אינטליגנטי
• בינה מלאכותית בחינוך

מאמרים מקושרים

• Generative artificial intelligence and the transformation of medical education: a scoping review — סקירת היקף של 153 דוחות חינוך רפואי על ייצור פריטים ב-AI לעומת איכות פריטים של הפקולטה

• Assessing the Quality of AI-Generated Exams: A Large-Scale Field Study — אימות בשטח בקנה מידה גדול של איכות בחינות מיוצרות-AI באמצעות IRT

• Generate-Then-Validate: Question Generation for Education — יצירת שאלות Generate-Then-Validate

• KT4EQG: Personalized Exercise Question Generation via Knowledge Tracing — יצירת שאלות מותאמת-אישית באמצעות מעקב ידע

• Exploring the Design of LLM-Powered Question Generation for Deaf and Hard of Hearing Learners — יצירת שאלות המונעת LLM ללומדים כבדי-שמיעה וכקשיי-שמיעה

• From Memorization to Creation: Evaluating the Cognitive Depth of LLM-Generated Educational Questions — עומק קוגניטיבי של שאלות מיוצרות-LLM

• Slide Deck Q&A Quality Assurance App: A Multi-Stage Pipeline for Pedagogical Question Generation — יצירת שאלות ותשובות פדגוגית ממצגות

• CODE-GEN: A Human-in-the-Loop RAG-Based Agentic AI System for Multiple-Choice Question Generation — CODE-GEN: יצירת שאלות מבוססת-RAG עם אדם-בתמונה

• NSMQ Riddles: A Benchmark of Scientific and Mathematical Riddles for Quizzing Large Language Models — בנצ'מרק NSMQ Riddles

• Taklif.AI: LLM-Powered Platform for Interest-Based Personalized College Assignments — מטלות מותאמות-אישית מבוססות-עניין

• From Evaluated Models to Evaluation Aids: A Multi-Evidence Study of LLM-Based Difficulty Calibration for Programming Examinations — כיול קושי מבוסס-LLM

• Towards Self-Referential Analytic Assessment: A Profile-Based Approach to L2 Writing Evaluation with LLMs — הערכת כתיבה אנליטית עצמית-התייחסות

• Cross-Dataset Bloom Question Classification: Supervised Models and Prompted LLMs — סיווג שאלות בלום חוצה-מאגרי-נתונים

• Are LLM-based Chatbots Good Enough to Support Computer Science Students in Multiple-Choice Exercises? — צ'אטבוטים של LLM ופריטי רב-ברירה במדעי המחשב

• The Theoretical Foundation of Socratic Tests: Dynamic, Multimodal, Conversational Examinations — מבחנים סוקרטיים: הערכה שיחתית

• What out-of-the-box LLMs can(t) do in law? A Turing test in Italian exams for lawyers, judges and notaries — מבחן טיורינג של LLM בבחינות משפטיות איטלקיות

• Estimating Item Difficulty Using Large Language Models and Tree-Based Machine Learning Algorithms — הערכת קושי פריט באמצעות LLMs ו-ML מבוסס-עץ

• ProIQA: A Process-Based Framework for Fine-Grained Math Item Quality Assessment — ProIQA: הערכת איכות פריט מתמטי מבוססת-תהליך

• CoLearn: An Agentic Tutor that Learns its Learner in a Human-AI Co-Learning Loop — CoLearn: חונך סוכני שלומד את הלומד שלו בלולאת למידה משותפת אדם-AI

• Automating Constructive Assessment with Large Language Models: Toward Scalable and Repeated Evaluation of Practical Competence — Automating Constructive Assessment with Large Language Models: Toward Scalable and Repeated Evaluation of Practical Competence

• Student Use of LLMs and the Limits of AI-Generated Question Difficulty in Data Science Courses — Student Use of LLMs and the Limits of AI-Generated Question Difficulty in Data Science Courses

• Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions — Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions

• Can students identify AI? – A cross-sectional quantitative study about AI recognition in tablet-based MCQ assessment among fifth-year undergraduate medical students at Saarland University, Germany — סטודנטים לא הצליחו להבחין בין שאלות רב-ברירה מיוצרות-AI לבין פריטי מבחן-רישוי בבחינה מדורגת, ו-18.2% מהפריטים המיוצרים נמחקו בסקירה (Vogt et al. 2026)