בנצ'מרק

תרגום אוטומטי של העמוד באנגלית, שטרם נבדק בידי דובר/ת שפת אם.

בנצ'מרק — חבילות מבחנים סטנדרטיות ומסגרות הערכה המשמשות למדידת ביצועי מודלי בינה מלאכותית במשימות חינוכיות. בנצ'מרקים מאפשרים השוואה ניתנת-לשחזור בין מודלים וגישות, והם חיוניים להערכת האמינות, ההוגנות והאיכות הפדגוגית של מערכות בינה מלאכותית בחינוך.

שאלות למחשבה

• בנצ'מרק הוא חבילת מבחנים סטנדרטית למדידת ביצועי מודלי בינה מלאכותית במשימות חינוכיות. לפני שקראתם, מה לדעתכם רוב בנצ'מרקי הבינה המלאכותית באמת בודקים — ומדוע זה עשוי להיות דבר שונה ממה שמורה טוב צריך?
• עמוד זה מדגיש בנצ'מרק פדגוגיה הבודק ידע פדגוגי — אסטרטגיות הוראה, שיטות הערכה, פדגוגיה לחינוך מיוחד — ולא ידע תוכני. מדוע בינה מלאכותית שמכירה נושא באופן מבריק עלולה עדיין להיכשל בהוראתו, ומדוע בנצ'מרק שמתעלם מפדגוגיה יפספס זאת?
• שיעור אחד כאן הוא מתודולוגי: האופן שבו אתה מאמת בנצ'מרק משנה את התוצאות באופן דרמטי, כאשר אימות נאיבי מדווח ביצועים גבוהים בהרבה משיטות קפדניות ובלתי-תלויות-בניסוי. כיצד מפתח מודלים או ספק עשוי להתפתות לעצב אימות שייראה טוב, וכיצד הייתם מזהים זאת?
• ביצועי בנצ'מרק לעתים קרובות אינם מועברים לתועלת בעולמת-המציאות. האם אתם חושבים על תרחיש שבו בינה מלאכותית 'מנצחת' בבנצ'מרק אך נכשלת בכיתה אמיתית — ומה הפער הזה מספר לכם על הסתמכות על ציוני בנצ'מרק בלבד?
• העמוד מציין שעיצוב הבנצ'מרק עצמו יכול לקודד או להגביר הטיה. אם בנצ'מרק מורכב ממשימות מסוימות, בשפות מסוימות, מאוכלוסיות מסוימות, את הלמידה של מי הוא בסופו של דבר מודד — ואת הלמידה של מי הוא מתעלם?

מבוא

בנצ'מרקים משמשים כיסוד הראיות של המחקר בבינה מלאכותית בחינוך. הם מספקים מערכי נתונים, משימות ומדדים סטנדרטיים המאפשרים לחוקרים להשוות מודלים, לעקוב אחר התקדמות ולזהות מצבי כשל. במחקר של מאגר הידע, בנצ'מרקים מופיעים בתחומים מרובים:

• CSTutorBench מעריך מודלי שפה קטנים למשימות חונכות במדעי המחשב.

• ANVIL משווה בבנצ'מרק הנפשות חינוכיות הנוצרות על ידי בינה מלאכותית כנגד חלופות שנוצרו על ידי אדם.

• בנצ'מרקים למשוב הוראה מעריכים העברת איכות המשוב בין שפות בסיווג.

• בנצ'מרק הפדגוגיה (CDPK + SEND) בודק ידע פדגוגי — אסטרטגיות הוראה, שיטות הערכה ופדגוגיה לחינוך מיוחד — ולא ידע תוכני, ומדווח "גבול ערך" של עלות-לעומת-דיוק על פני 97 מודלים (רוב הבנצ'מרקים הכלליים בודקים ידע תוכני; פדגוגיה היא ממד נבדל וקריטי-לחינוך).

• ISD-Agent-Bench משווה בבנצ'מרק סוכני עיצוב הוראה מבוססי מודלי שפה גדולים על פני 25,795 תרחישי עיצוב הוראה, ומראה שסוכנים היברידיים המעוגנים במסגרות ISD קלסיות (ADDIE, Dick & Carey, Rapid Prototyping) מתעלים על תיאוריה טהורה או טכניקה טהורה — תוצאת בנצ'מרק עם השלכות ישירות לעיצוב בינה מלאכותית סוכנית בחינוך.

• הסתגלות לומד כקריטריון בנצ'מרק מפורש. Teaching Monster Challenge מדרגת הסתגלות לפרסונת לומד מצוינת, אך השופט-האוטומטי שלה מבוסס-מודל שפה הפריד רק זנב חלש — המערכות המובילות קיבלו צייור קרוב לתקרתה ודירוגה לא הסכים עם העדפת הקהל (Spearman ρ = −0.17) (Lin et al. (2026)).

מדוע בנצ'מרקים חשובים ב-AIED

בנצ'מרקים מתחברים להערכת חינוך בבינה מלאכותית ולתוקף ההערכה — ללא בנצ'מרקים קפדניים, טענות על יעילות החונכות בבינה מלאכותית אינן ניתנות לאימות. הם מצטלפים גם עם הפחתת הטיות, שכן עיצוב הבנצ'מרק יכול לקודד או להגביר הטיות. המתח שבין ביצועי בנצ'מרק לתועלת בעולמת-המציאות נחקר במאמרים מרובים, ומתחבר לחששות העברת למידה ביישומי בינה מלאכותית יוצרת.

• כאשר המדד, ולא המערכת, הוא הכשל: AlgoRAG קיבל צייור BLEU-4 = 0.0000 בכל 179 שאלות הבחינה התיאורטיות במדעי המחשב בעוד שמחוון פדגוגי בשישה קריטריונים נתן 0.7620, משום שהוכחות שוות-ערך מבחינה לוגית נבדלות באופן שגרתי בסימון, בשמות המשתנים ובאסטרטגיית ההוכחה. צייור אפס אומר יותר על חפיפת n-gram מאשר על איכות התשובה, וזו הטענה הכללית נגד התייחסות למדדי פני שטח כמספר הראשי עבור מערכות AIED בתחום פורמלי.

• בנצ'מרקים קונטרה-פקטיים ברמת הקונסטרוקט. CFES-P24 מבטא עקרונות למידה מולטימודלית כטרנספורמציות שקופיות דטרמיניסטיות והפיכות, כדי לבחון האם MLLMs מגיבים לקונסטרוקטים מסוימים של עיצוב הוראה במקום להפיק דירוגים הוליסטיים סבירים. פיילוט קפוא הראה זיהוי קונסטרוקט (פעולה, עיקרון, תיקון, אומדן מיקום ראיה) ב-8/8 בעוד שהשוואה שיפוטית (כיוון 6/8) וכיול חומרה (0/8) נכשלו — מה שומטעים לטובת כרטיסי ניקוד שכבתיים על פני צייור מכומזם.(Benchmarking Multimodal Large Language Models for Educational Slide Auditing)

• העריכו היווצר-דמיון ואנרגיה בהערכה, לא רק דיוק. Shen et al. (2026) דרגו היווצר-דמיון כהשלמה נגד קטעי הידע הפתוחים שאוחזרו (κ = 0.76 עם שיפוט מומחים) ורשמו 1.8 mWh לשאילתה, והניתוח החדירה שלהם שם את האחזור ראשון: מודל מקומי ללא אחזור קיבל 52.3%, מתחת לקו הבסיס TF-IDF של 55.4%.

• אימות יכול לנצח שיפוט בתוכן שנוצר. Kumar et al. (2025) מתרגמים בחזרה דיאגרמות מתמטיות שנוצרו לייצוג תיווך מוגבל-סכמה ומריצים בדיקות כללים דטרמיניסטיות, ומגיעים להסכמה גבוהה יותר עם דורגים אנושיים (Cohen's κ 0.48–0.56) מאשר LLM-as-a-Judge (0.39–0.47), ומאפשרים למודל קטן להתאים לשופט הטוב ביותר בעלות נמוכה פי 10.

• הערכה בלתי-תלויה-בניסוי בבנצ'מרקים פיזיולוגיים. Nanayakkara & Halloluwa (2026) משווים בבנצ'מרק 15 מודלים של ML/DL לחיזוי היכרות מבוסס-EEG ומראים שבחירת תבנית האימות משנה את התוצאות הראשיות באופן דרמטי: אימות צולב חצוי-סטנדרטי מאפשר דליפה זמנית ומדווח עד F1 0.9853, בעוד שאימות Group K-Fold בלתי-תלוי-בניסוי מוריד את השיא ל-F1 0.6038. השיעור — הערכה מודעת-דליפה/זמן היא חיונית לבנצ'מרקים חינוכיים אמינים — נמתחת מעבר ל-EEG לכל בנצ'מרק המשתמש בנתונים סדרתיים או ממובני-זמן.

• משתניות הפזור הוא ציר בנצ'מרק שני מעבר לדליפה. בנצ'מרק שמדווח צייור בתוך-ההפצה של מסווג וצייור ההעברה שלו מדווח שתי כמויות שונות: מסווג רמת Bloom שנשמר ב-macro F1 0.88 על הבנק האצור שלו נפל ל-0.48 ול-0.20 בשתי קבוצות שאלות הנוצרות על ידי בינה מלאכותית, ואימון מחודש על נתונים מתויגים מחוץ-להפצה שחזר עד 0.82, ולכן מספר לוח-המובילות יחיד בתוך-ההפצה מגזים במה שכלי פרוס יעשה (Castanares et al., 2026).

• קורפוס שנבנה לבדיקת העברה בין-קורפוסים. ICLE++ מסמן חיבורים משכנעים עם צייור הוליסטי וצייור בעשרה רמות-תכונה כדי לחשוף את ההסתמכות של מחקר הAES ב-ASAP, שחיבוריו הזמניים ולדוברי-שפת-אם בלבד מערבבים אורך עם איכות; מודלים שאומנו על סימוני תכונה הועברו טוב יותר בין קורפוסים מאלה שאומנו על צייור הוליסטי בלבד (Li & Ng, 2026).

• בנצ'מרק מנורמל-אדם עשוי שלא למדוד את אותו הקונסטרוקט עבור מודל שפה גדול. Strugatski et al. (2026) השווו מבני תגובה אנושיים ושל מודל שפה רב-מודלי באבחון כימיה ובבחינת גיבוש כמותי; קונגרואנציה גורמים בין מודלים לבין בני אדם נשארה מתחת לקו הבסיס אנוש–אדם, וניתוח מקביל שמר ספירות גורמים שונות.

• רב-מודליות לא שיפרה כיול ראיות. ב-MathCog, 3,036 גזרי דעת המסומנים על ידי מורים על פני 639 תגובות מתמטיות בכתב-יד, אף אחד מ-18 מודלי שפה גדולים לא הגיע ל-macro F1 0.5 — הטוב ביותר, GPT-4o-img, קיבל 0.448 — ומודלים רב-מודליים נפגעו יותר ממודלי-טקסט בלבד כאשר הראיה הייתה מעורפלת, תוך ייחוס מוגזם של ראיה והמצאת ציטוטים (Kim et al. (2025)).

• בנצ'מרקים סינתטיים לחונכות בבינה מלאכותית. מערכי נתונים פתוחות וניתנות-לשחזור להערכת חונכות בבינה מלאכותית נותרים נדירים. ASTRA (Adaptive Socially-intelligent Team Reasoning Agents) הוא אב-טיפוס חונכות מרובת-סוכנים ומסגרת בנצ'מרק ללימוד תכנות שיתופי עם סוכנים מובדלים-חברתית, ותומך בתצורות מורה-יחיד, זוג-מורים ורב-סוכנים-בזוג (N=540; 360 מפגשים; 1,440 פרקים) עם סכמה מוכנה-למעקב לניתוח ניתן-לשחזור של אינטראקציה, איזון השתתפות ואימות.

• אופק הוא ציר בנצ'מרק, לא פרט. Lee et al. (2026) ממקמים סוכן חונך ביחסים מתמשכים של 30 ימים עם לומד מדומה ומוצאים שכל מתאם (adapter) פג בתוך ימים 5–10, שאף מתאם לא הוביל רווח למידה ביותר מדרגת מודל בסיס אחת, וחמשת צירי הניקוד היו בעיקרו עצמאיים.

• בנצ'מרק חונכות שנמדד כנגד מורים אנושיים ולא כנגד לוחות מובילות. StudentBench מחלק באופן אקראי 2,383 בוגרים בין חונכות בבינה מלאכותית, חונכות אנושית מומחית חיה ובקרת וידאו על פריטי GRE חדשים, ומוצא שחונכות בבינה מלאכותית הממוזגת שווה-סטטיסטית לחונכות אנושית (p=.015) וגבוהה ב-5.5–6.9 נקודות אחוז מעל הבקרה; לוחות המובילות של איכות ההוראה שלו, הבנויים מ-2,028 השוואות זוגיות של מומחים, מדרגים תכניות שיעור והתנהגות שיחתית ולא כמה הסטודנטים למדו (Northcutt et al. (2026)).

• ביקורת בנצ'מרקים היא כעת תרומת מחקר בעצמה. שלושה ארטיפקטים מ-2026 דוחסים עבודת בנצ'מרק מעבר לצבירת לוחות מובילות. EduFair-Bench מחזיק סטודנט מדומה קבוע ומשתנה תכונות דמוגרפיות, ובכך הופך בנצ'מרק חונכות לביקורת הוגנות עם מדדים פדגוגיים ברמת התור (EduFair-Bench: Evaluating Pedagogical Fairness of LLM Tutors Across Student Demographics). GeoVAD-Bench מאבחן מבנים ויזואליים ביניים — תפיסה, איכות עוזרת, ניצול — ולא נכונות סופית ב-600 בעיות גאומטריה בגאומטריה (Beyond Generation and Accuracy: Diagnosing and Enhancing Visual Chain-of-Thought for Geometry Problem Solving). דירוג חוזר של מומחים על שישה בנצ'מרקי פיזיקה כיפד את השגיאה שצייור כזה נושא: 57.20% מהדחיות המבוקרות היו פגמי פריט, 38.00% שגיאות מדרג ורק 4.80% כשלי מודל אמיתיים (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks). יחד הם טוענים שצייור בנצ'מרק צריך תמיד להיקרא עם תקציב השגיאה המבוקר שלו, וזו אותה משמעת שתוקף ההערכה דורש מכלי כיתה.

• סימון ועיצוב שאלות מנותקים כפרדיגמת בנייה. רוב הבנצ'מרקים בונים זוגות שאלה–תשובה ייחודיים-למשימה לכל פריט או תמונה, מה שהופך את ההרחבה למשימות חדשות ליקרה, מקשה על שימוש חוזר בנתונים בין משימות, ומשאיר שליטה מוגבלת על צורת השאלה ומורכבותה. MUSE הופך את הסדר: מסמן כל יצירה אמנותית פעם אחת לייצוג מובנה הניתן-לשימוש חוזר של התוכן החזותי והסמנטי שלה, ואז ממומש 12 משימות מכללי יצירה מוגדרים מראש, כך שתמונה אחת מניבה מופע הערכה מרובת-תצוגות עם קושי ופורמט המטופלים כמשתני עיצוב מפורשים ולא כתוצרי-לוואי (MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education). ראיית המתאר שלו היא טענה שנייה לטובת העיצוב — 12 המשימות מודדות יכולות קשורות אך לא-מכופלות (Jigsaw Puzzle מתאם באופן חלש עם רוב האחרות, ρ = 0.25 עד −0.10), ובשישה בנצ'מרקים חיצוניים צייור רב-מודלי כללי מועבר באופן לא-שוויוני לדימויים אמנותיים חינוכיים (BLINK Jigsaw לעומת MUSE Jigsaw ρ = −0.20), וזו טענת כיסוי-הקונסטרוקט נגד קריאת צייור מצטבר יחיד כמתווך ליכולת רלוונטית-חינוכית (MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education).

• יצירת פלט רב-מודלי הוא הציר שרוב הבנצ'מרקים מחסירים. Chen et al. (2026) מדרגים 15,246 שאלות פיזיקה ו-19,850 תמונות מתיכון ועד אוניברסיטה, כולל תת-קבוצה של עריכת דיאגרמות: סינתזה או עריכה של דיאגרמות פיזיקה מובנות התבררה כקשה יותר מאשר מענה, ומודלים מובילים נשארו מתחת ל-70% שליטה קפדנית.

• כיסוי מדעי K-12 ובעיית ההרוויה. בנצ'מרך מיושר ל-NGSS למדע תיכון וחטיבת ביניים (1,078 + 1,150 פריטים סינתטיים, מאומתים בשלושה שופטים) מצא תשעה מודלים במשקל פתוח מעל 90% דיוק בינוח אחד, בעוד שהסטטיסטיקה הקלסית של הפריטים הראתה ערכי קושי גבוהים ובידול נמוך: גודל המודל לא נבא את הביצועים, והמחברים שואלים אם המבחן קל מדי (A Benchmark for LLM's Understanding of Middle School and High School Science Topics). זו הטענה הייחודית-לתחום לקריאת הסטטיסטיקה של הפריטים של בנצ'מרק לצד לוח המובילות שלו.

• קו בסיס טריויאלי וקרקע אמת IRT כבדיקת דיוק הכותרת. Worden et al. (2026) בונים FoundationalASSIST מ-1,722,169 אינטראקציות ASSISTments עם טקסט שאלות ותגובות סטודנטים אמיתיות נשמרים, מדרגים את משימת מעקב הידע כנגד קו בסיס של 51.3 אחוז תמיד-נכון, וקוראים את כשירות המודלים כנגד הערכות IRT דו-פרמטריות המותאמות לאותם נתונים. ארבעה מודלים חזיתיים עוברים את קו הבסיס הטריויאלי בכחמישה נקודות (הטוב ביותר 56.2 אחוז), נופלים מתחת לסיכוי בשיפוט בידול פריטים, ו — הכשל שבנצ'מרק שנבנה למטרה זו יכול לראות — מנבאים נכונות 85.4 אחוז מהזמן בתשובות נכונות אך רק 12.6 אחוז בתשובות שגויות, ולכן המיומנות הנראית שלהם היא הטיית אופטימיות.

• הגדרת המדרג היא עצמה משתנה. Habibullah et al. (2026) סורקים 171 הגדרות מדרג על בחינת 570 סטודנטים שדורגה פעמיים, ומוצאים שכותרת קצרה של "מדרג קפדני" דוחפת 14 מתוך 17 מודלים במשקל פתוח מחוץ לטווח המדורג, ואז משחזרים עם 162 הגדרות על בחינה עצמאית של 1,038 סטודנטים שהתוצאות שלה משחזרות את הפגיעות אך לא את כיוונה. ההגדרה הטובה ביותר (MAE 1.64/35, מתחת ל-2.61/35 שמדרגים אנושיים משיגים זה כנגד זה) אינה אפוא ראיה שמדרג של מודל שפה גדול עובד — אם כי מתאם LoRA אחד שאומן על התוויות האנושיות הממוזגות מביא חמישה מודלים קטנים לשוויון עם אדם תוך מחיקה כמעט מוחלטת של רגישות הפרסונה.

• הגבלת הקורפוס כדי להפוך את טענת היכולות לניתנת-לייחוס. Li et al. (2026) מסננים FineWeb-Edu ל-88B טוקנים של חומר K–5 אמריקאי ומאמנים מודל 5B מאפס עליו, ואז בודקים את התפר באמצעות בדיקות התנהגותיות ולא צייור — שימור קרוב לאפס על קטעי Beyond-K–5, קריסה על פריטי Jeopardy של Beyond-K–5, ופחות ממחצית מבעיות Grade 8 MathCAMPS שנפתרו אפילו ב-pass@1024. משום שהחשיפה הקודמת ידועה, יכולת שמופיעה אחרי הגדלת קנה מידה, אימון-מאוחר או דוגמאות בהקשר ניתנת לייחוס להתערבות; המחברים מדווחים גם שהגבול אינו בצורת אדם, שכן המודל לפעמים מנצח מיומנות נגזרת בעוד שנכשל בדרישת-הקודם שלה.

• כלל הניקוד הוא חלק מהמכשיר. Srivastava (2026) מריץ ארבעה כללי עדכון מעקב-ידע על אותן רצפות אירועי ASSISTments 2012–13, הנבדלים רק באופן שבו הם מדרגים שורות בסיוע רמז, ורושמים מראש את ההשוואות מאחורי גדר שמעכבת את החצי המאמת של הסטודנטים עד שקובץ הרישום קיים. מתן קרדיט לכל השלמה כמעט לא מנצח קבוע של קושי-מיומנות (AUC ממוזג 0.604 לעומת 0.595 על פני 985,813 אירועים מדורגים) ומכריז 93.9 אחוז מזוגות סטודנט–מיומנות כשלוטים לעומת 72.8 אחוז תחת כלל שקורא שורות בסיוע כניסיונות ראשונים שנכשלו (0.658) — והשיעור הכללי הוא שתווית שליטה מוגדרת על ידי כלל הראיה, לא על ידי היומן.

• דווחו יכולת מודל כרמה מכויילת, לא רק כדיוק. Min et al. (2026) ממפים 624 פריטים המסומנים על ידי מומחים לרמות מיומנות בעלות שם באמצעות 2,050 תגובות לומדים, ומוצאים שמודלים חזיתיים עולים על התקרה המכויילת — גבול שאחוז מסתיר.

• כלל ניקוד יכול להיות מנוצל על ידי המודל שהוא מאמן. מדד הסתגלות שממוקסם על ידי חזרה על החלטה הטובה ביותר מראה שעיצוב בנצ'מרק צריך לפרסם את ה-argmax, לדרג הסתגלות כהבדל, ולדווח על קווי בסיס מעל-אקראיים (Domínguez Figaredo & Fernández De la Cruz, 2026).

מושגים מקושרים

• הערכת מערכות בינה מלאכותית בחינוך
• צמצום הטיה
• בינה מלאכותית עם אדם בלולאה
• הערכה עיצובית
• עקיבה אחר ידע
• בינה מלאכותית יוצרת
• ציון אוטומטי של חיבורים

מאמרים מקושרים

• Standardized Assessment of LLM English Proficiency — בנצ'מרק של 624 פריטים למיומנות אנגלית המדווח יכולת מודל כרמה מכויילת (Min et al. 2026)
• OmniPhys: A Unified Multimodal Benchmark for Physics Understanding and Generation from Chinese Educational Corpora
• Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis — Do assessment instruments measure the same thing for humans and LLMs? (Strugatski et al. 2026)
• Benchmarking the Pedagogical Knowledge of Large Language Models — The Pedagogy Benchmark: LLM pedagogical knowledge (CDPK + SEND)
• ISD-Agent-Bench: A Comprehensive Benchmark for Evaluating LLM-based Instructional Design Agents — ISD-Agent-Bench: benchmarking LLM-based instructional-design agents
• Towards sustainable AI knowledge-base assistants in computer science education: on-premise deployment and optimization with open educational resources — On-premise OER AI knowledge-base assistants: multi-dimensional benchmark
• From authentic products to authenticated processes: a systematic conceptual review of authentic assessment in AI-rich — From authentic products to authenticated processes: authentic assessment in AI-rich higher education
• Benchmarking Large Language Models for Diagnosing Students' Cognitive Skills from Handwritten Math Work — Benchmarking Large Language Models for Diagnosing Students' Cognitive Skills from Handwritten Math Work
• EduClaw-Bench: A Long-Horizon Benchmark for Pedagogical LLM Agents with Simulated Learners — EduClaw-Bench: A Long-Horizon Benchmark for Pedagogical LLM Agents with Simulated Learners
• Responsible Assessment in the AI Era: Key Insights from a Future-Focused Conference — Responsible Assessment in the AI Era: Key Insights from a Future-Focused Conference
• ANVIL: Analogies and Videos for Lecturers — ANVIL: Analogies and Videos for Lecturers
• ICLE++: Modeling Fine-Grained Traits for Holistic Essay Scoring — ICLE++: Modeling Fine-Grained Traits for Holistic Essay Scoring
• Findings of the First Teaching Monster Challenge: A Benchmark of Pedagogical Content Knowledge in AI Agents
• Benchmarking Multimodal Large Language Models for Educational Slide Auditing — CFES-P24: Benchmarking Multimodal LLMs for Slide Auditing
• DiagramIR: An Automatic Pipeline for Educational Math Diagram Evaluation — DiagramIR: benchmark for evaluating generated math diagrams
• Automating Learner Assessment: Benchmarking Machine Learning and Deep Learning Models for EEG-Based Familiarity Prediction — Automating Learner Assessment: EEG-Based Familiarity Prediction
• AlgoRAG: Retrieval-Augmented Generation for Theoretical Computer Science Education -- A Comprehensive Evaluation Framework for Algorithm Analysis and Complexity Theory — AlgoRAG: Retrieval-Augmented Generation for Theoretical Computer Science Education -- A Comprehensive Evaluation Framework for Algorithm Analysis and Complexity Theory
• MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education — MUSE: annotation-first, task-generative benchmark construction, and dimension-level non-redundancy across 12 artistic-imagery tasks (Zhu et al. 2026)
• StudentBench: AI and human tutoring yield equivalent GRE learning gains — StudentBench: AI and human tutoring yield equivalent GRE learning gains
• Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions — Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions
• A Benchmark for LLM's Understanding of Middle School and High School Science Topics — A Benchmark for LLM's Understanding of Middle School and High School Science Topics
• The learner who does not learn: when optimizing a pedagogical metric degrades LLM tutoring — Eight design principles for AI-tutor benchmarks, derived from a metric that was optimized into repetition (Domínguez Figaredo & Fernández De la Cruz 2026)