משאבים
GradeBench
תרגום אוטומטי של העמוד באנגלית, שטרם נבדק בידי דובר/ת שפת אם.
GradeBench שואל שאלה צרה ושימושית על הערכה אוטומטית: בהינתן תשובה בכתב יד של סטודנט, המחוון של המרצה, פתרון ייחוס ופריטי המחוון שהמרצה בחר בפועל, האם מודל חזיתי בוחר את אותם פריטים? תוויות הזהב הן בחירות מחוון אמיתיות של מרצים ושל מתרגלים ממבחנים ומבחנונים, ולא פלט של מודל שקיבל ציון מחדש.
מה אפשר לעשות איתו
קראו את לוח המובילים לפני שאתם נותנים אמון בטענת דיוק של ספק בדיקה כלשהו, וקראו את בניית המשימות לפני שאתם נותנים אמון בלוח המובילים. הבנצ'מרק מכיל 464 משימות שנשאבו מ-125 שאלות ב-45 קורסים אוניברסיטאיים ביותר מעשרה מוסדות, והוא מוגבל לפריטי מבחן ובחנון בתשובה חופשית שפרופסור או מתרגל סקרו שורה אחר שורה, ומוטה לטובת ניקוד חלקי — משימות בציון מלא ובציון אפס מוגבלות ל-5% כל אחת, כי מודלים מוצאים אותן קלות.
לוח המובילים הנוכחי נעצר הרבה מתחת להסכמה האנושית: המודל הטוב ביותר מגיע ל-57.3% התאמה מדויקת למחוון, והאתר משרטט את הדיוק מול העלות ל-1,000 תשובות, כאשר מודל שנמצא 0.8 נקודות מאחור עולה בערך שביעית מהמחיר. ציר העלות הזה הוא החלק השימושי מבחינה מעשית, שכן מתן ציונים הוא פעולה של כמויות גדולות.
לכלי שני, שנבנה באופן עצמאי, ראו את AI Grading Benchmark מבית Learning Design Alliance, הארוז כמאגר פתוח ולא כלוח מובילים מתארח, והוא מסוכם במחקרו של Porcaro.
למי זה מיועד
מרצים המחליטים אם לאפשר לכלי בדיקה לשחרר ציונים ללא סקירה אנושית, אנשי הערכה הכותבים דרישות רכש, וחוקרים הזקוקים ליעד ברמת המחוון ולא למתאם בניקוד חיבורים.
הערות ואזהרות
GradeBench מפורסם בידי Pensive, פלטפורמת בדיקה מסחרית מבוססת בינה מלאכותית, כך שהבנצ'מרק והמוצר חולקים בעלים; בניית המשימות מתועדת וניתנת להגנה, אבל התייחסו למסגור כאל מסגור של הספק. הוא מכסה מבחני STEM עם מחוונים בני ארבעה פריטים לפחות, מה שמוציא החוצה חיבורים, תשובות קצרות ופוסטים בדיונים — הפורמטים שבהם מתבצעת רוב הבדיקה בתחום מדעי הרוח. התאמה מדויקת למחוון היא מדד מחמיר: שני בודקים יכולים לחלוק על פריט ושניהם יהיו צודקים לגבי הסטודנט. הציונים מתארים גרסאות מודלים שהיו זמינות בנובמבר 2026, והם ישתנו.