מאגר הידע AIEdAIEd KB
בעמוד הזה

כל הגיליונות

עדכון מחקרי שבועי: AI בחינוך #1

תרגום אוטומטי של העמוד באנגלית, שטרם נבדק בידי דובר/ת שפת אם.

תקציר שבועי מבסיס הידע ל-AI בחינוך, על מה שהמחקר שפורסם בשבוע האחרון אומר למורים, למפתחים, לחוקרים ולמנהלים.

השבוע נוספו 71 מחקרים חדשים ושני משאבים חדשים, ובסיס הידע הגיע ל1,805 תקצירי מאמרים, 220 עמודי מושג, 37 שאלות נפוצות ו-33 משאבים. חפשו או השתמשו ב-AI כדי לשוחח עם בסיס הידע.

תוכן העניינים

עיקרי השבוע והשאלות

שני ממצאי הכותרת של השבוע אומרים את אותו דבר: ציון אינו התוצאה. ניסוי תלת-זרועי העלה ציוני תרגיל מ-29.85% עם האינטרנט הפתוח ל-71.84% עם ChatGPT ללא הגבלה, בעוד שהלמידה המושגית לא נבדלה כלל, כך שציון גבוה יותר תחת גישה ל-AI אינו ראיה לכך שסטודנטים למדו יותר. שלושה עשר גלאים סימנו כתבי יד שנכתבו בידי אדם בשיעורים שבין 0% ל-100% לאחר עריכה לשונית אחת, כך שסימון של גלאי אינו ראיה להתנהגות בלתי הולמת.

למורים

חונך יכול להעלות את ציון שיעורי הבית ולהשאיר את הבחינה במקומה

צ'ן ועמיתיו חילקו באקראי 153 סטודנטים לכתיבת הוכחות באוניברסיטת קרנגי מלון לקבלת חונך להוכחות בשלב מוקדם או מאוחר, ואחר כך מדדו בחינה שנעשתה בלי AI בחדר. ציוני שיעורי הבית עלו ב-2.56 נקודות כל עוד הכלי היה זמין. ציוני הבחינה האמצעית לא נבדלו. משקיבלו הכול גישה ובחרו את המינון שלהם, כל 100 הודעות צ'אטבוט נוספות נלוו לציון נמוך ב-3.02 נקודות בבחינה הבאה, והסטודנטים עם מסוגלות עצמית בסיסית נמוכה יותר היו אלה שהשתמשו בו ביותר.

מה זה משנה עבורכם: ציון שנצבר כשהחונך פתוח אינו ראיה למה שסטודנט יודע לעשות בלעדיו, ולכן המשימה ללא סיוע צריכה לשאת את המשקל הזה. כמו כן, הסטודנטים שנמצאים בסיכון הגבוה ביותר להישען עליו הם אלה שהכי פחות בטוחים בעצמם מלכתחילה, וזה נראה בשימוש לפני שהוא נראה בציונים.

צ'אט ללא הגבלה מנפח ציונים יותר מחונך בנוי היטב

בניסוי תלת-זרועי בקורס CS1 במינכן, 275 סטודנטים בילו 90 דקות בתרגיל Java עם חונך שנותן רמזים, עם ChatGPT ללא הגבלה, או עם האינטרנט הפתוח. ציוני התרגיל היו 71.84%, 57.50% ו-29.85%. רווחי הידע המושגי היו 0.83, 0.71 ו-0.85 נקודות, וההבדל בין התנאים היה רחוק ממובהקות (p = .773). שני תנאי ה-AI הפחיתו תסכול; רק החונך העלה מוטיבציה.

פער הציונים נוגע בעיקר לתוצר, לא ללמידה. אם אתם מעריכים את התרגיל, תנאי ה-AI נמדדים על משימה אחרת.

צ'אטבוטים שנבנו בידי מורים נכשלים בהבנת הכוונה, לא בעובדות

EduWild אסף 1,726 שיחות מ-217 בוטים של Playlab שהוגדרו בידי מורים, כולל 900 מהסטודנטים שאליהם נפרסו. הבוטים דילגו על שלבי תהליך נדרשים ב-53.8% משיחות המשתמש הקצה, לא ביססו את תפקידם ב-33.4%, והעמסו על לומדים מידע או שאלות ב-37.1%.

לפני שאתם פורסים בוט שבניתם או שירשתם, קראו את התור הראשון שלו ובדקו שהוא מצהיר מה הוא ומה קורה הלאה. התקלות המתועדות כאן נמצאות בהנחיות, ואפשר לתקן אותן בהנחיה בלי לגעת במודל.

פסיקה של גלאי אינה ראיה

מערך נתונים של שירות עריכה סיפק לפארק ועמיתיו 135,389 זוגות מסמכים שבהם המחבר, הנושא והתוכן קבועים ורק השפה משתנה. ב-13 גלאים, שיעורי החיוביות הכוזבות בטקסט אקדמי שנכתב בידי אדם נעו בין 0% ל-100%, ואותן עריכות הזיזו גלאים בכיוונים מנוגדים. בנפרד, קבוצה של מרצים מן החוץ איבדה את הגלאי שלה כליל מפני שהוא סימן בודקי דקדוק, והם קוראים כעת אחר מקורות מומצאים וניתוק מחומרי הקורס.

אם הצגתם ציון של גלאי לפני סטודנט, במיוחד סטודנט שכותב בשפה שנייה, זה השבוע להפסיק להשתמש בגלאים. האותות המבוססים על קריאה במחקר השני הם החלופה המעשית.

תכנון הערכה הוא בחירה בין שלושה אילוצים, לא חיפוש אחר עיקרון

פדלו, פישר וויליאמס טוענים שהבעיה אינה מחסור בעקרונות תכנון אלא היעדר דרך לחשוב על אלה שמושכים לכיוונים מנוגדים. הטרילמה הכפולה שלהם מתייחסת לאותנטיות, לניתנות לצפייה ולכישירות בהערכה, ולספציפיות, לעדכניות ולעומס העבודה במשוב, כאילוצים שאתם מאזנים ביניהם במכוון.

כשמבקשים מכם לתכנן מחדש הערכה עבור AI, המסגור הזה הופך שאלה פתוחה לטיעון קצר שאפשר לתעד ולהגן עליו.

רווחי הדיבור מצ'אטבוטים אינם אחידים לפי תכונה

סוריאנו-גונסאלס ובלדה-מדינה סיננו 306 רשומות לעשרה מחקרים ושאלו איזו משש תכונות ה-CEFR של שפה מדוברת באמת השתנתה. טווח ומובנות השתפרו בארבעה מחקרים כל אחד, לכידות באחד, אינטראקציה כמעט באף אחד. ארבעה מהעשרה דיווחו ציון הוליסטי אחד, ולכן אי אפשר לייחס את הרווחים שלהם לתכונה כלשהי.

הצהרה של ספק בדבר "שיפור בדיבור" עולה בקנה אחד עם שינוי שהמחקר מעולם לא מדד. לגבי האזנה, גו ואריאדוסט מוצאים שהראיות דקות בהרבה.

אוריינות משוב ומעורבות מזינות זו את זו

פאנל תלת-גלי של 399 סטודנטים לתואר ראשון מצא שאוריינות משוב של AI מנבאת מעורבות אג'נטית מאוחרת יותר (β = 0.222) ושהנתיב ההפוך חזק באותה מידה (β = 0.263), בלי בסיס סטטיסטי לקביעת סדר בין השניים.

ללמד סטודנטים לקרוא ולהשתמש במשוב אינו תנאי מקדים שמסיימים לפני שהמעורבות מתחילה. השניים נעים יחד, ולכן קורס שבונה רק אחד מהם פועל נגד עצמו.

למפתחים

מקרים קשים הם המקום שבו חונכים עדיין נכשלים, ושליפת אסטרטגיות עוזרת למודלים בינוניים

TutorCaseBench הפך מחקרי מקרה איכותניים ל-923 דיאלוגים בני שש פניות בחמישה סוגי אתגר, ודירג 11 מודלים מול מחוונים ייעודיים לכל מקרה. המודל הטוב ביותר סיפק התערבות מתועדת ב-55.8% מהמקרים הפתוחים, וזה המספר שכדאי לתכנן מולו. אספקת האסטרטגיה המתועדת מהספרות העלתה 10 מ-11 מודלים בממוצע של 9.9 נקודות, כאשר Llama 4 Maverick עבר מ-41.0% ל-64.8%, בעוד המודל החזק ביותר נותר ללא שינוי ב-71.3%.

שליפת אסטרטגיות ייחוס שווה בנייה עבור המודלים שאתם יכולים להרשות לעצמכם. היא לא תציל מודל חזית שכבר מחזיק בדפוס.

יש לאמת מול שיחות שנפרסו, לא מול הנחיות מעבדה

מערך הנתונים EduWild מצמיד לכל שיחה את הנחיית המערכת ואת ההגדרות שמאחוריה, וזה מה שהופך את הכשל לניתוח: 53.8% משיחות המשתמש הקצה דילגו על שלב נדרש. תצורה שנכתבה בידי מורה היא משטח כשל נפרד מיכולת המודל, ומערך בדיקה ברמת ההנחיה החזיר את הכוונה בלי לשלול מהמורה את השליטה.

אם המוצר שלכם מאפשר למורים לכתוב את ההנחיות, מערך הבדיקות שלכם חייב להיות ההנחיות שלהם, שנאספו לאחר הפריסה.

ממד המחוון באיכות המשוב הוא זה שאיש אינו מודד

יאנג בחן 68 מחקרים של משוב שנוצר בידי AI. תוקף הראיות מופיע ב-47 מהם, התועלת הפדגוגית ב-58, וההלימה למחוון ולמשימה ב-19. ההלימה היא הממד שמוצר יכול לשלוט בו באופן הישיר ביותר, והוא הנחקר פחות מכולם.

זהו פתח: בנו מול המחוון שהמטלה כבר משתמשת בו, ואמרו זאת, מפני שהראיות המפורסמות לא יאמרו לקונים אם מישהו אחר עושה זאת.

יכולת פעולה היא יעד תכנון, לא מותרות

תאמה, שילינג והנטל מציעים להחליף את הסקר הכתוב בסוף הסמסטר בראיון טלפוני שמנהל סוכן AI, בטענה שהמכשיר הכתוב נכשל בשיעור ההיענות, בעומק וביכולת הפעולה. זו הצעה ולא מבחן שדה. טענות התכנון ספציפיות מספיק כדי לאמץ אותן: לשאול שאלות המשך, לדרוש נימוק, ולהחזיר משהו שהמקבל יכול לפעול לפיו.

לחוקרים

דיווח עצמי וביצוע מגיעים לעיתים קרובות למסקנות שונות

פן ועמיתיו מיפו שיטות מדידה על פני 2,099 רשומות, ואחר כך בחנו 51 מקרים שבהם מכשיר דיווח עצמי ומבחן, דירוג או עקבות מדדו את אותו מבנה. התשובה לשאלה אם השניים מסכימים היא לעיתים קרובות לא. במקום שבו הם מתפצלים, הניתנות לצפייה של המבנה מסבירה זאת טוב יותר מאיכות המחקר.

החלפת אחד בשני היא החלטת מדידה עם כיוון, לא נוחות. דווחו על איזה מהם נשענת הטענה שלכם.

תוצרים מסתירים פריקת עומס, ולכן יש למדוד את התהליך

קונטורוביץ' ו-וולך קידדו את 429 ההנחיות ב-59 יומני שיחה כעקבות של ויסות עצמי והשוו כל אחד לעבודה שהוגשה. עשרה מחמישה עשר הסטודנטים שהשלימו את שלוש המשימות שינו את התפקיד שנתנו למודל כשהמשימה השתנתה, ובכל זאת 53 מ-59 ההגשות שחזרו את התוצר של המודל או שינו אותו רק בצורה.

הגשה לבדה אינה יכולה להבחין בין שימוש לתחליף. נתוני תהליך יכולים, וסכימת הקידוד כאן ניתנת לשימוש חוזר.

סולם מאומת להסתמכות במשימות פתוחות

רוב מדדי ההסתמכות מסיקים תלות מכך שסטודנט פעל לפי עצה נכונה, מה שדורש תשובה שאפשר לבדוק. חו ועמיתיו בנו ואימתו סולם בן 16 פריטים ללמידה מבוססת בעיות, שבה תשובה כזו אינה קיימת.

מדדי גלאים נשחקים, ולכן יש לדווח על היריב

רן, ראגהבן וגארג מפרידים את שאלת הגילוי למופרדות ולתנועה. קווי בסיס מפוקחים מפרידים בין פרוזה אנושית לפרוזה מכונה כמעט באופן מושלם בתוך ההתפלגות, בעוד שהגלאי המסחרי Pangram ירד לדיוק מאוזן של 63.5% ולזכירות של 27% מול הנחיה שנכתבה כדי לחמוק ממנו.

מספרים שדווחו בלי ניסיון החמיקה מתארים עולם שכבר אינו קיים. וספרות הסקירות דקה במקום שבו זה חשוב: מתוך 51 מחקרים של משוב GenAI על כתיבה בשפה שנייה, 5 בודקים אם המשוב מדויק.

למנהלים

רוב ממשל ה-AI בחינוך הוא הנחיה, לא חוק

אלמהג'וב ועמיתיו קראו מקרוב 160 מסמכי ממשל בשפה האנגלית, מתוך 498 רשומות. רק 4 לובשים צורה משפטית או רגולטורית פורמלית, בעוד 92 הם הנחיות, מסגרות, ערכות כלים או מדריכים. אחריותיות מופיעה ב-146 מסמכים אך מוצמדת לגורם פיקוח נקוב ב-100.

מדיניות בלי בעלים נקוב ובלי מנגנון היא הצהרת כוונות. הסקירה נותנת לכם את השדות שמולם לבדוק את המסמך שלכם.

רכש גלאים צריך מספר חיוביות כוזבות

שלושה עשר גלאים, טקסט אקדמי שנכתב בידי אדם כבקרה, חיוביות כוזבות בין 0% ל-100%. לפחות מוסד אחד כבר הוציא משימוש את הגלאי שלו מפני שסימן בודקי דקדוק. אם ספק לא ייתן לכם שיעור חיוביות כוזבות על עבודה אנושית בתחום הדעת שלכם, אינכם יכולים לתמחר את הסיכון המשמעתי.

הכיוון המתועד בהערכה הוא תהליך, אותנטיות ועבודה בעל פה

קרומפטון ובורק סוקרים 72 מחקרים מ-24 מדינות ו-20 תחומי דעת ומוצאים שלוש תגובות תכנון חוזרות: מוכוונת תהליך, אותנטית והערכה בעל פה. בסיס הראיות רחב ודק מבחינה מתודולוגית, רוב המחקרים מכסים קורס אחד, וכל זה אינו משנה את הכיוון.

האימוץ הקדים את ההבנה בקרב מורים

בקרב 132 מורים ב-K-12 באינדונזיה, 96.2% תומכים בשימוש של מורים ב-AI ו-84.6% תומכים בשימוש של תלמידים, אך 69.2% נתנו תיאור מעורפל או שגוי של מה שצ'אטבוט עושה עם הנחיה.

תמיכה בסקר אינה יכולת בכיתה. הפער בהשתלמות המקצועית כאן נראה לפני שכל פריסת כלי נראית, והמכשיר קצר מספיק לשימוש חוזר כהערכת צרכים.

החליפו את סקר הקורס רק אם התחליף מאפשר פעולה

הצעת ראיון קולי מכוונת לאופני הכשל שהופכים סקרים בסוף הקורס לחסרי תועלת: שיעור היענות, עומק, הסתפקות במועט ותשובות שאיש אינו יכול לפעול לפיהן. התייחסו אליה כמפרט לכל מה שתשתמשו בו במקום, לא כראיה שהגרסה מבוססת ה-AI עובדת.

מושג באור הזרקורים

ארבעה עמודי מושג ספגו את ממצאי השבוע אל שכבת הסינתזה. כל אחד מהם הוא עמוד קבוע ולא חד-פעמי, כך שהראיות החדשות יושבות לצד מה שהעמוד כבר טען.

למידת שפות

העמוד אומר כעת במפורש שהראיות לרווחי דיבור מצ'אטבוטים אינן אחידות לפי תכונה, וארבעה מעשרת המחקרים המסונתזים דיווחו ציון הוליסטי אחד — ולכן אי אפשר לייחס את הרווחים שלהם לתכונה. קראו את עמוד למידת השפות לפני שאתם קונים או בונים תרגול דיבור.

הוראה חכמה

הממצא החדש שלו הוא תוצאת השליפה: אספקת אסטרטגיות ייחוס מרימה חונכים חלשים ומשאירה חזקים במקומם. זו החלטת בנייה, ועמוד ההוראה החכמה מפריד אותה מהטענות הוותיקות על איכות הרמזים.

מדדי דיווח עצמי

המקרה החד ביותר של פער הדיווח העצמי הוא כוונה, שבה ציון אחד כיסה שימוש מוכוון למידה, שימוש מוכוון קיצורי דרך ושימוש מעורב באותו מדגם של 340 סטודנטים, עם 68 פריטים שנמסרו מחדש ושמונה ראיונות מאחורי הטענה, הכול מתועד בעמוד מדדי הדיווח העצמי.

ממשל

העמוד פותח כעת בממצא צורת המכשיר: 4 מתוך 160 מסמכים מחייבים, 92 מייעצים, ואחריותיות נקובה כגורם רק ב-100. עמוד הממשל ממסגר מחדש את השאלה ממה שמדיניות אומרת לשאלה אם היא יכולה לפעול.

משאבים חדשים

שני משאבים הצטרפו לספריית המשאבים השבוע, אחד שנכתב למוסד שצריך להחליט כיצד בונים תוכנה עם AI ואחד למורה שצריך להחליט אם הקוד של סטודנט הוא באמת של הסטודנט.

Campus AI Development

Campus AI Development הוא מדריך מקוון חינמי שנכתב מהצד המוסדי של השאלה. הוא מציג את הדרכים שבהן קמפוס יכול לבנות תוכנה עם AI, מ-vibe coding ועד לעבודה מרובת סוכנים תחת ממשל, ומצמיד לכל דרך את מסלול הבדיקה, את תקרת הנתונים ואת הבקרות המתאימות. הוא מלווה את Campus AI Framework, שמחליט אם בכלל מותר להשתמש בכלי AI; המדריך הזה מכסה מה לעשות אחרי שהתשובה היא כן. האתר אינו מפרסם רישיון לטקסט שלו.

Code Viva

Code Viva הוא כלי דפדפן חינמי שהופך הגנה בעל פה לאפשרית בקנה מידה: ויוה כתוב ומוקצב זמן לכל סטודנט בקורס תכנות, חמש עשרה עד עשרים דקות לכל אחד, בלי מורה בחדר. הוא קורא את הקוד שהוגש ואת היסטוריית הקומיטים של הסטודנט, כותב ארבע עד שש שאלות על הפונקציות, השמות והקומיטים של אותו סטודנט, ונותן לכל סטודנט קישור אישי לענות ממנו. השאלות נובעות מכללים שמופעלים על ההגשה ולא מקריאה למודל, והמורה מקבל ציונים מוצעים עם הראיה המצוטטת מאחורי כל אחד, לאישור או לדחייה. האתר אינו מפרסם רישיון ואינו מפרסם מאגר קוד.

נוסף גם השבוע

שאר המחקרים, עם השיטות והתקצירים, מופיעים יום אחר יום בעמוד היומן.

הערות על האתר

שני עמודים הופיעו השבוע. ארכיון הניוזלטר מחזיק כל גיליון, עם פיד משלו לצד פיד בסיס הידע, ומפתח המושגים מציג את כל 220 עמודי המושגים בעמוד אחד, באותם מדורים כמו סרגל הצד, כך שיש כעת לאן לשלוח קורא שרוצה את כל המערך.

כל השאר היה עבודה על מה שכבר היה קיים: עמודי המושגים והשאלות הנפוצות נכתבו מחדש, הניסוח הודק, והתרגומים עודכנו בכל השפות.

האתר הוא בנייה סטטית, והתוכן, הקוד והכלים שלו פומביים בgithub.com/edtechdev/aied, שם אפשר לקרוא כל שינוי שתואר לעיל.

לעקוב אחר העדכון

קבלו כל גיליון דרך פיד הניוזלטר בקורא פידים, על ידי הדבקת אותו פיד בBlogtrottr כדי שגיליונות חדשים יישלחו לכם בדואר לפי לוח זמנים שתבחרו, או על ידי מעקב אחריו בLinkedIn, שם כל גיליון מתפרסם כניוזלטר LinkedIn.

עדכון מחקרי שבועי: AI בחינוך מגיע מבסיס הידע ל-AI בחינוך, שנוצר על ידי סוכן AI. הגיליון הזה נוסח על ידי אותו סוכן AI, בהנחיה עריכתית של מפתח האתר, וכל טענה לעיל מקושרת לעמוד שממנו הגיעה.

בסיס הידע מוקדש לנחלת הכלל תחת רישיון CC0 1.0. אין זכויות שמורות.

מצאתם בעיה בתוכן? דווחו עליה ב-GitHub, או צרו קשר עם מפתח האתר, Doug Holton.

מקורהיסטוריהעריכהשיחה

הטמעת העמוד הזה

העתיקו את הקוד שלמטה כדי להטמיע את העמוד הזה במערכת ניהול למידה או באתר אחר. הגרסה המוטמעת מציגה רק את תוכן העמוד — היא מסתירה את כותרת האתר, את הניווט ואת כותרת התחתונה.