מושגים
הערכה בעל-פה
תרגום אוטומטי של העמוד באנגלית, שטרם נבדק בידי דובר/ת שפת אם.
הערכה בעל-פה — הערכה שבה על הלומד להסביר, להגן או להדגים הבנה בדיבור, בשידור חי או מוקלט: הוויווה (viva voce), המבחן בעל-פה, ההגנה בעל-פה, ראיית הקוד בראיון, הייעוץ הקליני. כיוון שהחילופים מתקיימים בזמן אמת והשאלות אינן חייבות להיות ידועות מראש, הפורמט מתנגד להחלפת טקסט מיוצר בהבנה באופן שמשימות אותנטיות שהתלמיד מספק מבית אינן יכולות. הוא נושא גם בעיית תקפות משלו: בחינות בעל-פה מודדות זרימות וביטחון-עצמי לצד הידע, ולכן מה שהן מייחסות לתלמיד תלוי מאוד בעיצובן, במי ששואל, ובאופן שבו דיבור הלומד נטען כראיה.
שאלות למחשבה
- מבחנים בעל-פה מקודמים בעידן הבינה המלאכותית בטענה שמכונה אינה יכולה לשבת בחדר ולענות במקומכם. ואף על פי כן, גוף הראייתי שמתווה את הטענה הזו אינו מכיל ניסוי רנדומלי המשווה הערכה בעל-פה להערכה כתובה. מה הייתם צריכים לראות לפני שהייתם מתייחסים לטענה הזו כמוסכמת?
- אותו גוף מחקרים מדווח על שני מנגנונים שונים להפחתת חרדה: הסרת התצפית החיה של המורה, והיכרות עם הפורמט דרך תרגול. השניים מורים על עיצובים שונים. איזה מהם מתאים להקשר שלכם, ואיזה מהם הייתם סומכים עליו להתכלל?
- ניקוד שמסתמך על דיבור בלבד עלול לטעות בזרימות מילולית במקום בהבנה קונספטואלית. אם תלמיד מחווה נכון אך אומר את המילה הלא נכונה, או אומר את המילה הנכונה בלי להבין אותה — מה בדיוק ההערכה שלכם מודדת?
- כל עיצוב של הערכה בעל-פה בגוף הראייתי נתקל באותו קיר: זמן סגל וחדרים. אם האילוץ הוא 28 שעות-קשר לסמסטר ל-15 סטודנטים, האם התשובה הכנה היא מספר קטן יותר של מטלות מוגנות, צוות הוראה גדול יותר, או פורמט אחר?
מבוא
ההערכה בעל-פה היא אחד הפורמטים העתיקים ביותר של הערכה, וברובו של המאה האחרונה גם מהמפגרים פחות: קשה להרחיב, קשה לתקף, קשה להגן עליה בתהליך ערעור. הבינה המלאכותית היפוכה את מזלה. כאשר הגשה כתובה ניתנת להפקה על ידי מודל לפי דרישה, ערך ההערכה של התוצר מתמוטט, והתשומת לב עוברת להערכת האדם עצמו. תלמיד שמתבקש לענות על שאלה בלתי מוכרת בקול, בזמן אמת, לפחות נוכח וחושב באופן מוכח.
ההיפוך הזה נצפה כיום ברחבי גוף המחקר, אך בצורה בלתי אחידה. חלק מהעבודות מתייחס למבחן בעל-פה כתשובה מדינית ליושרה אקדמית, חלק מעצבים מערכת אוטומטית להעברה או ניקוד של ביצוע בעל-פה בקנה מידה גדול, וחלק שואלים מה הדיבור עצמו יכול ואינו יכול להראות על הבנה. העמודים המקושרים להלן חלוקים בשאלה כמה מבחנים בעל-פה באמת מוכיחים. יחדיו, הם תומכים בטענה צרה וניתנת-הגנה יותר מזו שנטענת בדרך כלל לטובתם.
מה ביצוע חי יכול להעיד עליו
Fenton (2025) מנסח את הצורה החזקה ביותר של הטענה. בהסתמכו על הספרות על הערכה אותנטית, הטיעון של המאמר בעד המבחן בעל-פה נשען על האינטראקטיביות שלו: שאלות יכולות להישמר עד לרגע המבחן, שאלות המשך יכולות להיות מיוחדרות באותו רגע, והתלמיד אינו יכול להכין מראש תשובה לשאלה שלא ראה. הפורמט חוסם גם שינון בעל-פה, כיוון שהשליפה נבדקת דרך הסבר ולא דרך שחזור. המאמר הוא סקירה ועמדה בEducational Researcher, ולא מחקר אמפירי, והוא מסתיים בשלוש-עשרה המלצות יישום ממוספרות ולא בראיות לשיפור בתוצאות.
הגרסה הכנה של טענת היושרה היא צרה יותר מכפי שנטענת לרוב. מבחנים בעל-פה מקשים על הסתרת החלפה; גוף הראייתי אינו מראה שהם מפחיתים שימוש בבינה מלאכותית. במחקר ראיית הקוד בעל-פה ב-CS1, ראיונות שבועיים בני 15 דקות נשאו 70% מציונו של כל מטלה, ועדיין יחס התווים המדובקים לסך התווים עלה מ-61.0% ל-68.1% (p < 0.0001) לאורך שלושה סמסטרים, בעוד ציוני הבחינות זזו בשיעור קטן בלתי משמעותי סטטיסטית של שני אחוזים. 90% מהתלמידים אמרו שהראיונות עודדו אותם להבין את הקוד שלהם טוב יותר, ו-65% שהם עזרו להימנע מסיכון תלות-יתר בבינה המלאכותית, אך ההתנהגות המדודה לא עקבה אחריהם. ההערכה בעל-פה שינתה את מה שניתן היה להסתיר, לא את מה שהתלמידים עשו.
מרחב העיצוב שגוף הראייתי מכסה בפועל
הפורמטים בגוף הראייתי משתרעים על טווח רחב של אוטומציה וסינכרוניות, וכל אחד מהם פותר חלק אחר של הבעיה.
חי, אנושי, סינכרוני. הוויווה שנחקר במחקר וויווה של 35 תלמידים פרה-אקדמיים הוא קו הבסיס: אותו מורה, אותן שאלות, מסירה אחת פנים-אל-פנים ואחת בתיווך מערכת בינה מלאכותית. הוויווה הדוקטורלי מופיע במחקר איכותני של 15 חוקרי מחקר מתקדם, שבו המשתתפים טענו להעברת משקל ההערכה לכיוון ההוא, בטענה שתזה קלה יותר לזיוף ושעל הוויווה להינתן באופן אישי. המחברים מקבלים את הטיעון רק בחלקו, כיוון שוויווה אינו חסין מטבעו לסיוע בינה מלאכותית.
מוקלט ואסינכרוני. הערכות בעל-פה אסינכרוניות מחליפות את החדר בתשובה דרך מצלמת רשת המוגבלת בזמן ובלתי-ניתנת-לעריכה, כשההכנה נמשכת כשלושים שניות והדיבור שתיים עד שלוש דקות. בפילוט המדווח, הציונים עלו על אלה של מבחני אמרה-אחת פנים-אל-פנים: חציוני 92.5 בבחינת אמצע לעומת 70 (p < .001), וחציוני 94.2 בבחינת סוף לעומת 86.4 (p = .002), עם מתאמים בין-פורמטיים מתונים בלבד. המחברים מייחסים במפורש את ההבדל לפורמט ולא ללמידה, והעיצוב נשא 7.5% מציון הקורס.
אספקה אוטומטית וניקוד. מערכת מבוססת-קול שנוסתה בכיתות מקצועיות לרכב ולהנדסה העריכה 33 לומדים, מהם 21 הסכימו שמשימת הקול החיה נעשתה ריאליסטית, ואף אחד לא התנגד לכך שהדיבור בזמן אמת מתאים למשימה יותר מפורטפוליו כתוב. ספירות מילים לאותן שאלות השתנו פי חמישה עד שמונה בין לומדים, הזרימות לא העניקה יתרון דיוק בפריטים סגורים, וציון ראשוני של סוכן תאם לציון המורה האנושי ב-95% מניסיונות סמוכים בגידולי גינה ובחליבה. מבחן סוקרטי קונברסיונלי בוחר את נתיב העיצוב הנגדי, ומכוון לשאילת קונספטואלית; הראיה שלו היא סקר של דיווח עצמי בקרב 98 סטודנטים, שבו 80.6% הסכימו שהבינה המלאכותית סיפקה פיגום ביעילות, ו-52% דיווחו על מתח נמוך יותר מבמבחנים מסורתיים. שני המאמרים מודדים קבלה ולא למידה.
ראיה בעל-פה כהגנה ולא כבחינה. מסגרת הערכה חסינת-כלים משלבת חידוני כיתה נטולי-בינה מלאכותית עם הגנות בעל-פה בני 10 דקות על עבודה בסיוע בינה מלאכותית שנקראה מהתגובות שלה, הנבדקות על הבנת קוד, הבנת שיטה, טרמינולוגיה, פרשנות ואימות, כאשר האימות נדרש לצורך המעבר ללא קשר לציון הכולל. העיצוב מטען ולא מאומת; החשבון האריתמטי של המאמר עצמו ל-15 סטודנטים הוא שמונה וחצי שעות-קשר למטלה, וכ-28 שעות-קשר לסמסטר על פני אחת-עשרה מטלות מוגנות.
חרדה, הטיה, ומי הפורמט מפלה
מבחנים בעל-פה מטוענים לטובת הכלה, כיוון שתשובה בעל-פה קשה יותר לקנות מאשר כתובה, ונגדם על אותם בסיסים. Fenton מפרט את האתגרים ישירות: עומס תזמון, חרדה, והטיה לאורך מגדר, אתניות, שפה ומהירות תגובה, בתוספת השפעותיו של ניקוד אנונימי. כנגד זאת, הראיות שהמאמר מציין מראות שמבחנים בעל-פה יכולים להיות כוללניים כמו בחינות כתובות, כולל לתלמידים עם דיסלקציה, ושהחוסר-היכרות ולא הפורמט עצמו מניע את רוב החרדה המדווחת; תלמידים במחקר אחד שהוצג היו פחות חרדים במבחנים בעל-פה המאוחרים שלהם.
היכן שהחרדה יורדת באמת, הסיבה חשובה. בוויווה המותווך בבינה מלאכותית, שלווה מדווחת-עצמית הייתה גבוהה משמעותית מגרסת הפנים-אל-פנים (ממוצעים 6.50 לעומת 5.86, t(34) = −1.97, p = .028), ושימושיות הוערכה כטובה. אך תנאי הפנים-אל-פנים ציין גבוהות משמעותית יותר בעזרה לתלמידים להבין את העבודה שלהם עצמם (p = .004). הסרת התצפית החיה של המורה הרגיעה את התלמידים, ובדיווחם העצמי, אינה האירה להם את עצמם.
מה שנחשב לראיה בעל-פה הוא גם צר מכפי שנראה. מחקר על ראיה מגולמת בהסברים בעל-פה טוען שניקוד הדיבור לבדו טעות בזרימות מילולית במקום בידע קונספטואלי, ומפלה לומדים עם קושי שפתי, כיוון שהמחווה נשאות הבנה שהתמלול מאבד. ההדגמה שלו קטנה: שני סטודנטים להנדסה המסבירים קונספטים סטטיסטיים, עם מחוות בעלות-ביטחון גבוה המתקבצות סביב רעיונות מסוימים, צורות מרובעות וקופסיות בכ-54% עד 61%, ותזמון מחווה–דיבור הדוק יותר הנלווה להסברים קוהרנטיים יותר.
ניקוד, תקפות, ובעיית קנה המידה
שלושה ממצאים פועלים נגד קריאת ציוני הערכה בעל-פה כתוספות למידה. מחקר הפורמט האסינכרוני מתנער מתוספות למידה לטובת יתרון הציונים שלו, ומדווח על הסכמת ניקוד מחדש בין מרצה למודל של ICC 0.73 בבחינת האמצע ו-0.60 בבחינת הסוף, מה שפוסח עד כמה ניתן לסמוך על ניקוד מכונה. בניסוי רנדומלי עם 100 סטודנטים לרפואה שנה שלישית המשווה מערכת חולה מדומה לחומר מקרה בהתגלות הדרגתית, ביצועי בחינת הסוף עלו (71.8 לעומת 55.6%, Hedges' g = −0.81), ודירוגי התקשורת ב-OSCE עלו (3.53 לעומת 2.64 בסולם בן חמש הנקודות), בעוד דיוק אבחנתי בינארי היה זהה סטטיסטית (84 לעומת 86%, P = 1.000). קריאת דיוק בלבד היתה מכריזה את ההתערבות כלא-רלוונטית; קריאת תקשורת בלבד היתה מכריזה אותה כמשנה.
האילוץ המחייב הוא סגל וחומרה ולא פדגוגיה, וגוף הראייתי כנה בנושא במידה בלתי רגילה: 28 שעות-קשר לסמסטר ל-15 סטודנטים, אחד-עשר עוזרי הוראה לכיתה של למעלה מ-100 בעיצוב ה-CS1, ומחשב נייד אחד המשרת 12 לומדים במקביל בפריסה המקצועית הלא-מקוונת. אין ניסוי רנדומלי להערכה בעל-פה לעומת כתובה בשום מקום בגוף העבודה הזה, וכל מחקר שמודד את ההבדל הוא עיצוב של מוסד אחד בלי קבוצת ביקורת. הערכה בעל-פה נתמכת היטב כתשובה להחלפה בסיוע בינה מלאכותית, ונתמכת בדלות כמטרה בשיפור הלמידה.
- תקרת קנה המידה היא אילוץ העיצוב. בסדנה עם 73 מחנכים למחשוב, הערכה בעל-פה ואינטראקטיבית דווחה כראיה הזמינה החזקה ביותר להבנת יחידים וכהתרופה הניתנת להרחבה פחות; ההקלות שתיארו המשתתפים היו הפצה ודגימה — מאגרי עוזרי הוראה משותפים, הערכה עמיתים משוקללת מתחת לבחינה סופית, וקריאה לתת-קבוצה מתחלפת של תלמידים (Akbar et al., 2026).
מושגים קשורים
- דפוסים פדגוגיים — רצפי אימות בעל-פה ובוויווה, ומה הם מדגימים ומה אינם
- הערכה — השדה הרחב יותר שהפורמט יושב בתוכו
- הערכה אותנטית — מסורת העיצוב שמקימה את טענת היושרה
- תוקף ההערכה — מה שפורמט יכול ואינו יכול לטעון שהוא מודד
- יושרה אקדמית — הלחץ שהחזיר את המבחנים בעל-פה לקדמת הבמה
- הערכה אוטומטית — אספקת מכונה וניקוד של ביצוע בעל-פה
- גילוי בינה מלאכותית — התשובה האלטרנטיבית, ומדוע היא חלשה יותר
- טכנולוגיות דיבור וקול — צינור הדיבור שמערכת הערכה בעל-פה פועלת עליו
- בינה מלאכותית רב-מודאלית — מחווה ודיבור כראיה משולבת
- חרדה ומתח — העלות הרגשית של ביצוע חי
- משוב — מה שוויווה מספר ללומד על ההבנה שלו עצמו
- השכלה גבוהה — ההקשר ממנו כמעט כל הראיות מגיעות
מאמרים קשורים
- Reconsidering the Use of Oral Exams and Assessments: An Old Way to Move Into a New Future — Reconsidering the use of oral exams and assessments (Fenton 2025)
- Asynchronous Oral Assessments: Enhancing Integrity, Engagement, and Communication in the AI Era — Asynchronous oral assessments: integrity, engagement and professional communication
- Designing AI-Supported Oral Assessment in TVET — Designing AI-supported oral assessment in vocational education
- Exploring student anxiety and experience in performance-based assessments using AIvaluate: an LLM-augmented emotionally — Anxiety and experience in AI-mediated performance-based assessment
- Combating Harms of Generative AI in CS1 with Code Review Interviews and a Flipped Classroom — Oral code review interviews in an introductory programming course
- A Multimodal Framework for Embodied Cognition in Oral Explanations — Gesture as evidence in assessing oral explanations
- The Theoretical Foundation of Socratic Tests: Dynamic, Multimodal, Conversational Examinations — Automated conversational testing as oral assessment
- A Tool-Invariant Framework for Teaching and Assessing Computational Methods in the Age of Agentic AI — Oral defenses of AI-assisted work
- Evaluating Scaffolding-Oriented Multi-Agent Large Language Model System for Clinical Interview Training — Spoken clinical interviews under a simulated-patient system
- From Research Assistant to Surrogate Supervisor: A Qualitative Study Exploring PGR Students' Diverse Uses of Generative AI — The doctoral viva under generative AI
- AI Can Do Your Homework. Now What? Report from an online workshop on computing assessment in the age of generative AI — AI Can Do Your Homework. Now What? Report from an online workshop on computing assessment in the age of generative AI