成績が、学生の知識や遂行能力について私が擁護できることをまだ教えてくれるように、評価を再設計するにはどうすればよいですか？

英語ページの自動翻訳です。母語話者による確認はまだ行われていません。

まず、成績が表すはずの能力を明示的に述べることから始めてください。 学生が独立してできることを評価しているのですか、AIを適切に用いて達成できることを評価しているのですか、AIを評価し方向づける能力を評価しているのですか、それともこれらの組み合わせですか。このナレッジベースのAssessment Validity（評価の妥当性）は、これを妥当性の問題として扱っています。磨き上げられた成果物は、もはやその成果物が示しているように見える能力を学生が実際に有していることの十分な証拠ではありません。これは同じ議論の評価側の半分です。執行側の半分はコースでのAIカンニングを減らすにはどうすればよいですか?にあり、一般的な妥当性の枠組みは教育者はAI関連の介入を評価するために、どのような測定方法や研究方法を用いることができるでしょうか。を通じて通じています。

構成概念の置き換えというリスク

From Authentic Products to Authenticated Processes（真正の成果物から認証された過程へ）という記事は、生じるリスクを構成概念の置き換えと呼びます。評価者がAIを媒介とした成果物を学生に帰属させ、意図せずに道具の能力を学生の能力の代わりに測定してしまうことです。この記事が推奨する対応は、段階的な提出、注釈の付された決定の根拠、過程の記録、フィードバック活用の表明、口頭試問、その他の認証された過程のエビデンスといった方法を通じて、学生の推論、判断、検証、反復、責任を可視にすることです。

Mohamed and Temimiは、同じ問題を道徳の問題ではなく不完全な情報の問題として捉え直します。学生は仕事がどう作られたかを知っており、機関は成果物と部分的な痕跡しか見ないため、設計上の問いは「どの評価環境が、どの学生の応答を最も魅力的にするか」となります。彼らの応答領域モデルは3つの選択——AIを使わない、開示された利用、隠された利用——を比較し、規則、監視、開示、再設計が異なる経路を通じて働き、最も魅力的な応答が評価の目的と一致する場合にのみ成功することを示しています。2つの結果が設計に直接関わります。抑止は検出器の、隠された利用と正当な仕事との間の判別力を通じて働くのであって、生の捕捉率ではありません。偽陽性が真陽性よりも速く増えるとき、より強い監視は隠蔽を相対的により魅力的にしうるのです。そして、再設計は、ルーブリックが実際に過程のエビデンスを報いるときにのみ、学生を責任ある利用へ向かわせます。さもなければ表面的なままです。彼らの実践的な規則は、最も良心的な学生ではなく、隠蔽に最も心を動かされがちな学生のために設計するということです。

強い評価のアーキテクチャ

実際には、強い評価のアーキテクチャはしばしば、AIが有効な真正の課題と何らかの形の独立した検証とを組み合わせます。分野にもよりますが、短い口頭での説明、授業内での応用、ライブ実演、注釈の付されたポートフォリオ、支援なしの短い構成要素、重要な決定についての問いかけなどが含まれるでしょう。

Authentic Assessment（真正な評価）の概念もまた、現実的な知的作業、認知的挑戦、学生の主体性、フィードバック、社会的・職業的な真正さを重視します——単に従来型の課題をAIにとって解きにくくするだけでは十分ではありません。口頭とライブの構成要素には、不安、障害に対する配慮、言語の差異、評価者のバイアスに細心の注意を払う必要があります。

よく知られた監視なきアーキテクチャの一つ——受験者ごとの課題の変化。それぞれの受験者が、見た目は異なるが構成概念として等価な同じ課題の版を受け取るため、答えを共有しても役に立たない——は、無条件ではなく能力に条件づけられています。60の条件セルにまたがって生成された600の変種からなるベンチマークであるVARIAは、最先端モデルが統合された誠実性スコア（0.81〜0.88）に密に集まる一方、最先端でない参照モデルは0.50〜0.55まで崩れ落ちること、そしてどの単一のプロンプト戦略も表面の多様性と構成概念の等価性を同時に最適化しないことを見出しました。規模をもってした変化は、プロンプトだけからは想定できません。機関は、その保証を現実のものとして扱う前に、自分のモデルとプロンプトの組を検証すべきです。

再設計が課題ごとにうまくいくことはめったにありません。大規模なオーストラリアの大学における12名の教員と17名の学生を対象とした質的研究で、Nicola-Richmondらは、両集団が評価は変わらなければならないことに同意しつつも、制度的な摩擦——長い準備期間、大規模コホートの認可制約、業務量とコスト——を強調し、再設計は村ぐるみであると結論づけました。すなわち、評価設計、生成AI、専門分野、産業界、エビデンスの専門性を組み合わせたプログラム全体のチームであり、GenAIリテラシーと学習成果の保証に関する担当点は資格全体に戦略的に配置されるべきなのです。これを実行可能にする課題レベルの方法は、McCorkleが記録しているものです。学生が行うすべてのステップを棚卸しし、各ステップについて「具体的に私は何を評価しているのか」と問い、その答えからAIの境界を導き出すのです——これは、コースでのAIカンニングを減らすにはどうすればよいですか?の背後にある期待を明示的で執行可能なものにする方法でもあります。

目的は仕組みと同等に重要です。El Khoury and Maは、不正行為を防ぐことだけを軸に組織された改革は防御的すぎると論じ、**joyful assessment（喜びのある評価）**を提案します。安全で、感情に応答的で、学生の学習者の主体性を力づける支援的な評価であり、その中では誠実性は出発点ではなく良い設計の帰結です。彼らの具体例は、教員が構築したAIエージェントを使って判断の前に学生を練習させ、ルーブリックに沿ったエビデンス報告を生成させるものですが、作業の分担は明快に述べられています。AIはエビデンスを整理し、教員がそれを解釈します。