本页内容

本页面已译为中文。文章页面仍以英文撰写。 阅读本页的英文版本

本页是英文页面的机器翻译,尚未经母语者审校。

检测器在你已经读过两遍的作业上标出红旗;或者同事想在下一次论文截止前就把工具打开;又或者诚信小组要你为一项建立在百分比之上的认定做辩护。屋里总会有人说,这个分数只是众多证据之一。你要决定的其实比随之而来的那场争论窄得多:这个数字究竟能不能在违纪处理程序中承担分量;如果不能,你打算拿什么替代它。

你能在会上一字不差复述的简答是:检测器分数无法支撑一项认定,因为它无法针对真值被验证,无法被交叉质询,也达不到盖然性权衡的标准。它的错误会成模式地重复,而且最重地落在诚实的编辑者和用第二语言写作的学生身上。不如换个问法:学生能否证明自己理解所提交的内容,并把钱投到这种能力上。

简要版

1. 写进政策:检测器输出永不触发后果、永不单独成立、永不支撑认定。把它写进政策文件本身,这样备忘录丢了之后小组仍能找到。

2. 把“你用过 AI 吗?”换成“你能向我展示你理解这个吗?”用一段简短对话、一份早期草稿或一段录音讲解。

3. 在每一项高风险任务里放一个经过验证的或无辅助的环节,规模按你实际拥有的评分时数来定。

4. 书面要求供应商提供错误率,然后试着自己在本校的提交作业上复现。范德堡大学试过,随后停用了该工具。

5. 把预算从检测许可转到核验能力和指导上。有记录的教师抱怨正指向那里。

先分清你手上是认定还是疑问

这是两份不同的工作,跑的是不同的证据。一项认定需要达到盖然性权衡的证据,而检测器分数靠自己到不了那里。它无法针对真值被验证,因为在真实提交中没有人知道文本是怎么产生的,于是验证变成循环论证,假阳性率和假阴性率只在受控测试内部才有意义。该工具不公布阈值,不公布训练数据,也不允许独立复现,结果是被标记的学生无从作答,你无从解释(Heads we win, tails you lose: AI detectors in education,Detecting the undetectable? Reassessing academic misconduct procedures in the era of generative AI)。

把分数与其他信号相加并不能修复这一点。语言标记、风格比对、大语言模型(LLM) 的判断,以及学生的沉默,加起来仍然低于那个标准。沉默最值得留意:学生保留拒绝回答的权利,而拒绝并不会让天平倾斜。你可以正当追问的是,学生能否展示 学习——即 评估 声称要测量的那种——而口头回答给出的答复,是任何相似度分数都给不出的(Heads we win, tails you lose: AI detectors in education)。

这个二元问题本身也是错的问题。学生的作品常常是在 AI 参与下、沿一条混合连续谱产生的,而写着“在评价中”的政策很少界定一次评价何时开始,于是判断落到第一个打开文件的人头上(Heads we win, tails you lose: AI detectors in education)。

这一切底下还有一个参考数据问题。检测器是在生成式 AI 之前的真人写作上训练和测试的,Turnitin 自己的验证用了 700,000 篇 2019 年之前的论文。那份语料被假定能代表当下的学生文风——这个假定没有人验证过,而且每次模型发布都会让它移动(Heads we win, tails you lose: AI detectors in education)。

先看准确率数字,再决定引用哪一个

知识库中最强的受控测试考察了 642 篇已发表的英文摘要,覆盖四个领域、两个时间段。在 0.50 阈值下,两个商用检测器对符合指南的轻度 AI 编辑标出 38-80%,对未经改动的 2023-25 年原文标出 9-15%(非 STEM 远高于 STEM,p<0.001);而一旦文本经过一次“人性化”服务处理,它们只抓到不到 4% 的 AI 标注改写,假阴性率高于 96%。作者称这是一个诚信上的 catch-22:被工具抓到的,恰恰是如实申报并轻度编辑的学生;一心想规避它的学生反而抓不到。他们的建议很明确——检测器分数绝不应作为单独的违纪证据(Why AI Detection Fails for Academic Integrity)。

综述已经不再试图给工具排座次。一项涵盖 2020 至 2026 年间 90 项研究的系统综述报告称,假阳性率在不同工具和评估情境之间差异如此之大,以至于直接的定量比较无法进行;报告列举的成因包括算法与语言偏见、语境理解有限、表层语言特征以及训练数据多样性不足(Maghami、Ho 与 Camilleri(2026))。它提出的补救办法是程序性的而非技术性的:透明的检测实践、人工复核、AI 素养、明确的机构政策,以及可及的申诉渠道。

一项独立 基准 从另一个方向到达同一处。14 个工具没有一个达到 80% 的准确率,而简单改写、轻微编辑或人性化服务大致能把即便这样的表现再砍掉一半。在现实的基础发生率下,假阳性多于真阳性(Detecting the undetectable? Reassessing academic misconduct procedures in the era of generative AI)。

对整篇生成文本的捕获率,比那些头条错误率显示的还要糟。在一项隐蔽的实地研究中,研究者把完全由 AI 生成的提交注入五个心理学模块的在线 考试系统:94% 未被发现,而且 AI 作品平均得分高于真实学生。合同作弊早已显示出同样的结构性问题,因为它不留可靠的痕迹可供查找(Detecting the undetectable? Reassessing academic misconduct procedures in the era of generative AI)。

准确率还随任务移动。研究者测试 生成式 AI 能否检测自己的输出时,结果在编程和较长的反思性写作上可靠,在简答题上很差——模型常把自己写的文本评为比真实学生作品更像人写的。提示词的细微变化会急剧拉低准确率(Distinguishing Artificial from Authentic: Evaluating LLMs for Detecting LLM-Generated Content)。在某一项作业上成立的阈值,换到另一项就会失效,而你要到申诉那天才知道是哪一个。

然后是失效。一项 2026 年的研究把检测重新表述为适应问题:一种黑箱改写攻击把商用检测器 Pangram 的平衡准确率压到 63.5%,AI 召回率压到 27.0%;而一个在 Llama 3.3 70B Instruct 上训练的检测器,对更新模型生成的摘要只达到 55% 的召回率。测试时自适应在同一批文本上恢复到 94.4% 的平衡准确率和 99% 的召回率,这是令人鼓舞的那一半。同一篇论文也展示了修补的代价:随着模拟的 LLM 采用率扩散,一个固定的监督式检测器对人类文本的召回率在十年间从 85.9% 衰减到 73.4%。它的失效条件说得很直白:平衡准确率不可能超过“1 加上人类分布与 AI 分布之间全变差距离”的一半,因此两者的收敛会击败所有基于学习的检测器。一份经过验证的分数只在模型不动时成立,而模型每隔几个月就动一次(Hitting a Moving Target: Test-Time Adaptation for AI Text Detection under Continual Distribution Shift)。

比较还取决于交给读者的任务。在一项对照设计中,30 篇 2022 年以前的论文引言被改写成五种可信的情境,盲评的人类评分者总体得分 19%,与随机水平无法区分;而三款商业检测器能够区分这同样的五种情境(均 p < 0.001),但在绝对分数上彼此一致性很弱,ICC 为 0.57 至 0.95(Cheng 等(2025))。该任务要求评分者把文本归入五种编辑情境之一,而不是对某位学生的文章作是/否判断,因此它并未推翻下文所述的评分者研究,但它打消了“房间里有个真人就是可靠仪器”这一安慰。

而机器从来没有明确赢过一位仔细的读者。Leaton Gray、Edsall 与 Parapadakis(2025)报告,机器对 AI 文本或改写文本的检测率约为 80%,人类评审者为 78.4%,并引用证据称 AI 生成文本有多达 80% 的情形被当作人写通过。这点差距消失在人类本来就带来的误差带里,太薄,撑不起一项认定(AI-based digital cheating at university, and the case for new ethical pedagogies)。

弄清错误落在谁头上

检测器读作 AI 信号的那些特征——长词元密度、学术词频、整齐一致的风格——同样是胜任的第二语言写作的特征。因此误判跟随的是语言背景而不是行为,这使它在成为技术问题之前先是 公平 问题(Detecting the undetectable? Reassessing academic misconduct procedures in the era of generative AI)。

这种偏斜在英语之外同样出现。一项针对 3,811 段可证明写于 ChatGPT 之前的文本的基准测试发现,五个按原样发布的、在英语上训练的公开检测器,把 81.4% 的人类哈萨克语段落标为 AI(TMR RoBERTa),把 79.6% 已发表的哈萨克语学生作文标为 AI(Desklib DeBERTa),Fakespot 为 25.5%;而把它们重新校准到 1% 的假阳性率,代价是至多只能抓到 1.3% 的机器文本。引用时要带上该研究自己的告诫:那些人类段落是照原样取得的公开 ChatGPT 前文本,而不是学生作文,因此它报告的教育场景比率是全文最不确定的数字(Unchecked or falsely accused? Evaluating AI-generated text detectors on Kazakh)。

学科又添一条轴。在 642 篇摘要的研究中,非 STEM 摘要被标记的比例远高于 STEM,这反映的是那些领域的写作惯例,而不是作者的行为(Why AI Detection Fails for Academic Integrity)。在一次比较中,两个广泛使用的商用工具准确率分别为 0.69 和 0.61,且都在人机混合文本上失败(Evaluating the accuracy and reliability of AI content detectors in academic contexts,Who wrote this? Evaluating the reliability of AI detection tools in higher education)。检测器是一场风格测试,而它惩罚的风格跟随语言背景、学科和语域。这些事实没有一条说明学生是否用过 AI,每一条都说明学生是谁。更广的模式记录在不同学习者群体间的差异效应中。

部分代价在任何听证之前就已出现。由于正式程序要求一种功能上并不存在的“检测级”证据,教师最终陷入一位实践者所说的“有怀疑、无救济”,而学生为自己的使用找理由,案卷就此卡住(The best response to student AI use is not detection, it is dialog)。信任 的代价则落在程序所依赖的那段关系上。

换掉你向学生提的那个问题

大峡谷大学把“这个学生用过 AI 吗?”换成“这个学生能否展示自己理解所提交的内容?”,用简短对话、早期草稿和录音讲解来落实,2025 年秋季全校推行。支持它的论证很实际:教师本来就有资格判断理解,这一转变把他们的权威还给他们,而不是让他们等一份永远不会到的证明(The best response to student AI use is not detection, it is dialog)。

这也改变了学生面对指控时能做什么。把疑虑摆出来并请他们解释,学生可以把它解决掉。只给一个百分比,他们只能否认。

让这场对话经得起复核

把核验对话当作程序中的一个步骤,有通知、有记录,那么一个学期后有人翻案卷时它仍然站得住。

先通知。用平实的语言告诉学生是什么引起了疑虑,并说明这场对话是为了什么。如果疑虑来自检测器分数,就说清楚,并说明分数不构成认定。只告诉学生“你被指控作弊”,会议就变成对人格的辩护,而不是对作品的叙述。

然后问作品本身。你在这个部分想提出的是什么主张。这条证据从哪里来。你为什么这样组织。你舍弃了什么。写出这篇东西的学生能就决策层面回答这些问题。没写过的学生会在主题层面回答,差别很快显现,无需任何人去证明意图。

保留沉默权。拒绝回答不构成任何让步,而把拒绝当作承认的程序经不起申诉。记录问了什么、答了什么、拒答了什么。

用你能不带分数说出口的结论收尾。要么学生展示了评价所要测量的理解,要么你有一个可以自己用话讲清楚的、独立的实质疑虑。两者都不成立,案卷就到此结束。这个结果是正常的,也应被如此记录,因为一个只记录有罪的程序,会教下一届小组相信怀疑等同于认定。

在作业里放一个工具钻不进去的环节

异步口试——按即时生成的提示、用简短限时的录音作答、按内嵌量规评分——在一项研究中与线下选择题考试表现相当,在另一项中显著更好,学生报告准备更主动、感知到的专业相关性更高。对管理者来说,关键属性是它无需监考即可规模化(Asynchronous oral assessments: Enhancing integrity, engagement, and communication in the AI era)。

重设任务比加固检查更有用。一项针对经济学本科生的案例研究发现,只有约三分之一报告使用过 AI,披露的还更少;研究把不披露读作模糊政策下的理性谨慎,而非不诚实。这些学生同样支持以真实世界、基于数据的任务作为解决办法(Beyond Detection: How Students Use—and Hide—AI in Online Assessments and What Authentic Tasks Can Do About It)。期待、申报并审视 AI 使用,胜过巡查它,因为真实性必须被设计出来,而不是被强制执行(Beyond Detection: Redesigning Authentic Assessment in an AI-Mediated World)。

由此有两个决定。规模第一。每份主要提交配一次简短口试,在研讨课上负担得起。三百人的大课里,能活到第十周的是分阶段草稿,加上对异常作业的抽样核查。挑那个你在学期最后一周、用你手上的批改时数仍然跑得动的版本,因为一个在负荷下崩塌的核验环节,只会把你送回原件。

分值第二。如果一份理由说明、一份草稿历史或一段对被否掉的 AI 建议的反思不得分,它会在五分钟内产出,且没人读,学生就会优化被评分的那部分。给它足够的权重,让跳过这个环节的代价高于完成它。

让披露成为便宜的选择

模糊或惩罚性的政策驱动隐瞒。与认知阶段挂钩的具体申报框架,加上“如实披露不受惩罚”的保证,能从学生那里得到比监控更多的信息(Addressing student non-compliance in AI use declarations: implications for academic integrity and assessment in higher,"Should I Tell My Teacher?" Student AI Disclosure Practices, Stigma, and Self-Regulated Learning in Higher Education)。设计问题是:你的规则让那个想隐瞒的学生最容易做出哪种反应;而把申报当成自白的规则,已经把这个问答得很糟。

措辞在这里做了大部分工作。一份让学生打个勾、然后无人阅读地躺在提交系统里的申报,教给他们披露是表演,下一届学得更快。一份挂在工作某个阶段上的申报,问清该阶段工具被用来做什么、学生拿输出做了什么,给你的是真能读的东西,也给学生一个准确的理由。

写好让你不必进听证会的条款

风险暴露很少以诉讼开场。它先以校内申诉或监管投诉出现,而被检验的第一件事是程序。自然正义要求:在任何裁定之前告知学生指控,并给予回应机会,这个机会通常是一次调查会面或小组面谈,其记录成为证据。缺少这一步的认定,即使底层的怀疑是合理的,也脆弱(How strong is the evidence in generative AI-related academic misconduct allegations? A mixed-methods analysis)。

证据标准第二。违纪认定需要达到盖然性权衡的证据;如果你的案子不靠检测器分数就说不出来,这案子表面上就是弱的(Heads we win, tails you lose: AI detectors in education)。当案子只靠风格,口头核验途径应写进程序,而不是靠小组主席的善意。

范围第三。一刀切的 AI 禁令若不能把转录和 OCR 与生成式起草分开,就可能撤掉一些学生所依赖的辅助工具——他们在运动控制、手写字迹的可辨性或打字的准确性上有状况,其中若干工具已停产,由 AI 转录填补空缺。这既是法律风险,也是不精确(Transcription is not generation: Distinguishing non-generative AI tool use from academic misconduct in higher education assessment)。在政策文本里点明辅助与转录工具。

采购第四。检测器把学生作业存在第三方服务器上,有时在隐私保护更弱的海外,这把泄露、留存和后续商业使用放进你机构的风险登记册,而不是供应商的营销页。条款应覆盖留存、用于模型训练、存储地点、泄露通知和申诉权(Heads we win, tails you lose: AI detectors in education)。知识库对法律风险的叙述在 法律问题与风险 里,而且它对自己的限度很诚实:它记录的是程序、证据类别和工具可靠性,不是已判决的结果。

降低风险靠程序。永不把输出当作单独证据或自动触发器。记录你的程序所适用的标准。给予通知和一次有记录的、真正的回应机会。当案子只靠风格时提供核验。保留能显示这一切都发生过的审计轨迹。

用四个案例检验措辞

政策语言总是在写它时没人想到的案例上失败。把下面四个案子过一遍你的草稿,再送委员会,并记下文本在哪里没有答案。

一个把草稿过了一遍翻译工具的学生。政策需要说明翻译是否算 AI 使用,以及对用第二语言写作的学生是否与用第一语言写作的学生同等计算。如果它沉默,小组就会即兴发挥,而即兴发挥正是公平论证开始的地方。

一个用 AI 列大纲、每一段都自己写的人。在问“AI 有没有碰过这份作业”的规则下,这个学生和整篇都由 AI 生成的学生同类。在挂钩到步骤的规则下则不同,而且你能说出为什么不同。这个差别就是构念,政策必须点出它。

一个生成了文本却解释不了的人。这就是你的程序为之而建的案例,也是无需检测器分数就能解决的那一个。

一个因为打字不可靠而使用转录的学生。把辅助工具列为单独类别、单设一条路径,这样一项便利措施不会变成一项指控。

管理者在检测器上想错的地方

供应商公布的假阳性率是一个你可以据以做预算的风险数字。 范德堡大学许可了一款宣称 1% 假阳性率的检测器,随后试图验证这个数字,没能做到。按每年 75,000 份提交计,1% 意味着约 750 名被误标的学生。该大学停用了这款工具(Detecting the undetectable? Reassessing academic misconduct procedures in the era of generative AI)。一个你无法在自己的语料上复现的比率只是营销数字,而被误标的学生仍然要你来处理。

检测能威慑那些本来会作弊的学生。 威慑靠的是检测器对隐蔽使用与合法作业的区分能力,而不是它的原始捕获率。当增加的敏感度产生的假阳性多于真阳性时,更强的监控让隐瞒相对更有吸引力,于是你在什么都没做的学生身上消耗信誉,速度快于识别真正违规者的速度(Assessment design under imperfect information: generative AI, disclosure, and student response in higher education)。同一篇综述引用的 Krou 等人的元分析发现,自我效能与作弊负相关,而实际能力与作弊完全不呈负相关,因此有能力的学生在认为评价不公时也可能作弊。检测既不是可靠的工具,也不是明显的威慑(AI-based digital cheating at university, and the case for new ethical pedagogies)。

一个分数加几个指标就凑成一个案子。 并不。标准是达到盖然性权衡的证据,而分数加上标记、风格比对、LLM 判断或沉默,仍然不够。有一个值得用的检验:你愿不愿意在听证会上把这套推理大声说出来(Heads we win, tails you lose: AI detectors in education)。

一份检测许可比重设评价便宜。 许可是最小的一笔支出,却带来数据保护风险、采购工作,以及一条永不停歇的申诉流,其基础是一件错误按语言背景成模式分布的工具。教师把这种体验称为“有怀疑、无救济”,所以改变结果的那笔预算是核验能力和指导(The best response to student AI use is not detection, it is dialog)。

规避市场是检测体制的产物,而非它的对手。 Roe 等(2026)整理了 55 个 AI 人性化服务网站,并发现他们在 Google 首页所分析的那些网站以附带联盟计划的免费增值层级出售。这些网站并不推销作弊:它们推销的是免于假阳性的保护、文本框下方那些没有解释的大学与企业标识、99.8%-100% 的成功率,以及无法核实的用户数,而没有任何一个网站列出注册营业地址。政策上的后果是,检测与规避是同一笔交易的两半——一家供应商出售对作者身份的归类,另一家出售改变这一归类的承诺——因此移除或增加一个检测器,只改变谁从这个循环中获利,而不触及需求。你能控制的是另一个输入端:学生是否有一条不必从怀疑开始的途径去询问文本来源,以及 AI 素养 是否像教人读懂 AI 输出那样,教人读懂关于 AI 的商业主张。

一刀切禁令保护机构。 过度覆盖的规则可能砍掉一项便利措施,招来你本想避免的歧视论证,因为它们产生的错误集中在可识别的群体上,而不是均匀分布(Transcription is not generation: Distinguishing non-generative AI tool use from academic misconduct in higher education assessment,Evaluating the accuracy and reliability of AI content detectors in academic contexts)。

会有人这样回你

“我们的供应商宣传 1% 的假阳性率。” 范德堡许可的那款检测器正是这么宣称的,而这个说法没能经受住该校的验证尝试。独立基准测试把没有任何工具放在 80% 准确率之上(Detecting the undetectable? Reassessing academic misconduct procedures in the era of generative AI)。要那份验证研究以及它跑在什么语料上,然后要求自己跑一遍。

“我们只把它当作一项证据。” 标准是达到盖然性权衡的证据,而分数加上标记、风格比对、LLM 判断或沉默,仍然不满足它(Heads we win, tails you lose: AI detectors in education)。如果小组不愿接受把这套推理大声说出来,案卷里就不该有它。

“如果我们停止检测,作弊就赢了。” 作弊早已绕过这些工具。94% 的注入式 AI 提交在一场在线考试中未被察觉地通过,人性化处理在超过 96% 的情形下击败检测,合同作弊本来就不留可靠痕迹。检测器以可测的可靠性抓到的,是诚实的轻度编辑和非母语写作(Detecting the undetectable? Reassessing academic misconduct procedures in the era of generative AI,Why AI Detection Fails for Academic Integrity)。

“我们只在内部用,用来开启一场对话。” 那是最无害的用法,但仍然有代价,因为最可能被标记的学生,恰恰最不可能在误用 AI。于是怀疑在任何对话开始之前就落在错的人身上(Detecting the undetectable? Reassessing academic misconduct procedures in the era of generative AI)。大峡谷的答案是干脆不再从怀疑出发(The best response to student AI use is not detection, it is dialog)。

“没藏东西的学生没什么好怕的。” 642 篇摘要的研究发现,合规的轻度编辑在 0.50 阈值下被标记的比例为 38-80%;哈萨克语基准测试发现,可证明为人类写作的段落中有 81.4% 和 79.6% 被已发布的检测器标记(Why AI Detection Fails for Academic Integrity,Unchecked or falsely accused? Evaluating AI-generated text detectors on Kazakh)。当信号是风格时,干净的记录提供不了保护。这也是为什么哈萨克语研究的作者自己指出其教育场景比率是全文最弱的数字,也是为什么你不该把它当作学生作文的比率来引用。

“我们能不能只要求一份申报,把缺失当作有罪?” 缺失的申报不是隐蔽使用的证据,把它当成证据只会让隐瞒变得理性。与认知阶段挂钩的具体框架,加上如实披露免受惩罚,能提取比监控更多的信息(Addressing student non-compliance in AI use declarations: implications for academic integrity and assessment in higher,"Should I Tell My Teacher?" Student AI Disclosure Practices, Stigma, and Self-Regulated Learning in Higher Education)。本页的证据讲的是什么能产生披露。它对一套申报制度能阻止多少作弊什么也没说。

本周能做

1. 打开你的违纪程序,找出每一处检测器分数可能触发某个步骤的地方。写一句话去掉这个触发,并把它交给文件的所有者。

2. 给供应商发邮件,索要宣传错误率背后的验证研究,并问它用了什么语料。

3. 挑你风险最高的一项作业,加上一个你能在现有时间里批改的核验环节。

4. 起草你将问被标记学生的三个问题,从他们想论证什么、如何核查开始。

5. 把采购与无障碍条款发给签合同的那个办公室,把留存、训练用途和泄露条款写清楚。

接下来读什么

设计侧的配套页是我怎样才能减少课程中的 AI 作弊?,我该如何重新设计评价,使成绩仍然能够可靠地说明学生知道什么、能做什么? 把评价论证推得更远。我如何撰写课程人工智能政策并向学生说明? 讲如何写出一门课程的政策并传达它,AI 素养 讲学生需要知道什么,才能在不丢掉工作本身的前提下与这些工具协作。论证背后的概念页是 学术诚信、公平性 和 法律问题与风险;上面那些检测专属条款是 教育人工智能政策 的制度层。

嵌入此页

复制下面的代码,将本页嵌入学习管理系统或其他网站。嵌入版本只显示页面内容 — 网站的页眉、导航和页脚会被隐藏。