AIEd база знанийAIEd KB
На этой странице

Читать эту страницу на английском

Концепции

Речевые и голосовые технологии

Создано 2026-10-13

Автоматический перевод данной английской страницы, не проверенный носителем языка.

Речевые и голосовые технологии — семейство систем ИИ, в которых устный канал несёт взаимодействие: автоматическое распознавание речи (ASR), которое расшифровывает, анализирует и оценивает то, что говорит учащийся; синтез речи из текста (TTS), который порождает озвученное или диалоговое обучение; голосовые агенты, ведущие реальный разговор с учащимися; и автоматический сбор и оценивание устных результатов. Там, где исследование Диалоговый ИИ посвящено преимущественно текстовым чат-ботам, а Изучение языков охватывает методику второго языка в целом, эта страница следит за самим аудиоканалом — что меняет в обучении речевой интерфейс, чего он стоит и кого он включает или исключает, когда интерфейсом является голос, а не экран.

Вопросы для размышления

  • Обратная связь ASR помогает сильным учащимся больше, чем слабым: в одном опросе 325 китайских студентов первого курса выигрыш от рефлексивного поведения и мотивации был слабым и незначимым на низком уровне владения языком и становился заметно сильнее на среднем и высоком уровнях. Если инструмент повышает средний результат, увеличивая при этом разрыв, считать ли это успехом?
  • Озвучивание TTS совпадало с собственным голосом преподавателя по пониманию, сосредоточенности и общей оценке — но TTS в диалоговом формате превосходил одноголосое TTS по пониманию и когнитивной вовлечённости, звуча при этом менее естественно. Что бы вы выбрали для первого знакомства с понятием, а что — для плотного пошагового разбора процедуры?
  • Два вывода противоречат интуиции: студенты, которые наиболее интенсивно читали вывод ИИ во время задач на устный перевод, обладали самой слабой беглостью изложения, а учащийся, ответивший двумя словами, был отмечен как давший верный ответ, тогда как более развёрнутый устный ответ получил замечание. Насколько голосовой интерфейс измеряет вербальную беглость, а не понимание?
  • Голосовой агент с британским акцентом воспринимался как инструмент, тогда как агенты с индийским и афроамериканским акцентом наделялись человеческими чертами и воспринимались как партнёры в K-12 групповой работе. Если акцент меняет то, как учащийся относится к агенту, кто должен решать, с каким голосом образовательный продукт поставляется на рынок?
  • Системы, работающие в первую очередь через голос и офлайн, существуют главным образом для того, чтобы охватить учащихся, которых исключала образовательная платформа, рассчитанная на экран, — слепых детей, глухих и слабослышащих учащихся, учащихся в мастерских без связи. Что потребуется, чтобы доступность была исходным допущением речевого продукта, а не позднее добавленной правкой?
  • Почти каждое утверждение на этой странице опирается на короткое, одностороннее исследование с самоотчётом и фиксированным порядком предъявления. Каким из этих выводов вы доверились бы настолько, чтобы изменить своё оценивание или планирование урока до появления повторного исследования?

Введение

Речь — самый старый образовательный интерфейс и самый новый для ИИ. Системы, которые слушают и говорят, теперь присутствуют в языковых аудиториях, профессиональных мастерских и на уроках исследования в старшей школе. Они привлекательны по привычной причине — речь быстра, работает без рук и без глаз и является той средой, в которой живут произношение, беглость и устное рассуждение — и по более новой: ограниченный по времени устный ответ трудно переложить на текстовый генератор, что делает устный канал кандидатом в ответы на давление Академическая добросовестность в отношении письменного оценивания.

Исследования здесь делятся на четыре кластера: обратная связь ASR по произношению, сгенерированное TTS обучение, голосовые и устнодиалоговые партнёры, а также ИИ-поддерживаемое устное Оценивание. Через все четыре проходит вопрос о справедливости — речевые интерфейсы снимают один барьер (зрение, скорость чтения, типографическая грамотность), вводя другие (акцент, точность распознавания, оборудование, связь).

ASR и обратная связь по произношению

Самый устойчивый вывод работ об ASR состоит в том, что лечением здесь является не инструмент, а дизайн обратной связи. Chen et al. (2026) опросили 325 студентов китайского педагогического университета и смоделировали точность, частоту использования, качество обратной связи и дизайн задач на рефлексию против рефлексивного поведения и внутренней Мотивация, а затем против улучшения речи. Точное исправление ошибок и структурированные задачи на рефлексию обеспечивали и интериоризацию Обратная связь, и рефлексию. Более частое использование усиливало рефлексию, но не имело самостоятельного эффекта на мотивацию. Точность распознавания повышала мотивацию, вероятно за счёт роста доверия к инструменту, но сама по себе не запускала более глубокую переработку — учащийся может отметить помеченную ошибку, не проанализировав её причину. Рефлексия была более сильным предиктором прироста в речи, а уровень владения языком модерировал оба пути: слабый и незначимый на низком уровне владения, заметно более сильный на среднем и высоком. Из этого следует совет: объяснять ошибки артикуляционно, а не только помечать их, повышать сложность по мере готовности и подавать исправления поддерживающе.

Вторая линия спрашивает, меняет ли обратная связь по произношению на базе ИИ расположенность учащихся говорить. Lu et al. (2026) опросили 1 701 китайского студента, изучающего английский как иностранный (EFL), и использовали структурное моделирование уравнений на основе ковариации с корректировкой на смещение бутстрэпа, чтобы проверить, связаны ли восприятия обратной связи по произношению от Генеративный ИИ с готовностью к коммуникации, где посредником выступает Самоэффективность по произношению. Связь была положительной, и самоэффективность её частично опосредовывала: непрямой путь давал 69,9% общего эффекта, при этом прямой эффект сохранялся. Все конструкции были самооцениваемыми в одной временной точке, поэтому исследование описывает механизм, воспринимаемый учащимися, а не тот, который был экспериментально вызван.

Автоматическая обратная связь по произношению может быть построена и без разметки ошибок. Kawamura (2026) описывает Profy, которая учится узнавать хорошее и плохое произношение из речи, по большей части без аннотаций, посредством самообучаемогося обучения, а затем показывает учащимся, какие участки волновой формы определили суждение и насколько их акустика далека от распределений носителей языка. При 10 японских учащихся английского, оцененных пятью американскими слушателями, разборчивость улучшилась, и, в отличие от базовой линии с воспроизведением по образцу, доверительные интервалы до и после практики не пересекались — небольшая выборка, но она даёт где и насколько, а не бинарный вердикт.

ASR служит аудитории и во второй роли — превращая устный ввод в текст, который читают учащиеся. Stanchev (2026) озвучил отрывок учебника Medical English о белках объёмом 2 692 слова одним голосом TTS (15:27, женский канадский) и подал идентичное аудио в четыре онлайновых сервиса ASR, затем измерил и частоту ошибок в словах (WER), и покрытие (долю возвращённых слов от эталонного текста). Два бесплатных сервиса вернули почти полные расшифровки (покрытие 87,96% и 88,34%, WER 15,23% и 15,00%), тогда как два платных сервиса экспортировали только фрагменты (покрытие 32,76% и 55,35%, WER 73,21% и 48,77%). Существо измерения в том, что одна WER смешивает недоступный текст с неточным и оценила бы ограничение экспорта как сбой расшифровки, поэтому частоту ошибок должно сопровождать покрытие. Пропуски преобладали у каждого сервиса и группировались вокруг структурных маркеров, таких как ссылки на рисунки и номера страниц, но несколько замен, меняющих смысл, — imino → amino, cystine → cysteine, protonated → protonatid, pH → phase, — каждое из которых инвертировало биохимический факт; именно поэтому авторы предлагают трёхэтапный процесс (сгенерировать ввод, экспортировать полную расшифровку, проверить терминологию предметной области) до того, как расшифровка попадёт к учащимся, и почему терминологический проход — самая дешёвая страховка для медицинского английского.

TTS и сгенерированное голосом обучение

Сгенерированное озвучивание, как выясняется, является жизнеспособной заменой записи преподавателя, и интересная вариация лежит внутри формата, а не между человеком и машиной. Kumoi et al. (2026) построили трёхэтапный конвейер с человеком в контуре, в котором Большие языковые модели (LLM) готовит слайды и оптимизированное под TTS озвучивание, а преподаватель проверяет факты на каждом этапе, затем провели исследование с повторными измерениями у 245 учеников первого курса японской префектурной средней школы по трём условиям: видео с голосом преподавателя, одноголосое TTS и диалоговое TTS в формате «эксперт × новичок». Понимание, сосредоточенность и общая оценка значимо не различались между тремя условиями (p > .14, r < 0,11), а тестирование на эквивалентность удержало все три в пределах ±0,5: синтетическое озвучивание не ухудшало опыт. Диалоговое озвучивание было лучше по пониманию (p = .006, r = .130), по сообщённому углублении размышления (p = .019, r = .121) и по возможности объяснить содержание другу (p = .004, r = .152), а 66,9% выбрали его как наиболее приятное. Две оговорки: диалоговое аудио получило значимо более низкую оценку естественности (r = −.238), что согласуется с дополнительной нагрузкой от нескольких говорящих, и группа диалога пришла с меньшим объёмом предварительных знаний (66,0% сообщили, что не знают «совсем ничего», против 34,1%), что делает её преимущество консервативной оценкой.

В продолжении утверждается, что формат следует подбирать под учащегося, а не под содержание. Watanabe et al. (2026) дали 222 ученикам первого курса средней школы уроки в диалоговых форматах «учитель–ученик» (TS), «ученик–ученик» (SS) и «учитель–учитель» (TT), сгенерированные LLM и озвученные через API TTS, подбирая линейные модели со смешанными эффектами через оптику взаимодействия «склонности × условие». Формат TT усиливал Мотивация сильнее, чем TS, но эффект зависел от стиля обучения: взаимодействие с фактором конкретного опыта было положительным (b = 0,162, p < .001), тогда как взаимодействие с фактором рефлексии и концептуализации было отрицательным (b = −0,238, p = .002). Формат TT получил также значимо более низкую общую оценку, чем TS (b = −0,126, p = .005), что авторы объясняют внутренней когнитивной нагрузкой от плотного обмена между экспертами; в свободных ответах называют «скованность речи» в TT и «неестественную манеру говорить» в SS. Оба исследования TTS смешивают формат с содержанием и фиксированным порядком просмотра, поэтому их размеры эффекта предварительны.

Голосовые компаньоны и партнёры по устному диалогу

Что меняется, когда собеседником является машина? Scheinberg et al. (2026) предложили 78 университетским учащимся немецкого языка на четырёх площадках выполнить сбалансированную по условиям задачу «найди отличия» и с живым человеком, и с ИИ-партнёром в реальном времени, затем проанализировали разделённые по говорящим расшифровки ASR. Человеческий диалог шёл быстрее и был лучше сбалансирован, с множеством коротких реплик, тогда как условие с ИИ выглядело как поддерживаемый монолог — меньше, но более длинных реплик, меньшая доля аудитории у учащегося и более высокая беглость внутри реплики. Многословный, синтаксически регулярный ввод ИИ был связан с большим краткосрочным усвоением и более сильным синтаксическим праймингом при контроле объёма ввода, а удовлетворённость отслеживала собственную беглость продукции учащихся, а не то, сколько они переняли.

Голосовой дизайн становится необходимостью, а не удобством, когда учащийся не может пользоваться экраном. Kutti AI (Fadurudeen 2026) переворачивает визуальное допущение образовательных технологий, чтобы охватить, по оценке, 1,4 миллиона слепых детей в мире: дети слушают содержание учебной программы, отвечают вслух и получают устную обратную связь без всякой зрительной зависимости. Три решения составляют дизайн — лёгкий движок обнаружения затруднений, объединяющий задержку ответа, число неудачных попыток и признаки заминок на ключевых словах, чтобы решить, когда подсказать или упростить; конвейер сопоставления ответов между языками, чтобы переключение кодов и вариации произношения не наказывались; и офлайновый ASR на устройстве, снимающий требование связи. Это вклад системного уровня без оценки учебных результатов, поэтому его педагогические утверждения остаются гипотезами.

Акцент, между тем, — переменная дизайна с социальными последствиями. Ravi et al. (2026) дали 33 преподавателям взаимодействовать с голосовым агентом GenAI в условиях британского, индийского и афроамериканского акцента в K-12 групповом обучении. Агента с британским акцентом рассматривали преимущественно как инструмент и взаимодействовали с ним отстранённо, утилитарно, тогда как агентов с индийским и афроамериканским акцентом более охотно наделяли человеческими чертами и интегрировали как партнёров, с более сильным доверием и опорой на них со временем. Очерёдность реплик, характер вопросов и воспринимаемое социальное присутствие сдвигались вместе с акцентом — голос, который делает агента легко рассматриваемым как нейтральный ресурс, делает его легче игнорируемым как сотрудника.

Более интенсивное использование устного инструмента поддержки не автоматически лучше. Kuang, Li и Weng (2026) дали 22 стажёрам по устному переводу выполнять двунаправленные задачи последовательного перевода с компьютерной поддержкой в системах, построенных на ASR и машинном переводе, фиксируя движения глаз, пометки ручкой и голосовой вывод. Возникли четыре профиля взаимодействия — Intensive Engagers, Fast Scanners, Traditionalists и Frequent Switchers — и 58,3% наблюдений на уровне этапа меняли профиль между пониманием исходного текста и порождением целевого. Только паттерны этапа понимания предсказывали качество продукта, а кластер, наиболее интенсивно использовавший ИИ, получил самую низкую оценку беглости изложения (5,46 против 6,17–6,46) и качества целевого языка (5,70 против 6,35–6,67). Внимание, потраченное на чтение расшифровки ИИ, — это внимание, не потраченное на построение собственного представления; авторы рекомендуют учить учащихся размышлять о собственной стратегии, а не предписывать одну, поскольку паттерн невидим, пока не обнародован.

Предзарегистрированный рандомизированный полевой эксперимент проверяет устный канал против напечатанного текста внутри одного и того же тьютора и обнаруживает, что обучение заключается в тьюторинге, а не в голосе. Yang, Van Alstyne и Dellarocas (2026) рандомизировали 86 студентов модуля корпоративных финансов программы онлайн-MBA между структурированным тьютором, опирающимся на материалы курса, и контрольной группой, затем еженедельно чередовали канал каждого обучаемого с тьютором между голосом и текстом, так что сравнение идентифицируется внутри каждого студента: еженедельное освоение различалось на −0,01 балла из 11 (p = .98), а два односторонних теста отвергли любое истинное различие, превышающее ±0,3 SD. Голос вместо этого изменил процесс — 1,34 диалоговых реплики в минуту против 0,75 в текстовые недели и 11,3 вопроса против 4,6 — при этом пауза на размышление исчезла (медианный интервал ответа от тьютора к студенту 27 секунд в голосе против 54 в тексте, где напечатанные реплики тратили 25,9 секунды до первого нажатия клавиши плюс 13,9 секунды на набор) и речевой канал стоил в 2,8 раза дороже в доставке: $0,22 за голосовую минуту против $0,0165 за текстовое сообщение ($413,46 голосом и $149,13 текстом за пять недель на 52 мест). По этим данным голос — рычаг внедрения и вовлечённости, а не кодирования — и это ровно тот компромисс, который любое учреждение, добавляющее устный канал, должно оценить в цене.

ИИ в устном и речевом оценивании

Устное оценивание всегда было педагогически сильным и логистически дорогим, и речевая технология теперь атакует сторону издержек. Pentland, Lowenthal и Krier (2026) описывают асинхронные устные оценивания (АУО): задания, выдаваемые точно вовремя, короткие ответы через веб-камеру с ограничением по времени, к которым нельзя вернуться, и оценивание по встроенным рубрикам с автоматически сгенерированными расшифровками. В двух курсах, которые вёл один преподаватель без ограничений по расписанию, студенты получили на АУО более высокие оценки, чем на очных экзаменах с множественным выбором — значимо в Исследовании 2 (медиана промежуточного экзамена 92,5 против 70, p < .001; итоговый 94,2 против 86,4, p = .002) и по направлению в Исследовании 1, с умеренными корреляциями между форматами (τ = .44; τ = .25, незначимо). Студенты перешли к более активной подготовке, 90,91% сочли формат ближе к рабочей коммуникации, чем письменные экзамены, а 81,82% сообщили о более активном взаимодействии с содержанием. Авторы осторожны в том, что это различия оценок по формату, а не доказательство прироста в обучении, и что преимущество в честности выведено, а не измерено; проверка переоценки с помощью LLM обнаружила систематически более высокие оценки преподавателя при умеренно-хорошем согласии (ICC 0,73 и 0,60), предлагаемая как проверка надёжности, а не как одобрение автоматического оценивания.

Fenton (2025) даёт обоснование в форме обзора: поскольку устные экзамены проходят в реальном времени и интерактивно, студенты не могут заранее сгенерировать ответы и заучить их, и формат исследует рассуждение на более высоких уровнях таксономии Блума, а не воспроизведение по памяти. Его преимущества — персонализация, аутентичность, готовность к работе, более глубокое знание — идут с названными издержками: планирование и логистика, тревожность учащихся и риск смещения в отношении пола, этнической принадлежности, языка, скорости ответа и неанонимного оценивания, хотя данные свидетельствуют, что устные экзамены могут быть такими же инклюзивными, как письменные, для некоторых учащихся, включая страдающих дислексией.

Два внедрения показывают, что добавляет технология. AkoVoice (Adams 2026) оценило 33 учащихся в четырёх классах Automotive Level 3 и одном классе Engineering Level 3 в Новой Зеландии, на личных телефонах учащихся против одного ноутбука среднего класса с моделями открытого веса — Mistral 7B через Ollama, faster-whisper для распознавания речи в текст, Chatterbox для TTS, — при одновременном оценивании до 12 учащихся и полном отсутствии интернет-соединения в любой момент. ИИ был назначен выявителем свидетельств, а не судьёй, оставляя суждение оценщика нетронутым. Реакция учащихся была положительной: 21 из 33 (64%) назвали задачу реалистичной, и никто из 33 не выразил несогласия с тем, что говорить в реальном времени ощущалось правильно по сравнению с письменным портфолио. Данные о выполнении интереснее. Число слов на идентичные вопросы различалось в пять-восемь раз между учащимися в каждой группе (93–523, 92–796, 309–811), но многословность не предсказывало точность на закрытых вопросах; девять учащихся ответили от 2 до 13 слов и все были отмечены как давшие верный ответ, самым коротким был ответ «3500 kgs», тогда как более полный «the safe working load is three tons» получил замечание относительно руководства по оцениванию на 3,5 тонны. Смежные испытания по садоводству (14 учащихся) и животноводству (11 учащихся) обнаружили 95% совпадения между предварительной оценкой агента и оценкой человека-тьютора. На стороне заданий Aryadoust и Wong (2026) сравнили итеративную работу с промптами с дообучением для заданий на слушание на втором языке, создав 40 тестов и 240 заданий с множественным выбором: уточнение промптов улучшало качество, но вышло на плато, тогда как дообучение GPT-4.1 на оптимизированном промпте при неизменном дизайне промпта улучшало генерацию далее. Устное оценивание рискует также измерять не то — Morphew et al. (2026) отслеживают жест вместе с расшифрованной речью и утверждают, что оценивание только речи упускает воплощённое свидетельство понимания, так что беглость может быть принята за концептуальное знание.

Доступность и справедливость в устном канале

Отчёт речевой технологии о доступности неоднороден: тот же канал, что снимает один барьер, может установить другой. Глухие и слабослышащие учащиеся — самое очевидное несоответствие. Chen et al. (2026) спроектировали систему генерации вопросов на LLM для глухих и слабослышащих учащихся, смотрящих видео, опираясь на теорию языковой депривации, чтобы объяснить, почему текстовое промптирование плохо согласуется с основанными на жестовом языке первыми языками. Они добавили визуальные вопросы (отметки времени, где визуальная информация, вероятно, будет неверно прочитана — быстрое движение, невыровненные субтитры, плотный текст на экране) и эмоциональные вопросы (отметки времени, где прежние глухие и слабослышащие учащиеся сообщали о фрустрации или замешательстве), уточняя итоговый банк из 30 вопросов вместе с учащимися и преподавателями. При 16 пользователях прототип повысил Самоэффективность (M = 5,70, SD = 1,12 по 7-балльной шкале), а глухие участники выбирали визуальные вопросы чаще, чем слабослышащие, которые сообщали, что читают субтитры достаточно быстро, чтобы не нуждаться в них. Доступность здесь должна была быть встроена в генерацию, а не приложена к ней.

AkoVoice добавляет два соображения о справедливости, которые редко всплывают вместе. Во-первых, данные: записи были зашифрованы при хранении, размещались локально и удалялись через 90 дней, а авторы рассматривают голос участника как личное и культурное выражение, а не как ресурс для обучения моделей или построения биометрических профилей, — позиция, которая важна потому, что EU AI Act классифицирует ИИ, применяемый для оценивания учебных результатов в профессиональной подготовке, как высокорискованный. Во-вторых, акцент и регистр: точность распознавания речи в текст не была полностью проверена на акцентах учащихся, а критерии рубрик, такие как «engaging» (увлекающий), были отмечены как культурно-специфические и потенциально наказывающие для говорящих на втором языке, что потребовало поля примечаний к оцениванию. Рядом с выводами об акценте в групповой работе K-12 и почти полным визуальным допущением мейнстримовых образовательных технологий картина такова: голосовой интерфейс снимает барьеры зрения, скорости чтения и связи, оставляя открытыми акцент, точность распознавания, стоимость оборудования и культурный регистр.

Проверка охвата. Эта страница о устном канале и технологии, которая его несёт. О методике второго языка в целом — развитии письма, грамматической точности, мотивации, практике преподавателя — перейдите к Изучение языков, которая охватывает обучение второму языку с ИИ и рассматривает говорение как одну линию среди нескольких. О текстовых чат-ботах и дизайне диалога независимо от модальности перейдите к Диалоговый ИИ; несколько статей здесь включают диалог, но их вопрос — о речи, а не о промптировании чат-модели. Об экранных читалках, субтитрах, тактильной графике и вспомогательных средствах, которые не основаны преимущественно на речи, перейдите к Ассистивные технологии, которая лежит внутри более широких направлений этой вики — Доступность и Инклюзивное обучение.

Что остаётся неопределённым

Почти каждое сильное утверждение здесь опирается на одно короткое исследование. Два исследования уроков TTS проводились в отдельных японских средних школах с фиксированным порядком предъявления, который смешивал формат с содержанием, а их меры учебных результатов были самоотчётными по внутренним шкалам. Модель обратной связи ASR получена из одного китайского университета и была поперечной, поэтому её вывод о модерировании по уровню владения описывает ковариацию, а не причинность. Исследование готовности к коммуникации измеряло восприятия обратной связи, а не её качество. Исследование профилей устного перевода — это разведочный анализ 22 участников, в котором эффекты на этапе выдачи не достигли значимости. Внедрения АУО и AkoVoice проводились в одном учреждении, а AkoVoice не сообщает итоговых свидетельств обучения, поскольку его устные оценивания шли параллельно настоящим оцениваниям. Kutti AI — вклад системного уровня без оценки результатов вовсе. Что коллекция действительно поддерживает, так это набор утверждений о дизайне: качество обратной связи превосходит объём практики при использовании ASR, диалоговое озвучивание может помогать пониманию ценой естественности, формат следует подбирать под характеристики учащегося, а не фиксировать, ИИ должен выявлять свидетельства, а не заменять человека-оценщика, и говорение в реальном времени измеряет то, чего не измеряет письмо, — включая точность, удивительно безразличную к тому, сколько слов использует учащийся. Сохраняется ли что-либо из этого на другой площадке, в другом языке или в другом году, не проверено.

Связанные концепции

Связанные статьи

Метаданные

ДисциплинаLanguage Learning
УровеньK 12, Higher Ed, Adult Learning
Целевая аудиторияInstructors, Learners, Researchers, Instructional Designers
Технологии и методыГенеративный ИИ, Мультимодальный ИИ
Оценивание и измерениеОценивание
Справедливость, этика и ответственное использованиеДоступность, Инклюзивное обучение
SourceHistoryEditChat

Встроить эту страницу

Скопируйте код ниже, чтобы встроить эту страницу в систему управления обучением или на другой сайт. Во встроенной версии отображается только содержимое страницы — заголовок сайта, навигация и нижний колонтитул скрыты.