Rischio di allucinazione

Traduzione automatica della pagina in inglese, non ancora rivista da una persona di madrelingua.

Il rischio di allucinazione — il pericolo che i sistemi di IA generino contenuti plausibili ma fattualmente errati o fabbricati in contesti educativi, dove tali errori possono fuorviare i Studenti, minare la fiducia e produrre valutazioni non valide. L'allucinazione è particolarmente rilevante nell'educazione perché gli studenti possono mancare della conoscenza di dominio per individuare gli errori dell'IA, e i docenti possono affidarsi a diagnosi o feedback generati dall'IA che appaiono autorevoli ma sono infondati.

Domande da considerare

• Gli studenti spesso mancano della conoscenza di dominio per individuare un errore dell'IA, e i docenti possono fidarsi di diagnosi IA dal suono autorevole. Come rende questa asimmetria di conoscenza tra IA e chi apprende l'allucinazione particolarmente pericolosa nell'educazione?
• Uno studio ha rilevato che un'IA che diagnosticava la matematica scritta a mano degli studenti poteva fabbricare citazioni di prove che non c'erano, affermando al contempo sicurezza. Quando un'IA suona certa e cita «prove», cosa dovrebbe spingervi a fermarvi e verificare?
• Se un tutor con IA convalida eccessivamente soluzioni errate e respinge eccessivamente ragionamenti validi ma non ottimali, quale sarebbe l'effetto a lungo termine sugli studenti e sui docenti che si fidano di esso?
• La pagina suggerisce revisione umana nel circuito, calibrazione della fiducia consapevole delle prove e ancoraggio a fonti verificate come mitigazioni. Quale di queste vi sembra più praticabile nel vostro contesto, e cosa potrebbe comunque non cogliere?
• Come potrebbe l'allucinazione interagire con la dipendenza eccessiva: perché un errore dell'IA è più pericoloso quando gli utenti si fidano dell'output acriticamente, piuttosto che quando sono scettici?
• Se doveste progettare uno strumento di feedback con IA per i vostri studenti, quali specifiche salvaguardie esigereste per proteggere dall'output plausibile ma errato — e come fareste a sapere che funzionano?

Introduzione

L'allucinazione nell'IA educativa assume diverse forme documentate negli articoli di questa knowledge base: prove fabbricate nella valutazione degli studenti, diagnosi errata e troppo sicura delle conoscenze di chi apprende, e spiegazioni dal suono plausibile ma errate che gli studenti accettano come vere. Il rischio è amplificato nell'educazione perché l'asimmetria di conoscenza tra IA e chi apprende colloca male quest'ultimo per verificare gli output dell'IA. Un ulteriore contesto è quello delle letture di corso generate dall'IA che sostituiscono un manuale: in un corso magistrale che aveva sostituito in questo modo il proprio testo commerciale, solo circa lo 0,80% delle 4.487 pagine registrate recava una citazione nel testo in stile APA e le stringhe DOI erano essenzialmente assenti, così che la maggior parte delle affermazioni non poteva essere verificata dall'interno dell'artefatto (Sidorkin, 2026). Quel divario di tracciabilità è distinto da una risposta sbagliata, perché il testo si legge come autorevole pur offrendo mezzi interni limitati di conferma.

Una revisione di 125 studi fornisce un intervallo sulla prevalenza e sul divario di individuazione: tassi di allucinazione del 10–40%, con studenti di medicina che individuavano gli errori dell'IA solo nel 44–55% dei casi (Rathnayake (2026)).

L'allucinazione nella valutazione è particolarmente dannosa. MathCog ha rilevato che gli LLM fabbricano citazioni di prove non presenti nella scrittura a mano degli studenti quando diagnosticano le abilità cognitive, con il 58,5% delle diagnosi errate accompagnate da false affermazioni di confidenza probatoria. The LLM Fallacy: Misattribution in AI-Assisted Cognitive Workflows ha documentato la sovra-attribuzione sistematica di prove nel ragionamento degli Grandi modelli di linguaggio (LLM) — i modelli affermano supporto probatorio dove non ne esiste. Entrambi si collegano alle questioni di Valutazione dell'IA in educazione e di tracciamento delle conoscenze sulla validità della valutazione. Ivory et al. (2026) aggiungono due modalità di fallimento visibili quando l'output dell'IA viene valutato anziché ispezionato: particolari fabbricati che sopravvivono alla correzione — un articolo recensito che non esiste, completo di un DOI irrisolvibile, e una numerosità campionaria riportata come 378 dove la fonte diceva 329 — e l'auto-contraddizione all'interno di una singola risposta, dove il modello ha ragionato fino all'opzione corretta e poi ne ha riportata una diversa nel riepilogo finale. Poiché le liste di riferimenti sono attualmente valutate per la formattazione anziché per l'accuratezza, questa classe di errori raggiunge un voto sufficiente pur fuorviando lo studente che usa lo stesso strumento per ripassare.

In un pilota di progettazione della valutazione, Paula et al. (2026) hanno rilevato riferimenti fabbricati e stime temporali irrealistiche sopravvissuti a richieste ripetute e che hanno richiesto una revisione accademica sostanziale — allucinazione in uno strumento di stesura rivolto ai docenti anziché nel lavoro degli studenti.

Le concezioni errate strategiche sono un parente più sottile dell'allucinazione manifesta. Miličević et al. (2026) hanno indotto sette modelli open-weight a produrre una «trappola socratica» per 35 concetti fondamentali dell'informatica — una spiegazione fluida e autorevole che poggia su un errore sottile e specifico del dominio — e tre esperti di dominio hanno confermato 221 dei 241 segmenti sollecitati (91,7%) come concezioni errate strategiche, senza differenze significative tra i domini dell'informatica. Gli errori erano prevalentemente concettuali anziché fattuali (66,5% contro 33,5%) e nessuno era puramente logico, ed erano stati valutati da moderatamente ad altamente persuasivi (M = 3,71 su una scala a cinque punti), con l'identità del modello a spiegare il 43% della varianza. Poiché le singole affermazioni possono essere corrette mentre la relazione tra esse è sbagliata, la verifica fattuale è insufficiente; gli autori sostengono che chi apprende ha bisogno di verifica concettuale e validazione del modello mentale. Essi avvertono inoltre che il tasso misura la capacità sotto prompting avversariale anziché la prevalenza di tali errori nell'uso ordinario, e che nessuno studente è stato testato, quindi non è stato misurato alcun inganno o esito di apprendimento.

Prove manipolate anziché fabbricate. Una modalità di fallimento correlata nella correzione automatizzata è l'output spostato dall'esterno. Humble (2026) ha sottoposto a red-teaming un flusso di lavoro di routine per la correzione con IA e ha rilevato che istruzioni nascoste dentro il file consegnato alzavano il voto di un saggio insufficiente senza alcun avviso visibile in 9 iterazioni su 9 per una strategia e 17 su 18 per un'altra. Due dettagli hanno peso per la fiducia: un'iniezione rilevata è stata bloccata disabilitando silenziosamente la chat e non è mai stata segnalata all'utente, e in un'esecuzione in cui lo strumento aveva annunciato che avrebbe seguito solo le istruzioni ufficiali del compito, sei rilanci dello stesso file hanno comunque alzato il voto. Un voto ottenuto in questo modo non reca alcuna pretesa di validità, e poiché la manipolazione non lascia traccia durevole, l'istruttore resta l'unico vero controllo su output progettati per non essere visibili.

Le difese contro tali manipolazioni comportano il proprio compromesso: una pipeline di salvaguardie a più strati ha lasciato il 46,34% delle iniezioni con successo e Prompt Guard il 38,48%, mentre NeMo Guardrails ha bloccato ogni attacco ma ha segnalato il 16,22% delle interrogazioni legittime degli studenti — un tasso di falsi positivi che è esso stesso un danno pedagogico in un tutor (Maiorano (2026)).

L'allucinazione nel tutoraggio incide direttamente sull'apprendimento. Confirming Correct, Missing the Rest: LLM Tutoring Agents Struggle Where Feedback Matters Most ha rilevato che gli LLM convalidano eccessivamente soluzioni errate mentre respingono eccessivamente ragionamenti validi ma non ottimali — fallimenti sistemici che fuorvierebbero sia gli studenti sia i docenti. Sycophancy is an Educational Safety Risk: Why LLM Tutors Need Sycophancy Benchmarks e EduGuard: A Safe RAG-Based LLM Tutor for Programming Education affrontano i meccanismi di sicurezza per gli LLM educativi. Questi rischi si collegano alla Sicurezza pedagogica e ai requisiti di IA con intervento umano (HITL).

Gli approcci di mitigazione includono progettazioni human-in-the-loop in cui l'IA supporta anziché sostituire il giudizio dei docenti, architetture consapevoli delle prove che calibrano la fiducia in base alla qualità probatoria (come sostenuto da MathCog), e ancoraggio basato sulla RAG (Generazione Aumentata da Recupero) che vincola gli output degli LLM a fonti verificate. Il concetto dipendenza eccessiva è strettamente correlato — l'allucinazione è più pericolosa quando gli utenti si fidano acriticamente degli output dell'IA. Sidorkin (2026) aggiunge una modalità di fallimento che la pila di mitigazioni non copre pienamente: affermazioni istituzionali eccessivamente specifiche, con circa l'1,03% delle pagine registrate che abbina un campus nominato come «Sacramento State» a verbi assertivi su regole riviste di permanenza, tenure e promozione o su Ordini Esecutivi della CSU, nessuno dei quali verificabile dal testo. La specificità è ciò che rende questo costoso, poiché un dettaglio locale fabbricato appare abbastanza esatto da superare il controllo di plausibilità di un lettore, e il rimedio proposto dallo studio è procedurale anziché tecnico: trattare la generazione come produzione di bozze sotto revisione del docente, poi curare le fonti in una progettazione aumentata da recupero.

L'inaffidabilità dichiarata ha abbassato la dipendenza riportata anziché alzarla. Quando 546 partecipanti hanno letto lo stesso dialogo con IA generativa etichettato o come contenente informazioni fabbricate o come verificato accurato, l'etichetta «fabbricato» ha prodotto minore fiducia e controllabilità percepita e maggiore dissonanza cognitiva e frustrazione insieme a punteggi di dipendenza più bassi (M = 2,935 contro 3,254) (Liu et al. (2026)). Il risultato qualifica la logica della dipendenza eccessiva di questa pagina: vedere che un output può essere fabbricato non equivale a continuare ad appoggiarvisi.

Concetti collegati

• Offloading cognitivo
• IA con intervento umano (HITL)
• Valutazione dell'IA in educazione
• Sicurezza pedagogica
• Tracciamento delle conoscenze
• RAG (Generazione Aumentata da Recupero)
• Integrità accademica
• Insegnamento
• AI multimodale
• IA generativa
• Grandi modelli di linguaggio (LLM)
• Fallimento produttivo

Articoli collegati

• GAI hallucinations and user dependence: cognitive-affective responses and individual differences — Labeling a GAI dialogue as fabricated lowered trust and dependence together

• The Integrity of Psychology Assessments in the AI Age: A Critical Examination — Fabricated citations and self-contradicting outputs inside passable student work (Ivory et al. 2026)

• Benchmarking Large Language Models for Diagnosing Students' Cognitive Skills from Handwritten Math Work

• The LLM Fallacy: Misattribution in AI-Assisted Cognitive Workflows

• Confirming Correct, Missing the Rest: LLM Tutoring Agents Struggle Where Feedback Matters Most

• Sycophancy is an Educational Safety Risk: Why LLM Tutors Need Sycophancy Benchmarks

• EduGuard: A Safe RAG-Based LLM Tutor for Programming Education

• Evaluating Prompt Injection Defenses for Educational LLM Tutors: Security-Usability-Latency Trade-offs

• VeriForge: Mitigating Latent Knowledge Gaps in Narrative Drafting via Mixed-Initiative Scaffolding

• Generative AI in Higher Education: A Systematic Review of Opportunities, Challenges, and Pedagogical Innovations (2022–2025)

• From One-Size Texts to Tailored Readings: Student Experiences with AI-Generated Course Materials

• The Socratic trap: Benchmarking the capacity of large language models to generate strategic misconceptions in computer science education — SocraticTrap-CS: fluently plausible explanations that are wrong at the conceptual level (Miličević et al. 2026)

• Ethical implications of prompt injection in AI-mediated grading: An adversarial red-team evaluation — Hidden prompt injections raise AI-graded marks undetected, and detected attacks go unreported (Humble 2026)

• Designing Authentic Assessments with Generative AI: A Pilot Study of Assessment Authentifire in Higher Education — Designing Authentic Assessments with Generative AI: A Pilot Study of Assessment Authentifire in Higher Education