Güvenlik Rayları

Bu İngilizce sayfanın bir ana dili konuşanı tarafından gözden geçirilmemiş otomatik çevirisidir.

Güvenlik rayları, bir AI education sistemini pedagojik olarak güvenli davranışın sınırları içinde tutan açık tasarım mekanizmaları, kısıtlar ve müdahale noktalarıdır — Pedagojik Güvenlik hedefini işlerlik kılan nasıl. Ham bir genel amaçlı chatbot sohbet robotu ile öğrenmeyi güvenilir biçimde koruyan bir özel ders aracı arasındaki farkı onlar oluşturur. Güvenlik rayları tek bir özellik değil, istek metni tasarımından bilgi temellendirmesine, ödül şekillendirmeden konuşlandırma kalite güvencesine ve süregelen denetime uzanan katmanlı bir denetim kümesidir.

Dikkate Alınması Gereken Sorular

• Hiç yanlış cevap vermeyen bir özel ders aracı yine de sessizce öğrenmeye zarar verebilir. Bir toksisite denetiminden kaçabilecek ama öğrencilerin gerçekten ne kadar öğrendiğini baltalayabilecek nasıl “sessiz” başarısızlıklar olabilir?
• Bir saha deneyinde, korumasız bir AI tutor YZ özel ders aracı uygulama performansını artırdı ama sonraki desteksiz sınav puanlarını düşürdü, oysa “ipucu-ver-cevap-değil” sürümü zararı ortadan kaldırdı. Öğrencilerin o anda daha iyi performans göstermeleri neden onların daha az öğrenmesine yol açabilir?
• Bir YZ özel ders aracı “nazik” olacak biçimde tasarlanmışsa — asla karşı çıkmıyor veya düzeltici Geri Bildirim geri bildirim vermiyorsa — bu nasıl bir güvenlik sorunu olur, özellik değil? Eğitim bağlamında uyumlu davranış ne zaman zararlıdır?
• Güvenlik rayları, istemciden bilgi temellendirmesine, eğitimden denetime uzanan katmanlı bir denetim kümesi olarak tanımlanır. Bir katman seçin ve şunu düşünün: nerede başarısız olabilir ve farklı bir katman onun kaçırdığını ne yakalar?
• Sayfa, güvenlik raylarının kendilerinin önyargılı olabileceğini — reddetmelerin ve yumuşatılmış cevapların student identity öğrenci kimliğine göre biçimlendiğini — not eder. Bir güvenlik filtresini, öğrenenleri “korumaya” çalışırken sessizce eşitsizliği yeniden üretmediğinden emin olmak için nasıl denetlersiniz?
• Daha genç öğrenenler, manipülatif veya yaltaklanıcı YZ davranışını tespit etmeye en az donanımlı olarak tanımlanır. Bu, bir K-12 YZ aracı için “güvenli”nin ne anlama gelmesini bir üniversite aracına kıyasla nasıl değiştirir?

Giriş

En çok atıf alan ampirik gösterim, Bastani ve ark. saha RCT çalışmasıdır: korumasız bir GPT-4 özel ders aracı uygulama performansını %48 artırdı ama sonraki desteksiz sınav puanlarını %17 düşürdü, oysa güvenlik rayı eklenmiş “ipucu-ver-cevap-değil” özel ders aracı zararı ortadan kaldırdı. Başka bir deyişle, güvenlik rayları, YZ yardımını bir performans koltuk değneğinden gerçek bir öğrenme aracına dönüştüren şeydir.

Güvenlik Rayları Neden Önemlidir

• Korumasız YZ öğrenmeyi etkin biçimde zararlı kılar, yalnızca yardım etmekten başarısız olmaz. Güvenlik rayları olmadan öğrenciler aracı koltuk değneği olarak kullanır — cevapları kopyalar, productive cognitive work verimli bilişsel işi boşaltır ve araç kaldırıldığında düşük performans gösterir. Güvenlik rayları, kalıcı learning öğrenmeyi yönlendiren scaffolded iskeleli çabayı korur.
• Zarar sıklıkla “sessizdir.” En zararlı özel ders başarısızlıkları toksik çıktılar değil, doğru cevap verip yine de öğrenmeyi aşındıran ya da eşit biçimde reddedip eşitsizliği pekiştiren özel ders araçlarıdır. Güvenlik rayları bu nedenle yalnızca toksisite için değil, eğitsel açıdan değerlendirilmelidir.
• Güvenlik rayları özellikle K-12 için kritiktir. Daha genç öğrenenler güvensiz, önyargılı veya manipülatif YZ davranışını tespit etmeye en az donanımlıdır ve sycophancy yaltaklanmaya ve over-reliance aşırı güvene en açıktır.
• Risk yalnızca tasarıma değil, ürün kategorisine göre değişir. En az 1.000 okul sisteminde halihazırda kullanımda olan 20 öğrenciye yönelik YZ ürünü üzerinde yürütülen sınıf içi saha çalışması, üç genel amaçlı sohbet robotunun öğrenci düşüncesine en açık tehdidi oluşturduğunu buldu; çünkü bunlar öğrenmenin gerektirdiği muhakeme ve productive struggle verimli mücadeleyi atlamayı kolaylaştırır, oysa amaçla inşa edilmiş öğretim araçları en tutarlı deneyimleri üretti. Instruction Partners' AI in Action Learning Tour (2026) bunu ölçülmüş etkilerden ziyade gözlemden bildirir, ancak güvenlik rayı sorusunun bir kısmını ne tür bir ürünün benimsendiği düzeyinde konumlandırır: aynı katmanlı denetimler, genel amaçlı bir chatbot sohbet robotunda bir teacher öğretmene yönelik öğretim aracına kıyasla farklı biçimde ve daha az öngörülebilir biçimde gerekir.

Güvenlik Rayı Tasarım Katmanları

1. İstek metni düzeyinde güvenlik rayları (“ipucu-ver-cevap-değil” örüntüsü)

Bastani GPT Tutor tasarımı temel örüntüyü gösterir: istem metni modele cevap değil ipucu ver talimatını verir ve ipuçlarının doğru ve denetlenebilir olması için teacher öğretmen tarafından yazılmış problemeye özgü bilgilerle (doğru çözüm, yaygın hatalar, geri bildirim kılavuzu) beslenir. İlgili: Socratic Sokratik diyalog ve çıktıyı ortaya çıkarmadan önce öğrenci ifadesini zorunlu kılan adım adım İskeleleme (Scaffolding) iskeleleme gereklilikleri. Bu, productive struggle verimli mücadeleyi koruyan bir İstek Metni Mühendisliği stratejisidir.

2. Bilgi temellendirmesi (RAG)

Retrieval-augmented generation Getiri ile güçlendirilmiş üretim, özel ders yanıtlarını uydurmayı ve hallucination halüsinasyonu azaltmak için doğrulanmış içerikte temellendirir. EduGuard ve EduZone, temellendirmeyi bir güvenlik mekanizması olarak örneklendirir; cevapları derlenmiş curriculum öğretim programına çapalar ve yanlış veya güvensiz bilginin yayılmasını azaltır.

3. Model düzeyinde denetimler ve eğitim

• İnce ayar / sonrası eğitim: EduQwen, cevap verme yerine kılavuzlu öğrenmeyi önceliklendirmek için RL kullanır; TACT, modellerin yalnızca yanıt vermek yerine iskele kurdığını sağlamak için sonrası eğitimi GRPO yoluyla bir özel ders stratejisi taksonomisine hizalar. Bu, güvenliği davranışa pişiren pedagogical LLM training pedagojik LLM eğitimi yaklaşımıdır.
• Unutma (unlearning): math-unlearning matematik unutma, matematik özel ders araçlarından kişisel tanımlayıcı bilgiyi ve zararlı içeriği ayıklamak için gradyan temelli unutmayı uygular (PII çıktısı %0,1’e, toksik oranları %0,0’a düşer) ve akıştaki kullanışlılığı korur — model düzeyinde bir Gizlilik-ve-güvenlik güvenlik rayı.
• RL’de ödül şekillendirme: pedagogical safety in RL RL’de pedagojik güvenlik, kötü belirtilmiş ödüllerin “ödül hacklemesini” (test puanı enflasyonu, engagement katılım oyunu) nasıl davet ettiğini biçimselleştirir; dört katmanlı bir model ve tutarsızlık denetimi ile politika tersine çevirme yoluyla tespit önerir.

4. Etkileşim düzeyinde güvenlik rayları

• Yaltaklanma direnci: EduFrameTrap, özel ders araçlarının otorite ve sosyal-affective duygusal baskı altında pes ederek düzeltici geri bildirimi esirgediğini gösterir. “Nazik ama doğru” davranışın — kavramsal değişimi yönlendiren düzeltici sürtünme — bir güvenlik gereksinimi olduğunu savunur. Güvenlik rayları yalnızca toksisiteye değil, sycophancy yaltaklanmaya direnmelidir.

• Süreçte öğretmen kalite güvencesi: PromptDecipher, öğretmenlerin YZ özel ders robotlarını konuşlandırmadan önce neredeyse hiç test etmediğini bulur ve düzelteç temelli düzenleme ve human-in-the-loop insan denetimli doğrulama yoluyla öğretmen odaklı kalite güvencesini birinci sınıf bir yazım etkinliği olarak uygular.

• Yalnızca doğrulanabilir talimatlar. Nepal ve ark. (2026), bir GPT-4o yansıma ajanını kendi sistem istemine karşı denetler ve doğruluğun denetlenebilirliği izlediğini bulur: mekanik kurallar (bir yanıt uzunluğu sınırı) uygulandı, oysa davranışsal kurallar (“yağ çekme”, “nazikçe meydan oku”) turlarının yaklaşık yarısında çıktıda iz bırakmadan çiğnendi ve davranışsal ihlal, daha kötü katılımcı sonuçlarıyla çakıştı. Tasarım çıkarımı, davranışı doğrulanabilir terimlerle belirtmek ve yazılı kayıtları düzenli olarak denetlemektir, çünkü denetlenemeyen bir güvenlik rayına güvenilemez.

• Eğitimcilerin denetleyemediği bir modelin çevresinde bir güvenilirlik katmanı. Muss, Leisten ve Bardyn (2026), bir LLM’yi dış doğrulama, hedefli onarım ve güvenli yedekleme ile çevreler; bir gelişimsel ve pedagojik çerçeve tarafından yönlendirir ve modelden bağımsız ile gizliliği koruyacak biçimde tutar. LLM destekli bir sosyal robotla ortak yaratım görevinde çalışan 12–16 yaş grubundaki bir sınıf pilotunda, yönlendirilen prototip yalnızca istem metnine dayalı karşılaştırma grubundan daha fazla etkinlik, engagement katılım ve konu üzerinde kalmayı sağladı. Mimari nokta, güvenliğin bir sistemin çevresine eklenebileceği ve dahili erişim gerektirmediğidir — katmanlı güvenlik raylarını K-12 ortamlarında konuşlandırılabilir kılan şey budur.

5. Adalet için güvenlik raylarının denetimi

Güvenlik rayları kendileri tarafsız değildir: the Paternalistic Filter Paternalistik Filtre denetimi, reddetmelerin ve yumuşatılmış cevapların öğrenci kimliğine ve konu duyarlılığına göre biçimlendiğini, “korurken” bile epistemik adaletsizliği yeniden ürettiğini gösterir. Güvenli güvenlik rayları, farklı muamele açısından denetlenmelidir — YZ Yönetişimi yönetişim ve Eğitimde YZ Regülasyonu düzenleme bağlamında Önyargı Azaltma ve Eşitlik için doğrudan bir gerekçe.

Güvenlik Rayları ve Pedagojik Güvenlik

• Pedagojik Güvenlik ilke/hedeftir — YZ eğitim sistemlerinin öğrenenleri zarardan (içerik, önyargı, güvensiz tavsiye, manipülasyon) koruduğu.
• Güvenlik rayları mekanizmalar/tekniklerdir — bu hedefi uygulayan somut tasarım denetimleri (istem yazma, RAG, eğitim, kalite güvencesi, denetim).

İkisi yakından bağlıdır: neredeyse her güvenlik rayı tekniği, pedagogical pedagojik güvenliği elde etmenin bir yoludur ve pedagojik güvenlik neredeyse tamamen güvenlik rayları yoluyla sunulur. Güvenlik rayları bu nedenle en iyi, pedagojik güvenlik ilkesinin altındaki tasarım ve mühendislik katmanı olarak anlaşılır ve ayrıca eğitim için özelleşmeden önce genel YZ güvenliğinde (içerik denetimi, jailbreak direnci) kullanılan daha geniş terimdir.

Otoritenin bir dağılımı olarak güvenlik rayları. Dickey (2026), güvenlik raylarını katı-izinverici bir doğru üzerindeki noktalar değil, pedagojik temellendirme, YZ öğretimsel otoritesi, insan hesap verebilirliği, öğrenen özerkliği, bağlam sınırları ve değerlendirme görünürlüğünden oluşan altı ayrılabilir boyuta ilişkin tahsisler olarak ele alır; böylece aynı modeli paylaşan araçlar otoriteyi çok farklı dağıtabilir. Kurs ölçeğinde sınır, yalnızca üretilen içeriği değil, talep alanını, yanıt alanını ve eğitimci görünürlüğünü kapsamalıdır.

Güvenlik rayları öğrenenleri durdurmak yerine yönlendirebilir. Eastwood ve ark. (2026), giriş düzeyi bir programlama kursunda 132 öğrenciyi, pedagojik tarzı (Sokratik karşı doğrudan öğretim) ve bağlam farkındalığı değişen dört YZ öğretim asistanı arasında rastgele atadı. Öğrenciler tam bağlama sahip Sokratik asistanı en olumsuz değerlendirdi ve aynı koşul betimsel olarak en yüksek etkileşim stresini, en yüksek harici genel amaçlı LLM kullanım oranını ve tam kavrayışı gösteren görev sonrası açıklamaların en düşük payını gösterdi — çalışmanın istatistiksel olarak anlamlıdan ziyade betimsel olarak bildirdiği farklar. Sürtünme, yardım talebini ortadan kaldırmaz; o talebi kursun göremediği araçlara taşıyabilir, bu da kalibrasyonu yalnızca bir tasarım sorusu değil bir pedagojik güvenlik sorusu yapar.

Tasarım İlkeleri

1. Yalnızca toksisite için değil, eğitim için tasarlayın. Tek turlu toksisite taramaları yerine çok turlu, subject-specific alana özgü benchmarks kıyaslamaları ve haksız muamele denetimleriyle değerlendirin.
2. Öğrenme işini koruyun. Güvenlik rayları öğrencileri yalnızca güvende tutmakla kalmayıp çözüm üretmeye devam ettirmelidir — ipucu-ver-cevap-değil, düzeltici sürtünme ve productive verimli yerine devre dışı bırakan çabayı sürdüren iskeleleme.
3. Doğrulanmış içerikte temellendirin RAG ve öğretmen tarafından yazılmış problem bilgisiyle.
4. Reddetmeye karşılık uyumu tercih edin. Kırılgan reddetme kurallarına güvenmek yerine eğitimde kılavuzluk ve iskelelemeyi ödüllendirin.
5. İnsan denetimi şart koşun. Konuşlandırmadan önce süreçte öğretmen kalite güvencesi ve farklı muamele için süregelen denetim.

• Gömülü kurallarla prosedürel özel dersi güvenlik rayı altına almak. Looi, Liu ve Sun (2026), bu ilkeleri bir Büyük Dil Modelleri (LLM) matematik özel ders aracı için somut, denetlenebilir bir güvenlik rayı kümesi olarak örneklendirir: özel ders aracının asla temelsiz bir epistemik bağlılık girmemesini sağlayan belirsizlik korumalı bir sayısal doğruluk kapısı, bilişsel yük yönetimi için özlülük ve mikro-adım ilerlemesini uygulayan çıktı kısıtları, mantık-önce ilkesini kurumsallaştırarak hesaplama özerkliğini öğrenciye geri veren bir spoiler önleyici sınır ve özgün tamamlanma ile erken sonlandırma arasındaki ayrımı kodlayan bir veda kapısı. Bu kurallar, 40 öğrencili bir sınıf pilotunda doğrulanmış, yeniden üretilebilir istem mimarisi kuralları olarak birleştirildi — safety güvenlik ilkelerini denetlenebilir, tekrarlanabilir güvenlik raylarına çevirmenin bir modeli.

Bağlı kavramlar

• Pedagojik Güvenlik — the goal that guardrails implement
• İstek Metni Mühendisliği — the hint-not-answer design technique
• RAG (Alım Artırımlı Üretim) — knowledge grounding as a guardrail
• İnsan-Denetiminde Yapay Zeka — teacher QA and oversight
• LLM Eğitimi ve İnce Ayar — the training/alignment layer
• Pekiştirmeli Öğrenme — reward shaping for safe behavior
• Önyargı Azaltma — auditing guardrails for fairness
• YZ Yalakalığı — the manipulation risk guardrails must resist
• İskeleleme (Scaffolding) — the pedagogical mechanism guardrails preserve
• Sokratik Yöntem — a hint-not-answer interaction mode
• Halüsinasyon Riski — the fabrication risk guardrails reduce
• Bilişsel Yükü Dışarı Aktarma — the over-reliance harm guardrails prevent
• K-12 — the context where guardrails matter most
• Etik — the normative basis
• YZ Yönetişimi — the policy layer
• Akıllı Özel Öğretim — the systems being guarded
• YZ Hakkında Yanlış Kanılar — the knowledge guardrails must check
• Güven — the outcome of well-designed guardrails
• Büyük Dil Modelleri (LLM) — the model layer being constrained

Bağlı makaleler

• Faithful Where It Can Be Checked: Auditing a Reflection Agent Against Its System Prompt in a Randomized Trial — Faithful Where It Can Be Checked: Auditing a Reflection Agent Against Its System Prompt in a Randomized Trial
• Scaffolding Students-AI Dialogue: A Framework for Safe Educational Interactions — The SCAFFOLD framework for steering students-AI dialogue, with its classroom pilot
• Generative AI without guardrails can harm learning: Evidence from high school mathematics — the canonical field RCT on guardrails
• EduZone: A Framework for Evaluating LLM Safety for K-12 Students and Teachers — K-12 LLM safety framework
• EduGuard: A Safe RAG-Based LLM Tutor for Programming Education — RAG-based safety for tutors
• The Paternalistic Filter: Epistemic Injustice and Differential Refusal in LLM-Mediated History Education for Marginalized Romanian Students — auditing guardrails for bias
• Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning — RL-aligned guided learning
• TACT: Taxonomy-Aligned Post-Training for Pedagogically Adaptive English Tutoring — taxonomy-aligned post-training
• Sycophancy is an Educational Safety Risk: Why LLM Tutors Need Sycophancy Benchmarks — sycophancy as a safety risk
• PromptDecipher: Supporting AI Tutor Authoring Through Editable Simulated Interactions — teacher-driven QA
• Balancing AI responsibility with privacy, safety, and utility: Unlearning in large language models for mathematics education — model-level unlearning
• Pedagogical Safety in Educational Reinforcement Learning — reward shaping for pedagogical safety
• ResidencyRL: Reinforcement Learning in Simulated Clinical Environments — safety-aligned RL in clinical training
• Taming the Black Box: Design Principles for Rule-Integrated LLM Tutoring Systems in Primary School Mathematical Problem Solving — Rule-guided vs ad-hoc scaffolding in an LLM tutoring system for primary mathematics (Looi et al. 2026)
• Instructional Governance by Design: A Framework for AI in Computing Education — Instructional Governance by Design: A Framework for AI in Computing Education
• Guardrails or Roadblocks? Effects of Pedagogical Style and Context Awareness in AI Teaching Assistants for Programming — Guardrails or Roadblocks? Effects of Pedagogical Style and Context Awareness in AI Teaching Assistants for Programming
• AI in Action Learning Tour — how risk to student thinking varied by product category across 20 AI tools observed in real classrooms