একটি শিক্ষামূলক এআই শুধু ভালো স্কোর নয়, সঠিকভাবে কাজ করছে কি না, তা আমরা কীভাবে জানব?

ইংরেজি পাতার এই স্বয়ংক্রিয় অনুবাদ, এখনও মাতৃভাষিক বক্তার দ্বারা পর্যালোচনা করা হয়নি।

একটি বিক্রেতার মূল্যায়ন-প্রতিবেদন এসে পড়ে, উপরে একটি সংখ্যা: মানব গ্রেডারদের সঙ্গে মিল, 0.84। অথবা আপনার পাইলট শুক্রবার শেষ হবে, আর প্রমাণ বলতে আছে একটি সন্তুষ্টি-সমীক্ষা এবং মডেলের রিলিজ নোট থেকে কপি করা একটি বেঞ্চমার্ক লাইন। সভায় কেউ জিজ্ঞেস করে সিস্টেমটি কাজ করে কি না, আর আপনার হাতে একটি সংখ্যা আছে যা উত্তরের মতো শোনায়।

সংক্ষিপ্ত উত্তর: আপনি যে স্কোরগুলো সবচেয়ে বেশি দেখেন তা সাদৃশ্য মাপে, আর সাদৃশ্য “এটি শেখায়” বা এমনকি “এই ফিডব্যাক পাঠযোগ্য”-এর চেয়েও দুর্বল দাবি। ঠিক করুন প্রতিটি সংখ্যা কী প্রমাণ করতে পারে, আপনার সিস্টেমের প্রতিটি আউটপুট স্কোর করুন, এবং নির্ভুলতাকে একটি নিয়মে বদলান, যার সঙ্গে একটি সীমা, একজন মানুষ ও একটি সাশ্রয় যুক্ত। যে সংখ্যা নিয়ে কেউ কিছু করতে পারে না, তা প্রমাণ নয়।

সংক্ষেপে

1. আপনি কী নিয়ে চিন্তিত তা এক বাক্যে লিখুন, তারপর এমন পরিমাপ বাছুন যা সেই জিনিসটাই পড়ে। শব্দের মিল আপনাকে বলবে না যুক্তিটি সঠিক কি না।

2. প্রতিটি আউটপুট আলাদাভাবে মূল্যায়ন করুন। ভালো গ্রেডিং স্কোর পাশের ফিডব্যাক মডিউল সম্পর্কে কিছুই বলে না।

3. প্রায় পঞ্চাশটি আউটপুট একজন মানুষ দিয়ে রেট করান এবং সেই রেটিং আপনার স্বয়ংক্রিয় যাচাইকের সঙ্গে মিলিয়ে দেখুন। যেখানে দুটো অমিল, সেখানে যাচাইকই পরীক্ষার বিষয়।

4. “নির্ভুলতা 0.84”-এর বদলে একটি নিয়ম দিন: এই আস্থার নিচে থাকলে একজন মানুষ উত্তরটি পড়বেন। সীমা, তাতে যে অংশের কাজ বাঁচে এবং মিল কী হলো, তা প্রতিবেদন করুন।

5. পুরো কথোপকথন জুড়ে নিরাপত্তা পরীক্ষা করুন, এবং কোনো অনুকৃত শিক্ষার্থী আপনার টিউটর সম্পর্কে কী বলে তা বিশ্বাস করার আগে তাকেও যাচাই করুন।

সংখ্যাটি কী প্রমাণ করতে পারে, তা ঠিক করুন

এই সাহিত্যে দুই ধরনের সংখ্যা প্রধান। দুটোই মাপে আপনার আউটপুট অন্য কিছুর সঙ্গে কতটা মেলে, যা শুদ্ধতার চেয়ে দুর্বল দাবি।

সাদৃশ্য স্কোর (ROUGE ও BLEU) আপনার সিস্টেমের উত্তরের শব্দচয়নকে একটি আদর্শ উত্তরের শব্দচয়নের সঙ্গে তুলনা করে। যে মডেল প্রত্যাশিত পাঠ্যের কাছাকাছি কিছু লেখে সে ভালো স্কোর পায়, যদিও তার যুক্তি ভুল, বা শিক্ষার্থী এমন পথে সঠিক উত্তরে পৌঁছাতে পারে যা কিছুই শেখায় না।

মিলের স্কোর (QWK, কোয়াড্রাটিক ওয়েটেড কাপা) মাপে মডেলের গ্রেড কতটা মানুষের সঙ্গে মেলে। মডেল চূড়ান্ত নম্বরে গ্রেডারের সঙ্গে মিলতে পারে, অথচ কেন তা ভুল হয়, আর সেই “কেন”-ই সেই অংশ যা থেকে শিক্ষার্থী শেখে।

শিক্ষার্থী ভুল পথে ভুল উত্তরে পৌঁছাতে পারে, যা দেখতে সঠিক পথের মতো, আর কোনো সাদৃশ্য স্কোর তা ধরতে পারে না। যদি যুক্তিই আপনার আগ্রহের বিষয় হয়, পরিমাপকে তা পড়তেই হবে: একজন মানুষের প্রয়োগ করা রুব্রিক, বা ঠিক সেই ধাপটির জন্য লেখা একটি যাচাই।

Linear Control Systems কোর্স সহায়কটি এটি সঠিকভাবে প্রতিবেদন করে। এর সেরা কনফিগারেশন আদর্শ উত্তরগুলোর বিপরীতে 0.4093 সাদৃশ্য স্কোর পায়, এবং উন্নতিটি নির্ভরযোগ্যভাবে শূন্যের উপরে মাপা হয়েছে, আর লেখকেরা স্পষ্ট বলেন যে সংখ্যাগুলো শব্দচয়ন ও বিন্যাস মাপে (LoRA Fine-Tuned Models for Control Systems Course Q&A: A Multidimensional Evaluation of Model Scale and Rank Effects)। স্কোরটি চিত্তাকর্ষক নয়, তবু পেপারটি কাজে লাগে, কারণ এটি বলে স্কোরটি কী কভার করে।

প্রতিটি আউটপুট আলাদাভাবে স্কোর করুন

WrAFT প্রকল্পে ফাইন-টিউন করা একটি মডেল 360টি আলাদা রাখা TOEFL প্রবন্ধে মানব গ্রেডারদের সঙ্গে 0.84 মিলের স্কোর পায়। গ্রেডিংয়ের জন্য এটি শক্তিশালী ফল। একই প্রকল্পের যে মডেল ফিডব্যাক লিখতে প্রশিক্ষিত হয়েছিল তার আউটপুট এসেছিল কাটা ও পার্স করার অযোগ্য, অথচ ভিন্ন একটি মডেলকে শুধু প্রম্পট করলে শিক্ষকেরা যে ফিডব্যাককে বেশি পছন্দ করেন তা তৈরি হলো (WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays)।

জ্ঞানভিত্তি একই ব্যর্থতা দ্বিতীয় রূপেও বহন করে: এমন একটি প্রয়োগ যার গ্রেডিং মডিউল ভালো স্কোর করেছে, অথচ ফিডব্যাক এসেছে বাক্যের মাঝখানে কাটা ও অপাঠ্য। প্রধান সংখ্যায় কিছুই তা বলেনি।

তাই আপনার সিস্টেম যে আউটপুটগুলো তৈরি করে তার তালিকা করুন, তারপর প্রত্যেকটিকে তার নিজের পরিমাপ ও নিজের উত্তীর্ণ-শর্ত দিন। গ্রেডিং, ফিডব্যাক পাঠ, সংকেত-নির্বাচন ও নিরাপত্তা-অস্বীকার ভিন্ন ভিন্নভাবে ব্যর্থ হয়, আর মডিউল-স্তরের স্কোর নিজের মডিউলের বাইরে দেখতে পায় না।

মডেল যেখানে নিশ্চিত নয়, সেখানে একজন মানুষ রাখুন

একটি সহসম্পর্ক আপনাকে বলে মডেলটি সাধারণত সঠিক। মডেল যেখানে সঠিক নয়, সেখানে কী করবেন তা বলে না। আস্থা-রাউটিংয়ের ফলটি জ্ঞানভিত্তির সবচেয়ে পরিষ্কার ছাঁচ, এবং নকল করার মতো যথেষ্ট ছোট।

আস্থা একটি নির্ভরযোগ্য বিপদসংকেত হিসেবে বেরিয়ে আসে: মডেল যখন নিশ্চিত নয়, তখন ভুল হওয়ার সম্ভাবনা বেশি (β = -0.602, p < .001)। দলটি সবচেয়ে কম আত্মবিশ্বাসী 20% উত্তর একজন মানুষের কাছে পাঠায়। সেই একটি নিয়মই মানব গ্রেডের সঙ্গে মিল 0.78 থেকে 0.82-এ তোলে এবং হাতে গ্রেডিংয়ের কাজ প্রায় 80% কমায় (Know When to Trust: Making AI Scoring More Reliable for Educational Assessment)।

দেখুন প্রতিবেদনে কী আছে: একটি সীমা, একজন মানুষ, এবং একটি সাশ্রয়। “মিল 0.84”-এ এর কোনোটিই নেই, তাই তা নিয়ে কাজ করা কঠিন এবং তর্ক করা সহজ।

আপনার স্বয়ংক্রিয় যাচাইকরণ একজন মানুষের সঙ্গে মিলিয়ে দেখুন

অনেক দল এখন প্রথমটি বিচার করতে দ্বিতীয় একটি মডেল ব্যবহার করে। ব্যবস্থাটি যুক্তিসঙ্গত, আর দ্বিতীয় মডেল স্বয়ংক্রিয়ভাবে সঠিক নয়।

একটি গবেষণা যেখানে একটি ফ্রন্টিয়ার মডেল বুদ্ধিমান টিউটরিং সিস্টেমের জন্য সংকেত লিখেছিল, দেখা যায় তাদের প্রায় 35% অতিসাধারণ, ভুল, অথবা উত্তরটিই বলে দিয়েছিল, আর মডেলের নিজের স্বয়ংক্রিয় গুণমান-যাচাই কোনগুলো খারাপ তা নিয়ে মানব বিচারের সঙ্গে অমিল ছিল (Generating In-Context, Personalized Feedback for Intelligent Tutors with Large Language Models)।

ব্যবহারিক রূপ: প্রায় পঞ্চাশটি আউটপুটের একটি নমুনা নিন, একজন মানুষ দিয়ে রেট করান, এবং তা আপনার যাচাইকের রেটিংয়ের সঙ্গে মিলিয়ে দেখুন। যেখানে দুটো ভিন্ন হয়, সেখানে আপনি যাচাইক সম্পর্কে কিছু শিখলেন। নমুনা ও অমিলের টেবিলটি রেখে দিন, কারণ এটিই সেই নমুনা যা “আপনি কীভাবে জানলেন” জিজ্ঞেস করা পর্যালোচকের উত্তর দেয়।

কাজটি সুযোগ দিলে মূল রাশিটিই পরিমাপ করুন

সবচেয়ে পরিষ্কার সমাধান হলো মডেলকে সেই রাশির উপরই প্রশিক্ষণ দিন যা আপনি মাপতে চান। একটি ফাইন-টিউন করা মডেলকে প্রশিক্ষণ দেওয়া হয় পরীক্ষার প্রশ্নের পরিসংখ্যানগত বৈশিষ্ট্য পুনরুৎপাদন করতে: প্রতিটি আইটেম কত কঠিন, তা শক্তিশালী ও দুর্বল শিক্ষার্থীদের কত ভালোভাবে আলাদা করে। মডেলকে বলে না দিয়ে এটি সেই ধাঁচগুলো শিখে নিয়েছে (Multimodal Item Parameter Estimation using Simulated Response Probabilities)। লক্ষ্যটি যেহেতু মূল্যায়নেরই একটি বৈশিষ্ট্য ছিল, মূল্যায়নটি সেই বৈশিষ্ট্য নিয়ে হতে পেরেছে, শব্দচয়ন নিয়ে নয়।

শেষবিন্দুর সঙ্গে অগ্রগতিও প্রতিবেদন করুন। SWIM-এর লেখা-সিমুলেটর প্রতিটি পর্যায়ের স্কোর পাশাপাশি প্রকাশ করে: রুব্রিক-ভিত্তিক প্রম্পটিং 0.577, ফাইন-টিউনিং 0.474 ± 0.023, রিইনফোর্সমেন্ট লার্নিং 0.618 ± 0.005 (SWIM: Student Writing Simulation via Proficiency-Conditioned Generation)। সেই টেবিল থেকে পাঠক দেখতে পান প্রশিক্ষণ কিছু করেছে কি না। একটি একক চূড়ান্ত সংখ্যা তা বলতে পারে না, আর তা এমন একটি পর্যায় ঢেকে দেয় যেখানে ফাইন-টিউন করা মডেল প্রম্পটের চেয়ে খারাপ করেছে।

আপনার প্রকল্পের বাইরের কিছুর সঙ্গে তুলনা করুন

আগে একটি ভিত্তিরেখা নিন, সস্তা হলেও। কোর্স সহায়কটির গ্রাউন্ডিং-হীন মডেল সাধারণ কীওয়ার্ড অনুসন্ধানের চেয়েও কম স্কোর করেছে, যা এমন ফল যা রোডম্যাপ বদলে দেয় আর খুঁজে পেতে একদিন লাগে।

তারপর একটি বাইরের বেঞ্চমার্ক বলে আপনার সংখ্যাটি আদৌ ভালো কি না। CDPK শিক্ষাবিজ্ঞান বেঞ্চমার্কে EduQwen পায় 96.52%, Gemini-3 Pro-র 90.55%-এর বিপরীতে (Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning)। Pedagogy Benchmark, যা বাস্তব শিক্ষক-পেশাগত উন্নয়ন পরীক্ষা থেকে তৈরি এবং 97টি মডেল কভার করে, নির্ভুলতা পায় 28% থেকে 89% পর্যন্ত (Lelièvre প্রমুখ, 2025)।

শিক্ষাদান সংক্রান্ত একটি কাজে মডেলগুলো দুর্বল থেকে ভালো পর্যন্ত ছড়িয়ে ছিল, তাই একটি বেঞ্চমার্ক-ফল আপনার সিস্টেমকে একটি বিস্তৃত পরিসরের ভেতরে কোথাও রাখে।

পুরো একটি কথোপকথন জুড়ে নিরাপত্তা পরীক্ষা করুন

বেশিরভাগ নিরাপত্তা-পরীক্ষা একটি একক বিনিময় দেখে। টিউটরিংয়ে যে ক্ষতিগুলো গুরুত্বপূর্ণ, তা জমা হয়। SafeTutors দেখে, এমনকি বিশেষভাবে শিক্ষাদানের জন্য তৈরি মডেলও দীর্ঘ কথোপকথনে অবনতি ঘটায় এবং যে উত্তর গোপন রাখা উচিত তা প্রকাশ করে দিতে পারে (SafeTutors: Benchmarking Pedagogical Safety in AI Tutoring Systems)।

পরীক্ষাটি সম্পূর্ণ কথোপকথন জুড়ে চালান, এবং পরীক্ষার পালাগুলো ইচ্ছাকৃতভাবে লিখুন: যে শিক্ষার্থী ভুল বলে, যে বারবার চাপ দেয়, যে মডেলকে তার ভূমিকা থেকে সরিয়ে নেওয়ার চেষ্টা করে। যে টিউটর দশ পালা ধরে থাকে আর এগারোতমে ভেঙে পড়ে, সে সেই পরীক্ষায় ব্যর্থ হয় যা গুরুত্বপূর্ণ, অথচ প্রতি-উত্তরের সেট তাকে পরিচ্ছন্ন বলে স্কোর করবে।

অনুকৃত শিক্ষার্থীকে বিশ্বাস করার আগে তাকে যাচাই করুন

বাস্তব শিক্ষার্থী খুঁজে আনার বদলে অনুকৃত শিক্ষার্থী তৈরি করা মূল্যায়নকে অনেক সস্তা করে। অনুকৃত শিক্ষার্থীও একটি পরিমাপ-যন্ত্র, আর যন্ত্র যেভাবে ভুল করে সেভাবেই সে ভুল করতে পারে: অতিরিক্ত সহযোগী, অতিরিক্ত সাবলীল, সংকেত গ্রহণে অতিরিক্ত তৎপর।

জ্ঞানভিত্তির সবচেয়ে সরাসরি পরীক্ষাটি অনুকৃত ও প্রম্পট করা শিক্ষার্থীদের মিলিয়ে দেখেছে 382টি আলাদা রাখা সংলাপ-এর সঙ্গে, যা বাস্তব শিক্ষার্থী-টিউটর গণিত সংলাপের বৃহত্তম প্রকাশ্য সংগ্রহ থেকে নেওয়া, এবং ভাষা, আচরণ ও চিন্তন কভার করা সাতটি পরিমাপ ব্যবহার করেছে (Simulated Students in Tutoring Dialogues: Substance or Illusion?)। অন্য কাজ ভিন্ন দিক থেকে বাস্তবতা নিয়ে চাপ দেয়: INSIDE মডেলকে শিক্ষার্থীর মতো অভিনয় ও ভাবতে উভয়ই প্রশিক্ষণ দেয়, আর ইতিহাস-সচেতন প্রোফাইল অনুকরণকে স্থির ব্যক্তিত্বের বদলে শিক্ষার্থীর অতীতের উপর নির্ভরশীল করে (Who Am I? History-Aware Profiles for Student Simulation in Tutoring Dialogues)।

আপনার কাঠামো যদি একটি অনুকৃত শিক্ষার্থী হয়, তবে তাকে দিয়ে আপনার টিউটর গ্রেড করানোর আগে বাস্তব প্রতিলিপির বিপরীতে সিমুলেটরটির বৈধতা যাচাই করুন।

মূল্যায়ন দলগুলো যা ভুল বোঝে

উচ্চ মিলের স্কোর মানে সিস্টেমটি সঠিক, নয়। এর মানে সিস্টেমটি সেই গ্রেডারের মতো গ্রেড করে যার সঙ্গে আপনি মিলিয়েছেন, এবং সেই প্রবন্ধগুলোতে যা নিয়ে আপনি মিলিয়েছেন। WrAFT-এর 0.84-এর সঙ্গে এসেছিল এমন ফিডব্যাক যা পার্স হয় না।

একটি সংখ্যা গোটা পণ্যের প্রতিনিধি হতে পারে না। দলগুলো ড্যাশবোর্ড পাঠায় যার কোণে “নির্ভুলতা 0.84” আর ফিডব্যাক মডিউল, সংকেত-নীতি বা অস্বীকার-আচরণের জন্য কোনো ঘর নেই। মডিউল-স্তরের স্কোরই গণনা করা সবচেয়ে সহজ সংখ্যা এবং প্রতিবেদন করার সবচেয়ে কম তথ্যবহ সংখ্যা।

বাইরের বেঞ্চমার্ক টুলটি কাজ করে কি না তা নিষ্পত্তি করে না। Pedagogy Benchmark-এর 28% থেকে 89% বিস্তার বলে কাজের পরিবারটি কঠিন এবং অসমভাবে পরিবেশিত। সেই পরিসরে আপনার অবস্থান আপনার মডেল সম্পর্কে একটি তথ্য। আপনার শিক্ষার্থীরা পরে কী করতে পারে, তা আলাদা তথ্য।

একটি মডেল দিয়ে আরেকটি মডেল বিচার করানো মানব রেটিংয়ের সস্তা বিকল্প নয়। এটি সস্তা, হ্যাঁ। 35% সংখ্যাটি এবং কোন সংকেতগুলো খারাপ তা নিয়ে অমিলটি বর্ণনা করে এমন বিচারক কী ছাড় দেবে যা কখনও যাচাই করা হয়নি।

অনুকৃত শিক্ষার্থীরা মূল্যায়নকে বিনামূল্যে করে না। তারা তা সস্তা করে, আর খরচটি বৈধতা-যাচাইয়ের দিকে সরিয়ে দেয়। 382-সংলাপের তুলনাটি আছে কারণ যন্ত্রটির ক্রমাঙ্কন দরকার ছিল।

যা আপনার দিকে ফিরে আসবে

“এর জন্য আমাদের অ্যানোটেটর নেই।” শুরু করার জন্য পঞ্চাশটি রেট করা আউটপুট যথেষ্ট। অন্য কেউ ফাঁকা না থাকলে আপনি নিজেই রেট করুন, এবং শিটটি রেখে দিন।

“আমাদের বেঞ্চমার্ক স্কোর Gemini-কে ছাড়িয়ে যায়।” যায়, CDPK-তে, সেই বেঞ্চমার্ক যে প্রম্পট ব্যবহার করে তাতে। তার পাশে সাহায্যহীন পরিমাপটি আনুন।

“আমাদের স্বয়ংক্রিয় বিচারক আমাদের মানব রেটারদের সঙ্গে মিলে যায়।” তাহলে আপনার হাতে একটি নমুনায় একটি সহসম্পর্ক আছে। জিজ্ঞেস করুন কোন আউটপুটগুলোতে অমিল হয়েছিল এবং সেগুলো পড়ুন, কারণ ব্যর্থতা সেখানেই বাস করে।

“চালুর আগে পূর্ণ মূল্যায়ন চালানোর সুযোগ আমাদের নেই।” সস্তা তিনটি চালান: একটি আউটপুট আলাদাভাবে স্কোর করা, পঞ্চাশটি আউটপুট একজন মানুষ দিয়ে রেট করানো, একটি কথোপকথন-দৈর্ঘ্যের নিরাপত্তা-পাস। ব্যয়বহুল বিষয়গুলো পাইলটের পরে হতে পারে।

“সিস্টেমটি কেবল একটি ডেমো, তাই মূল্যায়ন অকাল।” আপনার সংখ্যাটি শব্দচয়ন মাপে, তা জানার সবচেয়ে সস্তা জায়গা ডেমো। একবার তার সঙ্গে রোডম্যাপ যুক্ত হলে একই ফল নিয়ে কাজ করার খরচ বাড়ে।

এই সপ্তাহে কী করবেন

1. আপনার মূল্যায়ন যে এক-বাক্যের দাবি সমর্থন করার কথা, তা লিখুন। মূল্যায়ন-নথির উপরে তা রাখুন।

2. সিস্টেম যে প্রতিটি আউটপুট তৈরি করে তার তালিকা করুন এবং প্রত্যেকটিকে একটি সারি, একটি পরিমাপ ও একটি উত্তীর্ণ-শর্ত দিন।

3. পঞ্চাশটি আউটপুট টেনে নিন, নিজে রেট করুন, এবং আপনার রেটিং যাচাইকের পাশে রাখুন।

4. আস্থার বণ্টন গণনা করুন এবং রাউটিং-নিয়মটি একটি সংখ্যাসহ লিখুন, সঙ্গে সেই ব্যক্তির নাম যিনি নিচে পড়া উত্তরগুলো পড়বেন।

5. একটি নিরাপত্তা-কথোপকথন চালান যেখানে শিক্ষার্থী ভুল বলে, দুইবার পাল্টা চাপ দেয়, এবং উত্তরটি চায়।

এরপর কোথায় যাবেন

আমরা কীভাবে এআই-কে নিজের বিষয়ে শিখন সমর্থনে আরও ভালো করতে পারি একই সমস্যার নকশার দিকটি কভার করে। উত্তর না দিয়ে পথ দেখাতে এআই টিউটরকে প্রশিক্ষণ টিউটরিং-আচরণে পৌঁছানোর প্রশিক্ষণ-পথ সামলায়, আর এআই হস্তক্ষেপ মূল্যায়নের পদ্ধতি এই প্রশ্নের প্রশিক্ষক-মুখী সংস্করণ, যার গবেষণা-মুখী সংস্করণ এআই শিক্ষা গবেষণার প্রতিবেদন ও ব্যাখ্যা। পদ্ধতিগুলো আছে এআই শিক্ষার মূল্যায়ন ও বৃহৎ ভাষা মডেলের প্রশিক্ষণ ও ফাইন-টিউনিং-এর অধীনে।