স্বয়ংক্রিয় প্রবন্ধ মূল্যায়ন

ইংরেজি পাতার এই স্বয়ংক্রিয় অনুবাদ, এখনও মাতৃভাষিক বক্তার দ্বারা পর্যালোচনা করা হয়নি।

স্বয়ংক্রিয় প্রবন্ধ মূল্যায়ন (AES) — লিখিত প্রবন্ধ মূল্যায়ন ও স্কোরিংয়ের জন্য এআই-এর ব্যবহার, যা প্রচলিত পরিসংখ্যানভিত্তিক পন্থা, ফাইন-টিউন করা ভাষা-মডেল এবং ক্রমেই সহজলভ্য বৃহৎ ভাষা মডেল (এলএলএম)-ভিত্তিক প্রম্পটিং কৌশল পর্যন্ত বিস্তৃত। এই জ্ঞানভিত্তিতে AES গবেষণা স্কোরিংয়ের নির্ভুলতা, ন্যায্যতা ও পক্ষপাত, সাইকোমেট্রিক বৈধতা এবং শিক্ষকদের জন্য ব্যবহারিক সহজলভ্যতা নিয়ে কাজ করে।

বিবেচনার প্রশ্ন

• স্বয়ংক্রিয় প্রবন্ধ মূল্যায়ন প্রচলিত পরিসংখ্যানভিত্তিক মডেল থেকে এলএলএম-ভিত্তিক প্রম্পটিংয়ের দিকে সরে এসেছে। এই পাতার একটি মূল টানাপোড়েন নির্ভুলতা ও সহজলভ্যতার মধ্যে — ফাইন-টিউন করা মডেল ভালো স্কোর দেয়, কিন্তু অধিকাংশ শিক্ষকের জন্য তা অবাস্তব। আপনার নিজের প্রেক্ষাপটে কোনটিকে অগ্রাধিকার দিতেন, এবং কেন?
• একটি প্রধান ফলাফল হলো, প্রম্পটে কেবল আদর্শ নমুনা-প্রবন্ধ যুক্ত করলেই এলএলএম ও মানুষের মধ্যে ঐকমত্য মানব-মানব নির্ভরযোগ্যতার কাছাকাছি চলে আসে — এবং একটি সস্তা মডেলও দামি মডেলের সমান ফল দিতে পারে। এটি কী বলে: AES-এর গুণমানের কতটা মডেলের ওপর এবং কতটা প্রম্পটিংয়ের ধরনের ওপর নির্ভর করে?
• পাতা সতর্ক করে, এআই স্কোরিং ভাষাগতভাবে বৈচিত্র্যময় পটভূমির শিক্ষার্থীদের পদ্ধতিগতভাবে কম অনুমান করতে পারে। পড়ার আগে ভাবুন: যদি দেখতেন একটি এআই অ-মাতৃভাষী শিক্ষার্থীর প্রবন্ধকে কম স্কোর দিয়েছে, আপনি কি ধরে নিতেন এটি 'পক্ষপাতের সমস্যা' নাকি শুধু 'স্কোরটাই এমন'? কীভাবে আপনার প্রতিক্রিয়া বদলাত?
• একটি আত্ম-সাপেক্ষ পন্থা L2 লেখকদের মূল্যায়ন করে তাদের লেখাকে মাতৃভাষী-আদর্শের সঙ্গে নয়, বরং তাদের নিজেদের পূর্ববর্তী কাজের সঙ্গে তুলনা করে। তুলনার ভিত্তি বাছাই কীভাবে একটি স্কোরের অর্থ বদলে দেয় — এবং কোন শিক্ষার্থীদের প্রতি এটি বেশি ন্যায্য হতে পারে?
• গ্রেডিংয়ের বদলে যখন প্রতিক্রিয়া দেওয়ার কাজে ব্যবহৃত হয়, তখন AES গঠনমূলক মূল্যায়নের সঙ্গে ছেদ করে। কখন একটি মেশিনের প্রতিক্রিয়া বিকাশমান লেখকের কাছে সত্যিই কাজে লাগে, আর কখন এটি মানব সম্পাদক যে ধরনের গুণগত প্রতিক্রিয়া দিতেন তা চেপ্টা করে ফেলতে পারে?

ভূমিকা

শিক্ষা-প্রযুক্তিতে স্বয়ংক্রিয় প্রবন্ধ মূল্যায়নের দীর্ঘ ইতিহাস আছে — প্রাথমিক পরিসংখ্যানভিত্তিক মডেল থেকে আধুনিক এলএলএম-ভিত্তিক পন্থা পর্যন্ত, যা বড় পূর্ব-স্কোরকৃত ডেটাসেট ছাড়াই সামগ্রিকভাবে প্রবন্ধ মূল্যায়ন করতে পারে। AES গবেষণার মূল টানাপোড়েন নির্ভুলতা ও সহজলভ্যতার মধ্যে — ফাইন-টিউন করা মডেল শক্তিশালী ফলাফল দেয়, কিন্তু সেগুলো সম্পদ-নিবিড় এবং অধিকাংশ শিক্ষকের জন্য অবাস্তব।

• Zhang ও অন্যান্য RACES পুরস্কার-সঙ্গতি ব্যবহার করে এলএলএম প্রবন্ধ-স্কোরিংকে একই সঙ্গে নির্ভুল ও সুসংগত করে, যা AES-এর একটি মূল বৈধতা-উদ্বেগের সমাধান করে।

Xu, Lu ও Abdi (2026) বারোটি গবেষণা পর্যালোচনা করেন, যেগুলো EFL একাডেমিক লেখার এআই ও মানব স্কোরিং তুলনা করে, এবং সামগ্রিকভাবে মাঝারি সঙ্গতি রিপোর্ট করেন — পৃষ্ঠতলীয় ভাষাগত বৈশিষ্ট্যে সবচেয়ে শক্তিশালী, আর সংগঠন, সুসংগতি ও যুক্তি-বিকাশে সবচেয়ে দুর্বল, এবং ন্যায্যতা বিরলভাবে পরীক্ষিত।

ঊর্ধ্ব-প্রাথমিক স্তরের পাঠ-প্রতিক্রিয়া লেখায় Correnti ও অন্যান্য (2026) দেখেন, শিক্ষার্থীদের প্রমাণ-ব্যবহার নিয়ে স্বয়ংক্রিয় প্রতিক্রিয়া বৈশিষ্ট্য-স্কোর উন্নত করেছে, আর সংশোধনের গুণমান নির্ভর করেছে শিক্ষকেরা সেই প্রতিক্রিয়া আলোচনার মধ্যে তুলে নেন কি না তার ওপর — কেবল সিস্টেমের ওপর নয়।

মূল গবেষণা-বিষয়সমূহ

প্রম্পটিং-ভিত্তিক AES সবচেয়ে সহজলভ্য পন্থা হিসেবে আবির্ভূত হয়েছে। Choi ও অন্যান্যদের অ্যাঙ্কর-পেপার গবেষণা দেখায়, প্রম্পটে আদর্শ নমুনা-প্রবন্ধ যুক্ত করলে এলএলএম ও মানুষের মধ্যে ঐকমত্য মানব-মানব নির্ভরযোগ্যতার কাছাকাছি আসে, এবং GPT-4o mini কম খরচে GPT-4o-র তুলনীয় ফল পায়। এটি বৃহত্তর প্রম্পট প্রকৌশল গবেষণার সঙ্গে যুক্ত হয় এবং শিক্ষকের ব্যবহারের জন্য AES-কে বাস্তবসম্মত করে।

সাইকোমেট্রিক ও বৈশিষ্ট্য-স্তরের স্কোরিং সামগ্রিক স্কোরের বাইরে যায়। PsyScore বৈশিষ্ট্য-অনুযায়ী স্কোরিংয়ের জন্য একটি সাইকোমেট্রিক-সচেতন কাঠামো দেয়, সঙ্গে ZPD-ভিত্তিক প্রতিক্রিয়া। ICLE++ সামগ্রিক প্রবন্ধ-স্কোরিংয়ের জন্য সূক্ষ্ম বৈশিষ্ট্য মডেল করে, যা স্বয়ংক্রিয় মূল্যায়নের নির্ভুলতা এগিয়ে নেয়।

• মাত্রা-স্তরের বৈশিষ্ট্য-স্কোরিং প্রতিটি মাত্রার পেছনের ডেটা দ্বারা সীমাবদ্ধ। Firdausi ও অন্যান্য (2026) এনিস-এর FRISCO সমালোচনামূলক-চিন্তা কাঠামোর প্রতিটি মাত্রার জন্য একটি করে শ্রেণিবিন্যাসকারী প্রশিক্ষণ দেন 106টি ইন্দোনেশীয় একাদশ-শ্রেণির পদার্থবিজ্ঞান প্রবন্ধে (83টি প্রশিক্ষণে, 23টি পরীক্ষায়, তিনজন শিক্ষক-রেটার প্রতিটি মাত্রায় কাপা 0.78-0.84-এ একমত)। একমত প্রকাশের দিকে বেশি কেন্দ্রীভূত, যুক্তির দিকে নয়: চতুর্মুখী ওয়েটেড কাপা Clarity-তে 0.763 ও Situation-এ 0.728 পর্যন্ত পৌঁছায়, কিন্তু Focus-এ মাত্র 0.374, Reason-এ 0.332 এবং Inference-এ 0.227। ক্রমিক সংকেতটি পর্যবেক্ষিত নয়, নির্মিত হয়েছিল — কৃত্রিম স্তর-1 প্রবন্ধ (টেমপ্লেট উৎপাদন, মূল দৈর্ঘ্যের 20-40%-এ অবনমন, কীওয়ার্ড অপসারণ) এবং এলএলএম প্যারাফ্রেজ Focus-কে 0.028 ভিত্তিরেখা থেকে +0.346 কাপা বাড়িয়েছে — এবং একটি কনফিগারেশন 0.652 নির্ভুলতায় পৌঁছেছে শূন্যের কাছাকাছি বা ঋণাত্মক কাপায়, সুতরাং ক্রমিক AES-এ নির্ভুলতা ব্যবহারযোগ্য নির্বাচন-মানদণ্ড নয়।

পক্ষপাত ও ন্যায্যতা একটি জরুরি উদ্বেগ। Feser ও Tschisgale দেখেন, এআই স্কোরিং ভাষাগতভাবে বৈচিত্র্যময় পটভূমির শিক্ষার্থীদের পদ্ধতিগতভাবে কম অনুমান করে, যা AES মোতায়েনে পক্ষপাত প্রশমন ও ন্যায়বিচার বিবেচনার প্রয়োজনীয়তা তুলে ধরে।

শিক্ষকেরা স্কোরটিকে চূড়ান্ত নয়, পুনর্বিবেচনাযোগ্য হিসেবে উপস্থাপিত দেখতে চান। নয়জন অভিজ্ঞ ব্রাজিলীয় উচ্চ-বিদ্যালয় লেখালেখি-শিক্ষক একটি AIED-Unplugged প্রবন্ধ-স্কোরিং অ্যাপ মূল্যায়ন করেন এবং এটিকে উচ্চ রেটিং দেন — মধ্যক SUS 92.5, TAM-এ উপযোগিতা, ব্যবহার-সহজতা, প্রাসঙ্গিকতা ও ব্যবহারের ইচ্ছায় মধ্যক 7, ফলাফল-গুণমানে 6। তাঁরা অনুরোধ না করেই বলে দেন, রিপোর্টে অন-স্ক্রিন সতর্কবার্তা থাকা উচিত যে এটি সম্পূর্ণ নির্ভরযোগ্য নয় এবং শিক্ষার্থী দেখার আগে পর্যালোচনা করতে হবে; একজন শিক্ষক সেই বাধ্যবাধকতাকে ইতিবাচক বৈশিষ্ট্য হিসেবে পড়েন (Ribeiro ও অন্যান্য (2026))। তাঁরা কম নয়, বেশি বিস্তারিত চান: দক্ষতা-অনুযায়ী ডায়াগনস্টিক, একটি সামগ্রিক সারাংশ, নিজেদের মন্তব্যের ঘর, এবং কীভাবে উন্নতি করা যায় তার নির্দিষ্ট উদাহরণ। যেখানে বৈধতা-গবেষণা ঐকমত্যের হার নিয়ে বিতর্ক করে, সেখানে এই ব্যবহারকারীরা ইন্টারফেসকে সিস্টেম ও শিক্ষকের মধ্যে বিচার-বিভাজন সংকেতবদ্ধ করতে বলেন।

মানব-গ্রেডারদের সঙ্গে অমিল এলোমেলো নয়, পদ্ধতিগত। রেডিমেড GPT ও Llama মডেল মানব স্কোরের সঙ্গে দুর্বলভাবে একমত হয় (QWK ≈ 0.17-0.28, যেখানে দুই মানব রেটারের মধ্যে 0.72) এবং গুণমান-নির্ভর দিকে পক্ষপাত দেখায় — সংক্ষিপ্ত, অপরিণত প্রবন্ধে বেশি, আর দীর্ঘ, শক্তিশালী কিন্তু ছোট পৃষ্ঠতলীয় ভুলযুক্ত প্রবন্ধে কম (Mathew ও অন্যান্য (2026))।

L2 ও আত্ম-সাপেক্ষ মূল্যায়ন অ-মাতৃভাষী লেখার প্রেক্ষাপট অন্বেষণ করে। প্রোফাইল-ভিত্তিক L2 মূল্যায়ন একটি আত্ম-সাপেক্ষ পন্থা ব্যবহার করে শিক্ষার্থীর লেখাকে মাতৃভাষী-আদর্শের বদলে তার নিজের পূর্ববর্তী কাজের সঙ্গে তুলনা করে।

ব্যাখ্যাযোগ্যতা ও বৈশিষ্ট্য-ওজন এলএলএম আসলে কীভাবে স্কোর দেয় সেই ব্ল্যাকবক্স খুলে দেয়। Wang ও অন্যান্য (2026) তিনটি এলএলএম (Qwen, GPT, Gemini) মানব রেটারদের সঙ্গে তুলনা করেন অ-মাতৃভাষী ইংরেজি প্রবন্ধে, ষোলটি পাঠ্য-বৈশিষ্ট্য জুড়ে, এবং সামগ্রিকভাবে শক্তিশালী সঙ্গতি পেলেও আলাদা ওজন দেখেন: এলএলএম ব্যাকরণগত নির্ভুলতা, শব্দভান্ডারের পরিশীলন ও বাক্য-জটিলতাকে জোর দেয়, আর মানব রেটারেরা বিষয়বস্তুর পূর্ণতা ও দৃশ্যমান উপস্থাপনাকে অগ্রাধিকার দেন। গুরুত্বপূর্ণভাবে, এলএলএম দক্ষতা-স্তর অনুযায়ী ওজন বদলায় — নিম্ন-দক্ষ শিক্ষার্থীদের জন্য ভাষা-ভুলে বেশি ওজন, আর উচ্চ-দক্ষ শিক্ষার্থীদের জন্য ভাষাগত পরিশীলনকে ক্রমে বেশি পুরস্কৃত করে — যেখানে মানব রেটারেরা অধিক স্থিতিশীল কাঠামো রাখেন। Liu, Ye ও Yan (2026) এটিকে আরও এগিয়ে নেন পাঁচ-মডেল মূল্যায়ন কাঠামো দিয়ে (GPT-4.1, Llama 4 Maverick, Gemini 2.5 Flash, Claude Sonnet 4, DeepSeek R1) 60টি দীর্ঘ প্রবন্ধে, এবং কার্যকারণ-আবিষ্কার ব্যবহার করে আলাদা মূল্যায়ন-হিউরিস্টিক প্রকাশ করেন: অধিকাংশ মডেল শব্দগত নির্ভুলতা ও সাবলীলতাকে অগ্রাধিকার দেয়, কেউ কেউ বাক্য-জটিলতা বা আন্তঃক্ষেত্রীয় সংযোগকে জোর দেয়, আর কিছু মডেল অসঙ্গতি, স্কোর-সংকোচন বা পদ্ধতিগত কম-অনুমান দেখায়। এই গবেষণাগুলো একসঙ্গে প্রতিষ্ঠা করে, AES-এর বৈধতা কেবল সামগ্রিক ঐকমত্যের ওপর নয়, বরং মডেল কীভাবে বৈশিষ্ট্যে ওজন দেয় এবং সেই ওজন শিক্ষার্থী-উপগোষ্ঠী জুড়ে স্থিতিশীল কি না তার ওপর নির্ভর করে — যা সরাসরি মূল্যায়নের বৈধতা ও পক্ষপাত প্রশমন নিরীক্ষায় কাজে লাগে।

আইটেম-ধরনের সীমা এবং প্রবন্ধ-গ্রেডিংয়ের সীমা। একটি মিশ্র-বিন্যাস বিশ্ববিদ্যালয় পরীক্ষায় Falahat, Das, Bhaumik ও Thambi (2026) দেখেন, ChatGPT-5-এর সঙ্গে প্রশিক্ষকের সঙ্গতি বস্তুনিষ্ঠ আইটেমে যথেষ্ট থেকে প্রায়-নিখুঁত (CCC 0.935-1.000), কিন্তু মুক্ত-উত্তর প্রশ্নে তীব্রভাবে পড়ে যায় — সংক্ষিপ্ত-উত্তরে শূন্যের কাছাকাছি থেকে ঋণাত্মক, আর প্রবন্ধ-প্রশ্নে মাত্র 0.341-0.854 — এবং একটি কাঠামোবদ্ধ রুব্রিক প্রবন্ধ-সঙ্গতি ধারাবাহিকভাবে উন্নত করেনি। এটি AES-এর বৈধতাকে সীমাবদ্ধ করে: মডেলের সাবলীলতা সুসংজ্ঞায়িত আইটেমে সাহায্য করে, কিন্তু সামগ্রিক প্রবন্ধ-স্কোরিংয়ে তা বহন করে না, যেখানে আংশিক-ক্রেডিট উত্তরের প্রাসঙ্গিক ব্যাখ্যা এখনও মানব বিচারের পক্ষে।

ডায়াগনস্টিক ঐকমত্যে বিষয়-ধরনের সীমা। Yao ও Fan (2026) সংশোধনের আগে নির্দিষ্ট লেখনী-সমস্যা চিহ্নিত করতে DeepSeek-R1 ব্যবহার করেন এবং তার লেবেল শিক্ষক-নির্ণয়ের সঙ্গে তিন চক্রে তুলনা করেন (গড় F1 = 0.768, SD = 0.037)। ঐকমত্য সবচেয়ে বেশি স্থানীয়-সংকেতযুক্ত সমস্যায়, যেমন শব্দচয়ন (F1 = 0.824), আর সবচেয়ে কম যেখানে সমস্যাটি দাবি-প্রমাণ সম্পর্কের ওপর নির্ভর করে (উৎস-ব্যবহার ও প্রমাণ, 0.579) — সুতরাং ডায়াগনস্টিক ভূমিকায় ঐকমত্য বিষয়-ধরনের ওপর নির্ভর করে, কেবল মডেল বা প্রম্পটের ওপর নয়। একটি বাঁকা রুব্রিক-বণ্টন সামগ্রিক স্কোরিং-মেট্রিককে বিভ্রান্তিকর করতে পারে। একটি রুব্রিক-মাত্রার স্বয়ংক্রিয় মূল্যায়ন ধারাবাহিক স্কোরের বদলে ভারসাম্যহীন লেবেল-বণ্টনের শ্রেণিবিন্যাস-কাজ হতে পারে: 1,954টি হাঙ্গেরীয় শিক্ষার্থী-প্রবন্ধে প্রতিফলন-স্তর 0-3 চিহ্নিত করার সময় 68% প্রবন্ধ স্তর 3-এ এবং 1.8% স্তর 0-এ ছিল, আর সেরা অগভীর কনফিগারেশন (SMOTEBoost ও Qwen3 এমবেডিং) নির্ভুলতা, F1 ও ROC-AUC-এর গড়ে সামগ্রিক স্কোর 0.7176 পেয়েছে, যেখানে সেরা ফাইন-টিউন করা ট্রান্সফর্মার পেয়েছে 0.6872 — তবুও একটি RidgeClassifier কনফিগারেশন 0.7131 ROC-AUC পেয়েছে মাত্র 0.5162 নির্ভুলতায়, এবং শ্রেণি-ভারসাম্য সব মেট্রিক কমিয়েছে (নির্ভুলতা 0.6672 থেকে 0.6408-এ নেমেছে), তাই লেখকেরা মডেল-বাছাইকে এই প্রশ্ন হিসেবে পড়েন — কোন মেট্রিক গুরুত্বপূর্ণ — এবং ট্রান্সফর্মারের জায়গা সংখ্যালঘু শ্রেণি-সংবেদনশীলতার মাধ্যমে, সামগ্রিক ঐকমত্যের মাধ্যমে নয় (Csibi ও অন্যান্য, 2026)।

উচ্চ-ঝুঁকির মোতায়েনের প্রমাণ। একটি প্রকৃত উচ্চ-ঝুঁকির মোতায়েন থেকে ক্ষেত্র-প্রমাণ (উরুগুয়ের Acredita EB, 2024-2025; Curi ও অন্যান্য) দেখায়, প্রম্পট-ইঞ্জিনিয়ার করা GPT-5 একটি 15-আইটেম বিশ্লেষণমূলক স্পেনীয় রুব্রিকে প্রশিক্ষিত মানব রেটারদের সঙ্গে 60-80% ঐকমত্যে পৌঁছায় — অধিকাংশ আইটেমে মানব আন্তঃরেটার ঐকমত্যের প্রায় পাঁচ শতাংশ-পয়েন্ট নিচে, কখনও 15 পয়েন্টের বেশি নিচে নয় — এবং প্রায় সব আইটেমে রান-থেকে-রান সুসংগতি 90%-এর ওপরে। শব্দভান্ডার, বাক্য-গঠন ও বানান ছিল সবচেয়ে দুর্বল মাত্রা, এবং বানান-আইটেমটি একটি নির্ধারক ব্যাকরণ-পরীক্ষকের হাতে দিতে হয়েছিল (LanguageTool, 68% নির্ভুলতা, 100% সুসংগতি), কারণ টোকেন-স্তরের বানানই যেখানে মডেল সবচেয়ে অস্থির। এক পরীক্ষা-সংস্করণের জন্য তৈরি প্রম্পট কেবল বিষয়-নির্দিষ্ট সম্পাদনা করে পরের সংস্করণেও কাজ করেছে, এবং এআই পদ্ধতিগতভাবে মানুষের চেয়ে কঠোর ছিল — বেশি নয়, কম নম্বর দিয়েছে। AES নকশার জন্য শিক্ষা হলো: প্রম্পটিং-ভিত্তিক স্কোরিং জাতীয় পরীক্ষাতেও মানব ঐকমত্যের কাছে পৌঁছাতে পারে, আর তার অবশিষ্ট দুর্বলতা নিম্ন-স্তরের ভাষা-প্রথার স্তরে থাকে, সামগ্রিক লেখালেখি-গুণমানে নয়।

টোকেন-স্তরের আত্মবিশ্বাস, সম্ভাবনা-ভারিত স্কোরিং এবং এনসেম্বলিং — প্রত্যেকটি বিচ্ছিন্ন-চিন্তা স্কোরিংয়ে ঐকমত্য উন্নত করেছে; স্তূপীকৃত কৌশলগুলো r = 0.846 (RMSE = 0.4848) পৌঁছেছে, এবং কেবল সবচেয়ে কম আত্মবিশ্বাসী 20% উত্তর মানব-পর্যালোচনায় পাঠালে হাতে-করা পরিশ্রম প্রায় 80% কমেছে (Organisciak ও Acar (2026))।

মানব মানদণ্ড, এবং তা কী লাইসেন্স দিতে পারে আর পারে না। OpRaise গবেষণা এই জ্ঞানভিত্তিতে সবচেয়ে কঠিন পরীক্ষা — এলএলএম মার্কিং নিয়মিত ব্যবহারের জন্য প্রস্তুত কি না — এবং তার উত্তর মডেলের বদলে মানদণ্ডের ওপর নির্ভর করে। এটি তিনটি অগ্রগামী সিস্টেম (Claude Opus 4.6, GPT-5.4, Gemini 3 Flash) তুলনা করে, প্রত্যেকটি 27টি প্রম্পট-কনফিগারেশনে যা রুব্রিক-নির্দিষ্টতা, ক্যালিব্রেশন ও স্কোরিং-কৌশল অতিক্রম করে, তিনটি যুক্তরাজ্যের বিশ্ববিদ্যালয়ের 125 শিক্ষার্থীর 761টি প্রকৃত মনোবিজ্ঞান-প্রবন্ধের মডারেটেড নম্বরের বিপরীতে। মানব নম্বরকে ভিত্তিসত্য ধরা হয় কারণ একাডেমিক বিচারই সামাজিকভাবে স্বীকৃত মানদণ্ড, এবং লেখকেরা উল্লেখ করেন মানব মার্কারেরা পরস্পরের সঙ্গে কেবল মাঝারিভাবে একমত — যা সীমাবদ্ধ করে এআই-মানব ঐকমত্য কতটা শক্তিশালী হওয়া যুক্তিসঙ্গতভাবে দাবি করা যায়। সেই মানদণ্ডের বিপরীতে যুক্তরাজ্যের ডিগ্রি-ব্যান্ডে ঐকমত্য ছিল প্রতিষ্ঠানভেদে 35 থেকে 65 শতাংশ (কেমব্রিজে 63 শতাংশ, নটিংহামে 53 শতাংশ, ম্যানচেস্টার মেট্রোপলিটনে 35 শতাংশ) এবং প্রতিষ্ঠানের মধ্যে স্থানান্তরিত হয়নি, তাই রিপোর্টের কেন্দ্রীয় সুপারিশ হলো প্রতিষ্ঠানের নিজের মূল্যায়ন উপকরণে স্থানীয় বৈধতা যাচাই। দুটি ফলাফল এই কর্পাসের বাইরে সাধারণীকরণযোগ্য। প্রথমত, নির্ভরযোগ্যতা ও ঐকমত্য আলাদা হয়ে যায়: প্রতিটি মডেল প্রায় অভিন্নভাবে পুনরায় নম্বর দিয়েছে (ICC 1.00, 1.00, 0.97) এবং মডেলগুলো মানুষের চেয়ে পরস্পরের সঙ্গে বেশি ঘনিষ্ঠভাবে একমত হয়েছে (তিন-মডেল ICC 0.91), তবুও তিনটিই কেবল 56 শতাংশ জমার ক্ষেত্রে ডিগ্রি-ব্যান্ডে একমত — আত্ম-সুসংগতি বৈধতা নয়। দ্বিতীয়ত, এআই নম্বর স্কেলের মাঝখানের দিকে সংকুচিত হয়েছে (সংকোচন-স্কোর 0.47-0.82, যেখানে এআই ও মানুষ গড়ে একমত হয় সেই ক্রসওভার উঁচু 50 থেকে নিচু 60-এর মধ্যে), ফলে এআই সবচেয়ে কম নির্ভুল ঠিক সেই গ্রেড-সীমানায় যা Firsts-কে Upper Seconds থেকে এবং পাসকে ফেল থেকে আলাদা করে। শব্দভান্ডারের পরিসর, সংযোজক, বাক্য-জটিলতা ও পাঠ্য-দৈর্ঘ্য এআই-নম্বর ছোট কিন্তু তাৎপর্যপূর্ণ প্রভাবে পূর্বানুমান করেছে, অথচ মানব-নম্বরের সঙ্গে তাদের সম্পর্ক মূলত নগণ্য — এটি ভাষাগত-পক্ষপাত উদ্বেগের সরাসরি প্রদর্শন, এবং পরীক্ষিত কোনো প্রম্পটিং কৌশলই তা দূর করেনি।

বিচারক নয়, প্রশিক্ষণ-সংকেত হিসেবে AES। স্কোরিং-মডেল সাধারণত মূল্যায়নকারী হিসেবে অধ্যয়ন করা হয়, কিন্তু SWIM একটি মডেলকে পুরস্কার-ফাংশন হিসেবে ব্যবহার করে: Do, Kontak ও Sachan (2026) একটি বহু-বৈশিষ্ট্য AES যাচাইকারী ফ্রিজ করেন এবং তা উৎপন্ন শিক্ষার্থী-প্রবন্ধের বিপরীতে স্কোর করেন, পূর্বানুমিত বৈশিষ্ট্য-প্রোফাইলকে GRPO-র জন্য ঘন প্রতি-প্রবন্ধ পুরস্কারে রূপান্তরিত করেন (লক্ষ্য-প্রোফাইল থেকে গড় বৈশিষ্ট্য-স্বাভাবিক দূরত্ব), এবং সচেতনভাবেই Quadratic Weighted Kappa মেট্রিক নিজে নয়, কারণ QWK লক্ষ্য-পূর্বানুমান জোড়ার একটি ব্যাচের ওপর সংজ্ঞায়িত এবং প্রতি-নমুনা সংকেত নয়, আর বহু-বৈশিষ্ট্য প্রসঙ্গে নিখুঁত-মিল পুরস্কার খুবই বিরল। লাভগুলো একটি DeBERTa স্কোরার এবং একটি কেবল-মূল্যায়ন যাচাইকারীর বিপরীতে পুনরায় যাচাই করা হয়, যার বিরুদ্ধে নীতিটি কখনও প্রশিক্ষণ পায়নি (SFT-এর 0.479-এর বিপরীতে 0.598, এবং 0.501-এর বিপরীতে 0.647) — এই যাচাইই প্রকৃত দক্ষতা-নিয়ন্ত্রণকে পুরস্কার-মডেলের সঙ্গে অভিযোজন থেকে আলাদা করে। AES গবেষণার জন্য এটি দ্বিতীয় বৈধতা-দাবি: প্রশিক্ষণ-লক্ষ্য হিসেবে ব্যবহৃত একটি স্কোরার এমন একটি বস্তু যার বিরুদ্ধে অপ্টিমাইজ করা হচ্ছে, তাই তার নিজের বৈশিষ্ট্য-ওজন ও ভাষা-পক্ষপাত জেনারেটর যা শেখে তার সবকিছুতে ছড়িয়ে পড়ে — এই পাতায় অন্যত্র নথিভুক্ত সেই একই বৈশিষ্ট্য-ওজন অসামঞ্জস্য (ব্যাকরণগত নির্ভুলতা, শব্দভান্ডারের পরিশীলন ও বাক্য-জটিলতাকে মডেল মানব রেটারদের চেয়ে বেশি ওজন দেয়), এখন কেবল নম্বর নয়, প্রশিক্ষণকেও গড়ে তোলে। স্কোরিং ও প্রতিক্রিয়া আলাদা পদ্ধতি চায়, তাই সিস্টেমের তাদের আলাদা করা উচিত। Labib ও অন্যান্য (2026) একটি TOEFL যুক্তিমূলক-প্রবন্ধ সিস্টেম তিনটি মডিউল হিসেবে গড়েন — স্কোরিং, ব্যাকরণ ও যান্ত্রিকতায় পৃষ্ঠতলীয় প্রতিক্রিয়া, এবং সংগঠন, সুসংগতি ও যুক্তি-উপস্থাপনায় গভীর-স্তরের প্রতিক্রিয়া — একটি মডেলকে তিনটি কাজই করতে দেওয়ার বদলে, এবং দেখেন এক মডিউলে যা জেতে অন্য মডিউলে হারে: একটি মালিকানাধীন 480 মানদণ্ড-স্কোরকৃত প্রবন্ধের 120টিতে GPT-4o-র তত্ত্বাবধানে ফাইন-টিউনিং, অবশিষ্ট 360টিতে পরীক্ষিত, 0-5 স্কেলে 0.84 চতুর্মুখী ওয়েটেড কাপা ও 0.44 RMSE পেয়েছে, Wang ও Gayed (2024) ভিত্তিরেখার (QWK 0.78, RMSE 0.57) আগে, তবুও একই ফাইন-টিউনিং প্রতিক্রিয়া-মডিউলগুলোতে অকেজো আউটপুট তৈরি করেছে, যেখানে Claude 3.7-এর সরাসরি প্রম্পটিংই শিক্ষক-অনুমোদিত মন্তব্য তৈরি করেছে।

সম্পর্কিত ধারণার সঙ্গে সংযোগ

AES স্বয়ংক্রিয় মূল্যায়ন, লেখালেখি ও উৎপাদক এআই-এর ছেদবিন্দুতে অবস্থান করে। গ্রেডিংয়ের বদলে প্রতিক্রিয়ার জন্য ব্যবহৃত হলে এটি গঠনমূলক মূল্যায়ন-এর সঙ্গে যুক্ত হয়, পুনরাবৃত্ত লেখালেখি-প্রক্রিয়ায় একীভূত হলে প্রতিক্রিয়া-চক্রের সঙ্গে, আর শিক্ষকেরা AES সরঞ্জাম বুঝে ক্যালিব্রেট করলে এআই সাক্ষরতা-এর সঙ্গে। মূল্যায়নের বৈধতা ও শিক্ষামূলক পরিমাপ ধারণা AES স্কোর অর্থবহ ও ন্যায্য রাখতে অপরিহার্য।

• ঐকমত্য, ত্রুটি এবং সংকর স্কোরার কী যোগ করে। একটি ছোট মুক্ত-উত্তর বিপণন-লেখালেখি কর্পাসে এলএলএম মানব রেটারদের সঙ্গে পরম ঐকমত্যে নির্ধারক নিয়ম ও সম-ওজনের সংকরের চেয়ে ভালো ফল করেছে (ICC(2,1) .435 বনাম .266 ও .091), এবং সংকর এলএলএম-একা-এর চেয়ে তাৎপর্যপূর্ণভাবে খারাপ ছিল, আর স্কোরের বিস্তার ও একটি প্রায়-খালি উত্তর দেখায় এই ধরনের অনুমান কর্পাস-গঠনের ওপর কতটা নির্ভরশীল (Agreement and error in automated scoring of student marketing posts)।

মুক্ত সিস্টেমও এই চিত্রের অংশ: AiAWE যুক্তিমূলক প্রবন্ধ স্কোর করে LoRA-অভিযোজিত Gemma-3-27B-it দিয়ে, QWK 0.828 এবং 360 মূল্যায়ন-প্রবন্ধের 90.56%-এ মানব স্কোরের ±0.5-এর মধ্যে ঐকমত্যে পৌঁছে — এবং রিপোর্ট করে LoRA অভিযোজনের অধীনে মডেল-আকার নিম্নধারার কর্মক্ষমতার নির্ভরযোগ্য পূর্বানুমান করেনি (AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models)।

• "যে প্রম্পটকৃত মডেল সবচেয়ে ভালো একমত হয়, সে-ই সেরা প্রবন্ধ-স্কোরার।" ASAP 2.0-এ দুই বিশেষজ্ঞ রেটারের প্রকাশিত ঐকমত্য κ 0.745, এবং কোনো প্রম্পটকৃত মডেলের বিন্দু-অনুমান তা ছোঁয়নি: 22টি মডেল 0.155 থেকে 0.727 পর্যন্ত বিস্তৃত, আর 18টির জন্য সমগ্র ব্যবধান তার নিচে ছিল। একটি ফাইন-টিউন করা DeBERTa স্কোরার 0.809 এবং কেবল প্রবন্ধ-দৈর্ঘ্য গণনা করা একটি নিয়ম 0.636 পেয়েছে, যা 22টির মধ্যে 16টি মডেলের ওপরে — যদিও প্রতিটি মডেল দৈর্ঘ্যের বাইরেও ঐকমত্য ধরে রেখেছে। যে ভিত্তিকে হারাতে হবে তা প্রশিক্ষিত স্কোরার, রাস্তার ওপরের মডেল নয়।

সাধারণ ভ্রান্ত ধারণা

• "স্বয়ংক্রিয় স্কোরিংয়ের ফলাফল শিক্ষার্থীর লেখাকে প্রতিফলিত করে।" ক্রমিক সংকেত পর্যবেক্ষিত নয়, নির্মিত হতে পারে — টেমপ্লেট উৎপাদন, মূল দৈর্ঘ্যের 20-40%-এ অবনমন এবং কীওয়ার্ড অপসারণ দিয়ে গড়া কৃত্রিম স্তর-1 প্রবন্ধ। নির্মিত চরম-প্রান্তে বৈধতা যাচাই করা একটি সিস্টেম যে বণ্টনের মুখোমুখি হবে, সেখানে হয়তো কখনও পরীক্ষাই হয়নি।
• "সামগ্রিক নির্ভুলতাই রিপোর্ট করার মেট্রিক।" একটি বাঁকা রুব্রিক-বণ্টন সামগ্রিক স্কোরিং-মেট্রিককে বিভ্রান্তিকর করতে পারে: রুব্রিক-মাত্রার স্বয়ংক্রিয় মূল্যায়ন প্রায়ই ভারসাম্যহীন লেবেল-বণ্টনের শ্রেণিবিন্যাস-কাজ, যেখানে উচ্চ নির্ভুলতা ও কাজে-লাগা পৃথকীকরণ আলাদা হয়ে যায়।
• "ক্ষেত্র-মোতায়েন মূল্যায়ন করা হয়নি।" প্রকৃত উচ্চ-ঝুঁকির মোতায়েন থেকে ক্ষেত্র-প্রমাণ আছে (উরুগুয়ের Acredita EB, 2024), যা এই সাহিত্যের সবচেয়ে শক্তিশালী প্রমাণ-রূপ এবং স্কোরিং-নির্ভুলতার অধিকাংশ গবেষণা যা কখনও যোগায়নি।

সংযুক্ত ধারণা

• পক্ষপাত প্রশমন
• ন্যায়বিচার
• স্বয়ংক্রিয় মূল্যায়ন
• ভাষা শেখা
• শিক্ষামূলক পরিমাপ
• K-12
• প্রম্পট প্রকৌশল
• লেখালেখি
• এআই সাক্ষরতা
• মূল্যায়নের বৈধতা

সংযুক্ত নিবন্ধ

• Automatic Reflection Level Classification in Hungarian Student Essays — হাঙ্গেরীয় শিক্ষার্থী-প্রবন্ধে স্বয়ংক্রিয় প্রতিফলন-স্তর শ্রেণিবিন্যাস
• WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays — WrAFT: যুক্তিমূলক প্রবন্ধের জন্য একটি মডুলার স্বয়ংক্রিয় লেখালেখি-মূল্যায়ন ব্যবস্থা
• Educational Innovation through Automated Essay Scoring: A Multidimensional Framework for Evaluating Critical Thinking in High School Physics Essays — স্বয়ংক্রিয় প্রবন্ধ মূল্যায়নের মাধ্যমে শিক্ষাগত উদ্ভাবন: উচ্চ-বিদ্যালয় পদার্থবিজ্ঞান প্রবন্ধে সমালোচনামূলক চিন্তা মূল্যায়নের বহুমাত্রিক কাঠামো
• AI in University Assessment: Evaluating the Opportunities and Risks of Automated Marking — OpRaise রিপোর্ট: তিন যুক্তরাজ্য বিশ্ববিদ্যালয় জুড়ে 761টি বিশ্ববিদ্যালয়-প্রবন্ধের এআই মার্কিং
• A Human-in-the-Loop Framework for AI-Assisted Scoring in Large-Scale Writing Assessment — বৃহৎ-মাপের লেখালেখি মূল্যায়নে এআই-সহায়ক স্কোরিংয়ের জন্য মানব-চক্র-অন্তর্ভুক্ত কাঠামো
• RACES: reward-aligned consistent essay scoring with large language models — RACES: এলএলএম দিয়ে পুরস্কার-সঙ্গত সুসংগত প্রবন্ধ স্কোরিং
• AI-based scoring systematically underestimates conceptual understanding of linguistically weak students' explanations in physics
• Anchor Is the Key: Toward Accessible Automated Essay Scoring with Large Language Models Through Prompting
• ICLE++: Modeling Fine-Grained Traits for Holistic Essay Scoring
• LLMs Do Not Grade Essays Like Humans — এলএলএম মানুষের মতো প্রবন্ধ গ্রেড করে না (Mathew ও অন্যান্য 2026)
• PsyScore: A Psychometrically-Aware Framework for Trait-Adaptive Essay Scoring and ZPD-Scaffolded Feedback
• Towards Self-Referential Analytic Assessment: A Profile-Based Approach to L2 Writing Evaluation with LLMs
• AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models
• From automated scoring to learning diagnosis: a mechanism study of AI-supported formative assessment in English writing — স্বয়ংক্রিয় স্কোরিং থেকে শেখার নির্ণয়: ইংরেজি লেখালেখিতে এআই-সহায়ক গঠনমূলক মূল্যায়নের একটি প্রক্রিয়া-গবেষণা
• Opening the Blackbox of LLM-Based Automated Essay Scoring: Insights into Feature Weighting Patterns and Score Validity — এলএলএম-ভিত্তিক প্রবন্ধ স্কোরিংয়ে বৈশিষ্ট্য-ওজনের ধরন (Wang ও অন্যান্য 2026)
• A Framework for Evaluation of Large Language Models in Essay Assessment: Reliability, Alignment, and Causal Reasoning — প্রবন্ধ মূল্যায়নে এলএলএম মূল্যায়নের কাঠামো (Liu, Ye ও Yan 2026)
• Bridging technology and education: The use of ChatGPT in grading pharmacy student exams
• Know When to Trust: Making AI Scoring More Reliable for Educational Assessment — কখন বিশ্বাস করবেন: আত্মবিশ্বাস, ভারিত সম্ভাব্য স্কোরিং ও এনসেম্বলিং এলএলএম স্কোরিং-ঐকমত্য উন্নত করে
• SWIM: Student Writing Simulation via Proficiency-Conditioned Generation — একটি ফ্রিজ করা AES যাচাইকারী, লেখালেখি-জেনারেটরের ঘন প্রশিক্ষণ-পুরস্কার হিসেবে ব্যবহৃত
• Beyond agreement: a benchmark of how language models grade student work, and how they fail — ঐকমত্যের বাইরে: 22টি প্রম্পটকৃত গ্রেডার এমন প্রোবের মুখোমুখি যাদের সঠিক উত্তর জানা, এবং তাদের বেশিরভাগকে প্ররোচনায় নামানো যায় (Porcaro 2026)
• From Design to Classroom Adoption: Teachers' Perspectives on AI-powered Writing Analytics in Resource-Constrained Contexts — 300-শিক্ষার্থীর শ্রেণির শিক্ষকেরা একটি আনপ্লাগড AES অ্যাপকে 92.5 SUS দেন এবং চূড়ান্ত স্কোরের বদলে নির্ভরযোগ্যতা-সতর্কতা চান (Ribeiro ও অন্যান্য 2026)