বেঞ্চমার্ক

ইংরেজি পাতার এই স্বয়ংক্রিয় অনুবাদ, এখনও মাতৃভাষিক বক্তার দ্বারা পর্যালোচনা করা হয়নি।

বেঞ্চমার্ক — শিক্ষাগত কাজে এআই মডেলের কর্মক্ষমতা মাপতে ব্যবহৃত প্রমিত পরীক্ষা-সেট ও মূল্যায়ন কাঠামো। বেঞ্চমার্ক মডেল ও পদ্ধতির মধ্যে পুনরুৎপাদনযোগ্য তুলনা সম্ভব করে, এবং শিক্ষায় এআই ব্যবস্থার নির্ভরযোগ্যতা, ন্যায্যতা ও শিক্ষাগত গুণমান মূল্যায়নের জন্য অপরিহার্য।

বিবেচনার প্রশ্ন

• বেঞ্চমার্ক হলো শিক্ষাগত কাজে এআই মডেলের কর্মক্ষমতা মাপার একটি প্রমিত পরীক্ষা-সেট। পড়ার আগে আপনার মতে বেশিরভাগ এআই বেঞ্চমার্ক আসলে কী পরীক্ষা করে — এবং কেন সেটি একজন ভালো টিউটরের যা দরকার তার থেকে ভিন্ন কিছু হতে পারে?
• এই পাতা একটি শিক্ষাগত বেঞ্চমার্কের কথা তুলে ধরে যা বিষয়বস্তুর জ্ঞানের বদলে শিক্ষাগত জ্ঞান পরীক্ষা করে — শিক্ষাদান কৌশল, মূল্যায়ন পদ্ধতি, বিশেষ-শিক্ষার শিক্ষাবিজ্ঞান। কেন একটি এআই যে কোনো বিষয় দুর্দান্তভাবে জানে তবুও তা শেখাতে ব্যর্থ হতে পারে, এবং যে বেঞ্চমার্ক শিক্ষাবিজ্ঞান উপেক্ষা করে তা কেন সেই ব্যর্থতা ধরতে পারবে না?
• এখানে একটি শিক্ষা পদ্ধতিগত: আপনি কীভাবে একটি বেঞ্চমার্ক যাচাই করেন তা ফলাফল নাটকীয়ভাবে বদলে দেয়, যেখানে সরল যাচাই পরীক্ষা-নিরপেক্ষ কঠোর পদ্ধতির চেয়ে অনেক বেশি কর্মক্ষমতা রিপোর্ট করে। একজন মডেল-উন্নয়নকারী বা বিক্রেতা কীভাবে যাচাই এমনভাবে নকশা করতে প্রলুব্ধ হতে পারেন যা ভালো দেখায়, এবং আপনি তা কীভাবে ধরবেন?
• বেঞ্চমার্কের কর্মক্ষমতা প্রায়ই বাস্তব-জগতের উপযোগিতায় স্থানান্তরিত হয় না। এমন একটি পরিস্থিতি ভাবতে পারেন যেখানে একটি এআই বেঞ্চমার্ক 'জেতে' কিন্তু প্রকৃত শ্রেণিকক্ষে ব্যর্থ হয় — আর সেই ফাঁক কেবল বেঞ্চমার্ক স্কোরের ওপর নির্ভর করা সম্পর্কে আপনাকে কী বলে?
• পাতা উল্লেখ করে যে বেঞ্চমার্ক-নকশা নিজেই পক্ষপাত এনকোড বা প্রশস্ত করতে পারে। যদি একটি বেঞ্চমার্ক নির্দিষ্ট কিছু কাজ, নির্দিষ্ট কিছু ভাষা, নির্দিষ্ট কিছু জনগোষ্ঠীর সমন্বয়ে গঠিত হয়, তবে তা শেষ পর্যন্ত কার শিখন মাপে — আর কার শিখন উপেক্ষা করে?

ভূমিকা

বেঞ্চমার্ক শিক্ষায় এআই গবেষণার প্রমাণভিত্তিক ভিত্তি হিসেবে কাজ করে। তারা প্রমিত ডেটাসেট, কাজ ও মেট্রিক দেয় যা গবেষকদের মডেল তুলনা করতে, অগ্রগতি ট্র্যাক করতে এবং ব্যর্থতার ধরন চিহ্নিত করতে দেয়। জ্ঞানভিত্তির গবেষণায় বেঞ্চমার্ক একাধিক ক্ষেত্রে হাজির:

• CSTutorBench সিএস টিউটরিং কাজের জন্য ছোট ভাষা-মডেল মূল্যায়ন করে।

• ANVIL এআই-উৎপন্ন শিক্ষাগত অ্যানিমেশনকে মানুষ-নির্মিত বিকল্পের বিপরীতে বেঞ্চমার্ক করে।

• শিক্ষাদান-ফিডব্যাক বেঞ্চমার্ক ফিডব্যাকের গুণমান শ্রেণিবিন্যাসের আন্তঃভাষিক স্থানান্তর মূল্যায়ন করে।

• শিক্ষাগত বেঞ্চমার্ক (CDPK + SEND) বিষয়বস্তুর জ্ঞানের বদলে শিক্ষাগত জ্ঞান পরীক্ষা করে — শিক্ষাদান কৌশল, মূল্যায়ন পদ্ধতি ও বিশেষ-শিক্ষার শিক্ষাবিজ্ঞান — এবং 97টি মডেল জুড়ে খরচ-বনাম-নির্ভুলতার একটি "মূল্য সীমান্ত" রিপোর্ট করে (বেশিরভাগ সাধারণ বেঞ্চমার্ক বিষয়বস্তুর জ্ঞান পরীক্ষা করে; শিক্ষাবিজ্ঞান একটি পৃথক, শিক্ষার জন্য সংকটপূর্ণ মাত্রা)।

• ISD-Agent-Bench বৃহৎ ভাষা মডেল (এলএলএম)-ভিত্তিক নির্দেশনা-নকশা এজেন্টদের 25,795টি নির্দেশনা-নকশা দৃশ্যপট জুড়ে বেঞ্চমার্ক করে, দেখায় যে চিরায়ত ISD কাঠামোয় (ADDIE, Dick & Carey, Rapid Prototyping) ভিত্তিপ্রাপ্ত সংকর এজেন্টরা নিছক তত্ত্ব বা নিছক কৌশলের চেয়ে ভালো করে — একটি বেঞ্চমার্ক ফলাফল যার শিক্ষায় এজেন্টিক এআই নকশায় সরাসরি তাৎপর্য আছে।

• TutorCaseBench টিউটর-মূল্যায়নকে অনুকরণকৃত ব্যক্তিত্বের বদলে নথিভুক্ত কেস-সাহিত্যে ভিত্তি দেয়: বিশেষ-শিক্ষা ও শিক্ষা-মনোবিজ্ঞানের কেস থেকে 923টি সংলাপ, যেখানে 11টি মডেলের মধ্যে শক্তিশালীতমটি মুক্ত-প্রান্তিক কেসের 55.8%-এ একটি নথিভুক্ত হস্তক্ষেপে পৌঁছেছে।

• শিক্ষার্থী-অভিযোজন একটি সুস্পষ্ট বেঞ্চমার্ক মানদণ্ড হিসেবে। Teaching Monster Challenge একটি নির্দিষ্ট শিক্ষার্থী-ব্যক্তিত্বের সঙ্গে অভিযোজন স্কোর করে, কিন্তু তার স্বয়ংক্রিয় LLM-বিচারক কেবল একটি দুর্বল লেজ আলাদা করেছে — শীর্ষ ব্যবস্থাগুলো তার সিলিংয়ের কাছাকাছি স্কোর করেছে এবং তার র‍্যাঙ্কিং জনতার পছন্দের সঙ্গে অমিল দেখিয়েছে (Spearman ρ = −0.17) (Lin প্রমুখ (2026))।

এআইইডি-তে বেঞ্চমার্ক কেন গুরুত্বপূর্ণ

বেঞ্চমার্ক এআই শিক্ষা মূল্যায়ন ও মূল্যায়নের বৈধতা-এর সঙ্গে যুক্ত — কঠোর বেঞ্চমার্ক ছাড়া এআই টিউটরিংয়ের কার্যকারিতা সম্পর্কে দাবি অযাচাইযোগ্য। তারা পক্ষপাত প্রশমন-এর সঙ্গেও ছেদ করে, কারণ বেঞ্চমার্ক-নকশা পক্ষপাত এনকোড বা প্রশস্ত করতে পারে। বেঞ্চমার্ক-কর্মক্ষমতা ও বাস্তব-জগতের উপযোগিতার টানাপোড়েন একাধিক নিবন্ধ জুড়ে আলোচিত, এবং শিখনের স্থানান্তর উদ্বেগের সঙ্গে যুক্ত, যা উৎপাদক এআই প্রয়োগে দেখা যায়।

• যখন মেট্রিক, সিস্টেম নয়, ব্যর্থ হয়: AlgoRAG 179টি তাত্ত্বিক কম্পিউটার বিজ্ঞান পরীক্ষার প্রশ্নে BLEU-4 = 0.0000 স্কোর করেছে, যেখানে ছয়-মানদণ্ডের একটি শিক্ষাগত রুব্রিক 0.7620 দিয়েছে, কারণ যুক্তিগতভাবে সমতুল্য প্রমাণ প্রায়ই নোটেশন, চলক-নাম ও প্রমাণ-কৌশলে ভিন্ন হয়। শূন্য স্কোর উত্তর-গুণমানের চেয়ে n-gram ওভারল্যাপ সম্পর্কে বেশি বলে, যা আনুষ্ঠানিক ক্ষেত্রের এআইইডি ব্যবস্থার জন্য পৃষ্ঠতল মেট্রিককে প্রধান সংখ্যা হিসেবে ধরার বিরুদ্ধে সাধারণ যুক্তি।

• গঠন-স্তরের প্রতিসংখ্যানমূলক বেঞ্চমার্ক। CFES-P24 মাল্টিমিডিয়া-শিখন নীতিগুলোকে নির্ধারক, প্রত্যাবর্তনযোগ্য স্লাইড-রূপান্তর হিসেবে প্রকাশ করে যাচাই করতে যে MLLM-গুলো নির্দিষ্ট নির্দেশনা-নকশা গঠনে সাড়া দেয় কি না, নাকি বিশ্বাসযোগ্য সামগ্রিক রেটিং তৈরি করে। একটি হিমায়িত পাইলট গঠন-স্বীকৃতি (কার্যক্রম, নীতি, মেরামত, প্রমাণ-স্থানীয়করণ) 8/8-এ দেখিয়েছে, যেখানে তুলনামূলক বিচার (দিক 6/8) ও তীব্রতা-ক্রমাঙ্কন (0/8) ব্যর্থ হয়েছে — যা যৌগিক স্কোরের বদলে স্তরযুক্ত স্কোরকার্ডের পক্ষে যুক্তি দেয়।(Benchmarking Multimodal Large Language Models for Educational Slide Auditing)

• হ্যালুসিনেশন ও শক্তিকে মূল্যায়নে ধরুন, কেবল নির্ভুলতায় নয়। Shen প্রমুখ (2026) হ্যালুসিনেশনকে উদ্ধারকৃত মুক্ত-লাইসেন্স চাঙ্কের বিপরীতে অন্তর্নিহিততা হিসেবে স্কোর করেছেন (বিশেষজ্ঞ বিচারের সঙ্গে κ = 0.76) এবং প্রতি প্রশ্নে 1.8 mWh লগ করেছেন, এবং তাঁদের অ্যাবলেশন উদ্ধারকে প্রথমে রাখে: কোনো উদ্ধার ছাড়া একটি স্থানীয় LLM 52.3% স্কোর করেছে, 55.4% TF-IDF বেসলাইনের নিচে।

• উৎপন্ন বিষয়বস্তুতে যাচাই বিচারকে ছাড়িয়ে যেতে পারে। Kumar প্রমুখ (2025) উৎপন্ন গণিত-চিত্রকে স্কিমা-সীমাবদ্ধ মধ্যবর্তী উপস্থাপনায় ফিরিয়ে অনুবাদ করেন এবং নির্ধারক নিয়ম-যাচাই চালান, যা মানব রেটারদের সঙ্গে উচ্চতর মিলে পৌঁছায় (Cohen's κ 0.48–0.56) LLM-বিচারকের (0.39–0.47) চেয়ে এবং একটি ছোট মডেলকে 10 গুণ কম খরচে সেরা বিচারকের সমান হতে দেয়।

• শারীরবৃত্তীয় বেঞ্চমার্কে পরীক্ষা-নিরপেক্ষ মূল্যায়ন। Nanayakkara ও Halloluwa (2026) EEG-ভিত্তিক পরিচিতি-পূর্বানুমানের জন্য 15টি ML/DL মডেল বেঞ্চমার্ক করেন এবং দেখান যাচাই-স্কিমের পছন্দ প্রধান ফলাফল নাটকীয়ভাবে বদলে দেয়: প্রমিত স্তরিত ক্রস-ভ্যালিডেশন সময়গত লিকেজ হতে দেয় এবং 0.9853 F1 পর্যন্ত রিপোর্ট করে, যেখানে পরীক্ষা-নিরপেক্ষ Group K-Fold যাচাই শিখরকে 0.6038 F1-এ নামিয়ে আনে। শিক্ষাটি — সময়গত/লিকেজ-সচেতন মূল্যায়ন বিশ্বাসযোগ্য শিক্ষাগত বেঞ্চমার্কের জন্য অপরিহার্য — EEG ছাড়িয়ে যেকোনো বেঞ্চমার্কে প্রযোজ্য যা ক্রমিক বা সময়-গঠিত ডেটা ব্যবহার করে।

• বণ্টন-স্থানান্তর লিকেজের বাইরে দ্বিতীয় বেঞ্চমার্ক-অক্ষ। যে বেঞ্চমার্ক একটি শ্রেণিবিন্যাসকের ইন-ডিস্ট্রিবিউশন স্কোর ও তার স্থানান্তর-স্কোর রিপোর্ট করে, সে দুটি ভিন্ন রাশি রিপোর্ট করছে: একটি Bloom-স্তরের শ্রেণিবিন্যাসক তার কিউরেটেড ব্যাংকে macro F1 0.88-এ থেকে দুটি এআই-উৎপন্ন প্রশ্ন-সেটে 0.48 ও 0.20-এ নেমেছে, এবং লেবেলযুক্ত আউট-অব-ডিস্ট্রিবিউশন ডেটায় পুনঃপ্রশিক্ষণ 0.82 পর্যন্ত পুনরুদ্ধার করেছে, তাই একটি একক ইন-ডিস্ট্রিবিউশন লিডারবোর্ড-সংখ্যা বাড়িয়ে বলে মোতায়েনকৃত যন্ত্রটি কী করবে (Castanares প্রমুখ, 2026)।

• ক্রস-কর্পাস স্থানান্তর পরীক্ষার জন্য নির্মিত একটি কর্পাস। ICLE++ যুক্তিপূর্ণ প্রবন্ধে সামগ্রিক ও দশটি বৈশিষ্ট্য-স্তরের স্কোর সংযুক্ত করে AES গবেষণার ASAP-নির্ভরতা প্রকাশ করে, যার সময়বদ্ধ, কেবল-মাতৃভাষী প্রবন্ধ দৈর্ঘ্যকে গুণমানের সঙ্গে গুলিয়ে ফেলে; বৈশিষ্ট্য-সংযুক্তিতে প্রশিক্ষিত মডেলগুলো কর্পাস জুড়ে ভালো স্থানান্তরিত হয়েছে কেবল সামগ্রিক স্কোরে প্রশিক্ষিতদের চেয়ে (Li ও Ng, 2026)।

• মানুষ-প্রতিমানিত একটি বেঞ্চমার্ক একটি LLM-এর জন্য একই গঠন মাপতে নাও পারে। Strugatski প্রমুখ (2026) একটি রসায়ন-নির্ণায়ক ও একটি পরিমাণগত-যুক্তি পরীক্ষায় মানুষ ও মাল্টিমোডাল-LLM প্রতিক্রিয়া-গঠন তুলনা করেন; LLM ও মানুষের মধ্যে উপাদান-সামঞ্জস্য মানুষ–মানুষ বেসলাইনের নিচে থেমে গেছে এবং সমান্তরাল বিশ্লেষণ ভিন্ন উপাদান-সংখ্যা ধরে রেখেছে।

• মাল্টিমোডালিটি প্রমাণভিত্তিক ক্রমাঙ্কন উন্নত করেনি। MathCog-এ, 639টি হাতে লেখা গণিত-প্রতিক্রিয়া জুড়ে 3,036টি শিক্ষক-সংযুক্ত রায়, 18টি LLM-এর কোনোটিই macro F1 0.5-এ পৌঁছায়নি — সেরা, GPT-4o-img, 0.448 স্কোর করেছে — এবং মাল্টিমোডাল মডেলগুলো প্রমাণ অস্পষ্ট হলে কেবল-পাঠ্য মডেলের চেয়ে বেশি অবনতি করেছে, প্রমাণ অতিরিক্ত আরোপ করেছে ও উদ্ধৃতি বানিয়েছে (Kim প্রমুখ (2025))।

• এআই টিউটরিংয়ের জন্য কৃত্রিম বেঞ্চমার্ক। এআই টিউটরিং মূল্যায়নের জন্য মুক্ত, পুনরুৎপাদনযোগ্য ডেটাসেট এখনও দুর্লভ। ASTRA (Adaptive Socially-intelligent Team Reasoning Agents) একটি বহু-এজেন্ট টিউটরিং প্রোটোটাইপ ও বেঞ্চমার্ক কাঠামো, যা সামাজিকভাবে পৃথক এজেন্টদের সঙ্গে সহযোগিতামূলক প্রোগ্রামিং অধ্যয়নের জন্য, এবং একা-টিউটর, জোড়-টিউটর ও জোড়-বহুএজেন্ট বিন্যাস সমর্থন করে (N=540; 360 সেশন; 1,440 এপিসোড) মিথস্ক্রিয়া, অংশগ্রহণ-ভারসাম্য ও যাচাইয়ের পুনরুৎপাদনযোগ্য বিশ্লেষণের জন্য ট্রেস-প্রস্তুত স্কিমাসহ।

• হরাইজন একটি বেঞ্চমার্ক-অক্ষ, খুঁটিনাটি নয়। Lee প্রমুখ (2026) একটি টিউটর-এজেন্টকে একটি অনুকরণকৃত শিক্ষার্থীর সঙ্গে 30 দিনের নিরন্তর সম্পর্কে রাখেন এবং দেখেন প্রতিটি অ্যাডাপ্টার 5–10 দিনের মধ্যে সমতল হয়ে গেছে, কোনো অ্যাডাপ্টার একাধিক বেস-মডেল স্তরে শিখন-লাভ ঘটায়নি, এবং পাঁচটি স্কোরিং-অক্ষ বেশিরভাগই স্বতন্ত্র ছিল।

• লিডারবোর্ডের বদলে মানব টিউটরদের বিপরীতে স্কোরকৃত একটি টিউটরিং বেঞ্চমার্ক। StudentBench 2,383 জন প্রাপ্তবয়স্ককে এআই টিউটরিং, সরাসরি বিশেষজ্ঞ মানব টিউটরিং ও একটি ভিডিও-নিয়ন্ত্রণ জুড়ে নতুন লেখা GRE প্রশ্নে র‍্যান্ডমাইজ করে এবং পুল করা এআই টিউটরিংকে মানব টিউটরিংয়ের সাথে পরিসংখ্যানগতভাবে সমতুল্য (p=.015) এবং নিয়ন্ত্রণের চেয়ে 5.5-6.9 শতাংশ-পয়েন্ট উপরে পায়; তার শিক্ষাদান-গুণমান লিডারবোর্ড, 2,028টি বিশেষজ্ঞ জোড়া-তুলনা থেকে নির্মিত, পাঠ-পরিকল্পনা ও কথোপকথন-আচরণ র‍্যাঙ্ক করে, শিক্ষার্থীরা কতটা শিখল তা নয় (Northcutt প্রমুখ (2026))।

• বেঞ্চমার্ক নিরীক্ষা এখন স্বতন্ত্র গবেষণা-অবদান। তিনটি 2026-এর সৃষ্টি বেঞ্চমার্ক-কাজকে লিডারবোর্ড-সমষ্টিকরণের বাইরে ঠেলে দেয়। EduFair-Bench একটি অনুকরণকৃত শিক্ষার্থীকে স্থির রেখে জনসংখ্যাগত বৈশিষ্ট্য বদলায়, টিউটরিং বেঞ্চমার্ককে টার্ন-স্তরের শিক্ষাগত মেট্রিকসহ ন্যায্যতা-নিরীক্ষায় রূপান্তরিত করে (EduFair-Bench: Evaluating Pedagogical Fairness of LLM Tutors Across Student Demographics)। GeoVAD-Bench 600টি জ্যামিতি সমস্যায় চূড়ান্ত সঠিকতার বদলে মধ্যবর্তী দৃশ্য-নির্মাণ — উপলব্ধি, সহায়ক গুণমান, ব্যবহার — নির্ণয় করে (Beyond Generation and Accuracy: Diagnosing and Enhancing Visual Chain-of-Thought for Geometry Problem Solving)। ছয়টি পদার্থবিজ্ঞান বেঞ্চমার্কের বিশেষজ্ঞ পুনঃগ্রেডিং এমন স্কোরের ত্রুটি পরিমাপ করেছে: নিরীক্ষিত প্রত্যাখ্যানের 57.20% ছিল আইটেম-ত্রুটি, 38.00% গ্রেডার-ত্রুটি এবং কেবল 4.80% প্রকৃত মডেল-ব্যর্থতা (How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks)। একসঙ্গে তারা যুক্তি দেয় একটি বেঞ্চমার্ক-স্কোর সর্বদা তার নিজের নিরীক্ষিত ত্রুটি-বাজেটের সঙ্গে পড়া উচিত, যা একই শৃঙ্খলা যা মূল্যায়নের বৈধতা শ্রেণিকক্ষের যন্ত্র থেকে দাবি করে।

• নির্মাণ-দৃষ্টান্ত হিসেবে বিচ্ছিন্ন অ্যানোটেশন ও প্রশ্ন-উৎপাদন। বেশিরভাগ বেঞ্চমার্ক প্রতি আইটেম বা চিত্রে কাজ-নির্দিষ্ট প্রশ্ন–উত্তর জোড়া তৈরি করে, যা নতুন কাজে সম্প্রসারণ ব্যয়বহুল করে, কাজ জুড়ে ডেটা পুনঃব্যবহার কঠিন করে এবং প্রশ্নের রূপ ও জটিলতার ওপর সীমিত নিয়ন্ত্রণ রাখে। MUSE ক্রমটি উল্টে দেয়: প্রতিটি শিল্পকর্ম একবার এর দৃশ্য ও শব্দার্থিক বিষয়বস্তুর পুনঃব্যবহারযোগ্য কাঠামোবদ্ধ উপস্থাপনায় অ্যানোটেট করুন, তারপর পূর্বনির্ধারিত উৎপাদন-নিয়ম থেকে 12টি কাজ তৈরি করুন, ফলে এক চিত্র বহু-দৃষ্টিভঙ্গির মূল্যায়ন-দৃষ্টান্ত দেয় যেখানে কঠিনতা ও বিন্যাস উপজাত নয়, সুস্পষ্ট নকশা-চলক (MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education)। এর সম্পর্ক-প্রমাণ নকশার পক্ষে দ্বিতীয় যুক্তি — 12টি কাজ সম্পর্কিত কিন্তু অ-অতিরিক্ত সক্ষমতা মাপে (Jigsaw Puzzle বেশিরভাগের সঙ্গে দুর্বলভাবে সম্পর্কিত, ρ = 0.25 থেকে −0.10), এবং ছয়টি বাহ্যিক বেঞ্চমার্কে সাধারণ মাল্টিমোডাল স্কোর শিল্প-শিক্ষাগত চিত্রকল্পে অসমভাবে স্থানান্তরিত হয় (BLINK Jigsaw বনাম MUSE Jigsaw ρ = −0.20), যা যেকোনো একক সমষ্টিগত স্কোরকে শিক্ষাগতভাবে প্রাসঙ্গিক সক্ষমতার প্রক্সি হিসেবে পড়ার বিরুদ্ধে গঠন-কভারেজের যুক্তি (MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education)।

• মাল্টিমোডাল আউটপুট-উৎপাদন হলো সেই অক্ষ যা বেশিরভাগ বেঞ্চমার্ক বাদ দেয়। Chen প্রমুখ (2026) মধ্য বিদ্যালয় থেকে বিশ্ববিদ্যালয় পর্যন্ত 15,246টি পদার্থবিজ্ঞান-প্রশ্ন ও 19,850টি চিত্র স্কোর করেন, একটি চিত্র-সম্পাদনা উপসেটসহ: কাঠামোবদ্ধ পদার্থবিজ্ঞান-চিত্র সংশ্লেষণ বা সম্পাদনা উত্তর দেওয়ার চেয়ে কঠিন প্রমাণিত হয়েছে, এবং শীর্ষ মডেলগুলো 70% কঠোর আয়ত্তের নিচে থেমেছে।

• কে-১২ বিজ্ঞান কভারেজ ও সম্পৃক্ততার সমস্যা। মধ্য ও উচ্চ বিদ্যালয় বিজ্ঞানের জন্য একটি NGSS-সামঞ্জস্যপূর্ণ বেঞ্চমার্ক (1,078 + 1,150 কৃত্রিম আইটেম, তিন-বিচারক যাচাইকৃত) নয়টি মুক্ত-ওজন মডেলকে 90% এক-শট নির্ভুলতার উপরে পেয়েছে, যেখানে চিরায়ত আইটেম-পরিসংখ্যান উচ্চ কঠিনতা-মান ও নিম্ন বৈষম্য দেখিয়েছে: মডেলের আকার কর্মক্ষমতার পূর্বাভাস দেয়নি, এবং লেখকেরা প্রশ্ন করেন পরীক্ষাটি খুব সহজ কি না (A Benchmark for LLM's Understanding of Middle School and High School Science Topics)। এটি ক্ষেত্র-নির্দিষ্ট সেই কেস যেখানে বেঞ্চমার্কের নিজের আইটেম-পরিসংখ্যান লিডারবোর্ডের পাশাপাশি পড়া উচিত।

• প্রধান নির্ভুলতার যাচাই হিসেবে একটি তুচ্ছ বেসলাইন ও IRT ভূমিকা-সত্য। Worden প্রমুখ (2026) 1,722,169টি ASSISTments মিথস্ক্রিয়া থেকে FoundationalASSIST তৈরি করেন যেখানে প্রশ্ন-পাঠ্য ও প্রকৃত শিক্ষার্থী-প্রতিক্রিয়া সংরক্ষিত, জ্ঞান-ট্রেসিং কাজকে 51.3 শতাংশ সর্বদা-সঠিক বেসলাইনের বিপরীতে স্কোর করেন, এবং মডেল-সক্ষমতা একই ডেটায় ফিট করা দুই-প্যারামিটার IRT অনুমানের বিপরীতে পড়েন। চারটি ফ্রন্টিয়ার মডেল তুচ্ছ বেসলাইনকে প্রায় পাঁচ পয়েন্টে ছাড়িয়ে যায় (সেরা 56.2 শতাংশ), আইটেম-বৈষম্য বিচারে সুযোগের নিচে নেমে যায়, এবং — যে ব্যর্থতা এই উদ্দেশ্যে নির্মিত বেঞ্চমার্ক দেখতে পারে — সঠিক উত্তরে 85.4 শতাংশ সময়ে সঠিকতার পূর্বাভাস দেয় কিন্তু ভুল উত্তরে কেবল 12.6 শতাংশে, তাই তাদের আপাত দক্ষতা আশাবাদ-পক্ষপাত।

• একজন গ্রেডারের কনফিগারেশন নিজেই একটি চলক। Habibullah প্রমুখ (2026) দ্বি-গ্রেডকৃত 570-শিক্ষার্থীর পরীক্ষায় 171টি গ্রেডিং-কনফিগারেশন সুইপ করেন এবং দেখেন একটি সংক্ষিপ্ত "কঠোর গ্রেডার" প্রস্তাবনা 17টি মুক্ত-ওজন মডেলের 14টিকে গ্রেডেড-ব্যান্ডের বাইরে ঠেলে দেয়, তারপর একটি স্বতন্ত্র 1,038-শিক্ষার্থীর পরীক্ষায় 162 কনফিগারেশন দিয়ে পুনরাবৃত্তি করেন যার ফলাফল দুর্বলতাটি পুনরুৎপাদন করে কিন্তু তার দিক নয়। সেরা কনফিগারেশন (MAE 1.64/35, মানব গ্রেডাররা পরস্পরের বিপরীতে যে 2.61/35 অর্জন করে তার নিচে) তাই প্রমাণ নয় যে LLM গ্রেডিং কাজ করে — যদিও পুল করা মানব লেবেলে প্রশিক্ষিত একটি LoRA অ্যাডাপ্টার পাঁচটি ছোট মডেলকে মানব-সমতায় নিয়ে আসে এবং প্রায় ব্যক্তিত্ব-সংবেদনশীলতা মুছে দেয়।

• সক্ষমতা-দাবিকে আরোপযোগ্য করতে কর্পাস সীমাবদ্ধ করা। Li প্রমুখ (2026) FineWeb-Edu-কে মার্কিন কে–৫ উপাদানের 88B টোকেনে ফিল্টার করেন এবং তার ওপর একটি 5B মডেল শূন্য থেকে প্রশিক্ষণ দেন, তারপর স্কোরের বদলে আচরণগত প্রোব দিয়ে সীমা যাচাই করেন — Beyond-K–5 অনুচ্ছেদে ধারণ প্রায় শূন্য, Beyond-K–5 Jeopardy আইটেমে পতন, এবং pass@1024-এও অর্ধেকেরও কম Grade 8 MathCAMPS সমস্যা সমাধান। যেহেতু পূর্ব-প্রকাশ জানা, স্কেলিং, পোস্ট-ট্রেনিং বা ইন-কনটেক্সট উদাহরণের পরে যে সক্ষমতা দেখা যায় তা হস্তক্ষেপকে আরোপ করা যায়; লেখকেরা এও রিপোর্ট করেন যে সীমাটি মানুষ-আকৃতির নয়, কারণ মডেল কখনও একটি ডাউনস্ট্রিম দক্ষতায় জেতে পারে তার পূর্বশর্তে ব্যর্থ হয়েও।

• স্কোরিং-নিয়ম যন্ত্রের অংশ। Srivastava (2026) একই ASSISTments 2012–13 ঘটনা-ক্রমের ওপর চারটি জ্ঞান-ট্রেসিং আপডেট-নিয়ম চালান, যারা কেবল ইঙ্গিত-সহায়তাপ্রাপ্ত সারি কীভাবে স্কোর করে তাতে ভিন্ন, এবং তুলনাগুলো এমন একটি বেড়ার পিছনে পূর্বনিবন্ধিত করেন যা নিশ্চিতকরণমূলক অর্ধেক শিক্ষার্থীকে নিবন্ধন-ফাইল উপস্থিত না হওয়া পর্যন্ত আটকে রাখে। যেকোনো সমাপ্তিকে ক্রেডিট দেওয়া একটি দক্ষতা-কঠিনতা ধ্রুবককে সামান্য ছাড়িয়ে যায় (পুল করা AUC 0.604 বনাম 0.595, 985,813টি স্কোরকৃত ঘটনা জুড়ে) এবং 93.9 শতাংশ শিক্ষার্থী–দক্ষতা জোড়াকে আয়ত্ত বলে ঘোষণা করে, যেখানে যে নিয়ম সাহায্যপ্রাপ্ত সারিকে ব্যর্থ প্রথম প্রচেষ্টা হিসেবে পড়ে তার অধীনে 72.8 শতাংশ (0.658) — সাধারণ শিক্ষা হলো আয়ত্ত-লেবেল প্রমাণ-নিয়ম দ্বারা নির্ধারিত, লগ দ্বারা নয়।

• মডেল-সক্ষমতা কেবল নির্ভুলতা হিসেবে নয়, ক্রমাঙ্কিত স্তর হিসেবে রিপোর্ট করুন। Min প্রমুখ (2026) 624টি বিশেষজ্ঞ-সংযুক্ত আইটেমকে 2,050টি শিক্ষার্থী-প্রতিক্রিয়া ব্যবহার করে নামযুক্ত দক্ষতা-স্তরে মাপেন, এবং দেখেন ফ্রন্টিয়ার মডেলগুলো ক্রমাঙ্কিত সিলিং ছাড়িয়ে যায় — এমন সীমা যা শতাংশ ঢেকে রাখে।

• একটি স্কোরিং-নিয়ম যে মডেলকে প্রশিক্ষণ দেয় সে-ই খেলতে পারে। একটি সেরা সিদ্ধান্ত পুনরাবৃত্তি করে সর্বোচ্চ করা অভিযোজনযোগ্যতা-মেট্রিক দেখায় বেঞ্চমার্ক-নকশার উচিত argmax প্রকাশ করা, অভিযোজনকে পার্থক্য হিসেবে স্কোর করা এবং সুযোগের উপরে বেসলাইন রিপোর্ট করা (Domínguez Figaredo ও Fernández De la Cruz, 2026)।

সাধারণ ভুল ধারণা

• "লিডারবোর্ডের অবস্থান বলে দেয় একটি টিউটর কতটা ভালো।" StudentBench 2,383 জন প্রাপ্তবয়স্ককে এআই টিউটরিং, সরাসরি বিশেষজ্ঞ মানব টিউটরিং ও একটি ভিডিও শর্তে র‍্যান্ডমাইজ করে এবং অন্য সিস্টেমের বদলে মানব টিউটরদের বিপরীতে স্কোর করে। অন্য মডেলের সঙ্গে মাপা একটি বেঞ্চমার্ক এমন প্রশ্নের উত্তর দেয় যা কারও দরকার ছিল না।
• "অনুকরণকৃত ব্যক্তিত্ব টিউটর-মূল্যায়নের যথেষ্ট ভিত্তি।" TutorCaseBench মূল্যায়নকে অনুকরণকৃত ব্যক্তিত্বের বদলে নথিভুক্ত কেস-সাহিত্যে ভিত্তি দেয়, 923টি সংলাপ ব্যবহার করে। বানানো শিক্ষার্থী-ব্যক্তিত্ব একটি সিস্টেমকে এমন কেস পাস করতে দেয় যা ঘটেই না।
• "বিচারক যাচাই না করেই বেঞ্চমার্ক বিশ্বাস করা যায়।" হ্যালুসিনেশন উদ্ধারকৃত মুক্ত-লাইসেন্স চাঙ্কের বিপরীতে অন্তর্নিহিততা হিসেবে স্কোর করা হয়েছিল (বিশেষজ্ঞ বিচারের সঙ্গে κ = 0.76) — স্কোর ব্যবহারের আগেই বিচারককে বিশেষজ্ঞের বিপরীতে যাচাই করা হয়েছিল। অযাচাইকৃত স্বয়ংক্রিয় বিচারক অজানা অর্থের সংখ্যা উৎপন্ন করে।

সংযুক্ত ধারণা

• এআই শিক্ষা মূল্যায়ন
• পক্ষপাত প্রশমন
• মানুষ-চক্রে
• গঠনমূলক মূল্যায়ন
• জ্ঞান ট্রেসিং
• উৎপাদক এআই
• স্বয়ংক্রিয় প্রবন্ধ মূল্যায়ন

সংযুক্ত নিবন্ধ

• TutorCaseBench: A Case-Grounded Benchmark for Evaluating LLM Tutors in Supporting Students with Challenging Behaviors — TutorCaseBench: চ্যালেঞ্জিং আচরণসম্পন্ন শিক্ষার্থীদের ওপর LLM টিউটরদের মূল্যায়ন (Park প্রমুখ 2026)
• Standardized Assessment of LLM English Proficiency — 624-আইটেমের ইংরেজি দক্ষতা বেঞ্চমার্ক যা মডেল-সক্ষমতা ক্রমাঙ্কিত স্তর হিসেবে রিপোর্ট করে (Min প্রমুখ 2026)
• OmniPhys: A Unified Multimodal Benchmark for Physics Understanding and Generation from Chinese Educational Corpora
• Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis — মূল্যায়ন-যন্ত্র কি মানুষ ও LLM-এর জন্য একই জিনিস মাপে? (Strugatski প্রমুখ 2026)
• Benchmarking the Pedagogical Knowledge of Large Language Models — শিক্ষাগত বেঞ্চমার্ক: LLM-এর শিক্ষাগত জ্ঞান (CDPK + SEND)
• ISD-Agent-Bench: A Comprehensive Benchmark for Evaluating LLM-based Instructional Design Agents — ISD-Agent-Bench: LLM-ভিত্তিক নির্দেশনা-নকশা এজেন্টদের বেঞ্চমার্কিং
• Towards sustainable AI knowledge-base assistants in computer science education: on-premise deployment and optimization with open educational resources — অন-প্রিমাইজ OER এআই জ্ঞানভিত্তি সহায়ক: বহু-মাত্রিক বেঞ্চমার্ক
• From authentic products to authenticated processes: a systematic conceptual review of authentic assessment in AI-rich — প্রামাণিক পণ্য থেকে প্রমাণিত প্রক্রিয়া: এআই-সমৃদ্ধ উচ্চশিক্ষায় প্রামাণিক মূল্যায়ন
• Benchmarking Large Language Models for Diagnosing Students' Cognitive Skills from Handwritten Math Work — হাতে লেখা গণিত-কাজ থেকে শিক্ষার্থীদের সংজ্ঞানাত্মক দক্ষতা নির্ণয়ে বড় ভাষা-মডেলের বেঞ্চমার্কিং
• EduClaw-Bench: A Long-Horizon Benchmark for Pedagogical LLM Agents with Simulated Learners — EduClaw-Bench: অনুকরণকৃত শিক্ষার্থীসহ শিক্ষাগত LLM এজেন্টদের জন্য দীর্ঘ-হরাইজন বেঞ্চমার্ক
• Responsible Assessment in the AI Era: Key Insights from a Future-Focused Conference — এআই যুগে দায়বদ্ধ মূল্যায়ন: ভবিষ্যৎ-কেন্দ্রিক একটি সম্মেলনের মূল অন্তর্দৃষ্টি
• ANVIL: Analogies and Videos for Lecturers — ANVIL: প্রভাষকদের জন্য উপমা ও ভিডিও
• ICLE++: Modeling Fine-Grained Traits for Holistic Essay Scoring — ICLE++: সামগ্রিক প্রবন্ধ-স্কোরিংয়ের জন্য সূক্ষ্ম-দানাদার বৈশিষ্ট্য মডেলিং
• Findings of the First Teaching Monster Challenge: A Benchmark of Pedagogical Content Knowledge in AI Agents
• Benchmarking Multimodal Large Language Models for Educational Slide Auditing — CFES-P24: স্লাইড-নিরীক্ষার জন্য মাল্টিমোডাল LLM-এর বেঞ্চমার্কিং
• DiagramIR: An Automatic Pipeline for Educational Math Diagram Evaluation — DiagramIR: উৎপন্ন গণিত-চিত্র মূল্যায়নের বেঞ্চমার্ক
• Automating Learner Assessment: Benchmarking Machine Learning and Deep Learning Models for EEG-Based Familiarity Prediction — শিক্ষার্থী-মূল্যায়ন স্বয়ংক্রিয়করণ: EEG-ভিত্তিক পরিচিতি-পূর্বানুমান
• AlgoRAG: Retrieval-Augmented Generation for Theoretical Computer Science Education -- A Comprehensive Evaluation Framework for Algorithm Analysis and Complexity Theory — AlgoRAG: তাত্ত্বিক কম্পিউটার বিজ্ঞান শিক্ষার জন্য উদ্ধার-বর্ধিত উৎপাদন -- অ্যালগরিদম-বিশ্লেষণ ও জটিলতা-তত্ত্বের জন্য একটি বিস্তৃত মূল্যায়ন কাঠামো
• MUSE: Benchmarking Large Vision-Language Models on Multi-Modal Understanding in Situated Education — MUSE: অ্যানোটেশন-প্রথম, কাজ-উৎপাদনশীল বেঞ্চমার্ক নির্মাণ, এবং 12টি শিল্প-চিত্রকল্প কাজ জুড়ে মাত্রা-স্তরের অ-অতিরিক্ততা (Zhu প্রমুখ 2026)
• StudentBench: AI and human tutoring yield equivalent GRE learning gains — StudentBench: এআই ও মানব টিউটরিং সমতুল্য GRE শিখন-লাভ দেয়
• Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions — নতুন এআই-সহায়তাপ্রাপ্ত শিক্ষাগত প্রশ্নের শিক্ষাগত মূল্যায়নে পূর্ব-প্রশিক্ষিত মডেলের মূল্যায়ন
• A Benchmark for LLM's Understanding of Middle School and High School Science Topics — মধ্য ও উচ্চ বিদ্যালয় বিজ্ঞান বিষয়ে LLM-এর বোঝাপড়ার একটি বেঞ্চমার্ক
• The learner who does not learn: when optimizing a pedagogical metric degrades LLM tutoring — এআই-টিউটর বেঞ্চমার্কের আটটি নকশা-নীতি, একটি মেট্রিক থেকে উদ্ভূত যা পুনরাবৃত্তিতে অপ্টিমাইজ হয়ে গিয়েছিল (Domínguez Figaredo ও Fernández De la Cruz 2026)