সাইকোমেট্রিকভাবে সচেতন এআই

ইংরেজি পাতার এই স্বয়ংক্রিয় অনুবাদ, এখনও মাতৃভাষিক বক্তার দ্বারা পর্যালোচনা করা হয়নি।

সাইকোমেট্রিকভাবে সচেতন এআই — পরিমাপ-তত্ত্বের সঙ্গে সামঞ্জস্যপূর্ণ এআই মূল্যায়ন ব্যবস্থা — হলো সেই মান যা Aligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling Approach, Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction, আত্মবিশ্বাস-সচেতন এআই মূল্যায়ন এবং আইটেম রেসপন্স তত্ত্ব-তে প্রস্তাবিত: ক্রমাঙ্কিত, অনিশ্চয়তা-সচেতন এআই মূল্যায়ন নির্ভরযোগ্যতা ও বৈধতা সংরক্ষণ করে, কাঁচা মডেল-আত্মবিশ্বাসকে সাইকোমেট্রিক প্রমাণের বিকল্প বানায় না।

বিবেচনার প্রশ্ন

• একটি এআই শিক্ষার্থীর উত্তর মূল্যায়ন করে আত্মবিশ্বাসী শোনানো একটি স্কোর জানায়। কোন ভিত্তিতে আপনি সেই সংখ্যাটি বিশ্বাস করবেন — আর মডেলটি কোনো পরিমাপ-মানদণ্ডের বিপরীতে ক্রমাঙ্কিত হয়নি জেনে কি আপনার উত্তর বদলে যায়?
• পৃষ্ঠাটি কাঁচা মডেল-আত্মবিশ্বাসকে সাইকোমেট্রিক প্রমাণের বিকল্প বানানোর বিরুদ্ধে সতর্ক করে। এমন একটি সময়ের কথা ভাবুন যখন আপনি একটি আত্মবিশ্বাসী এআই আউটপুট বিশ্বাস করেছিলেন যা পরে ভুল প্রমাণিত হয়। কী তার আত্মবিশ্বাসকে অর্জিতহীন করে তুলেছিল, আর 'অনিশ্চয়তা-সচেতন' আউটপুট বদলে কেমন দেখাত?
• গবেষণায় দেখা গেছে, একই মূল্যায়ন যন্ত্রে মানুষের ও LLM-এর প্রতিক্রিয়া-গঠন ভিন্ন হয়ে যায় — অর্থাৎ একটি মডেল ভালো স্কোর করতে পারে অথচ পরীক্ষাটি যা মাপতে চায় তার থেকে ভিন্ন কিছু মাপছে। আপনি যদি এআই গ্রেডার ব্যবহার করা একজন শিক্ষক হন, তবে কীভাবে কখনও ধরবেন যে পরীক্ষাটি মেশিনের কাছে 'বোঝায়' অন্য কিছু, আপনার শিক্ষার্থীদের কাছে যা নয়?
• আইটেম-কঠিনতার পূর্বানুমান LLM ব্যবহার করে অনুমান করে একটি প্রশ্ন কত কঠিন। পড়ার আগে ভাবুন: 'এই প্রশ্নটি কত কঠিন?' — এটি কি প্রশ্নটি সম্পর্কে একটি তথ্য, নাকি যারা (বা যে মডেলগুলো) এর উত্তর দিচ্ছে তাদের সম্পর্কে — আর এই অস্পষ্টতা পরীক্ষা ক্রমাঙ্কনে এআই ব্যবহারের জন্য কী বোঝায়?
• ক্রমাঙ্কন, নির্ভরযোগ্যতা ও বৈধতা সুনির্দিষ্ট অর্থবাহী পরিমাপ-ধারণা। এর কোনগুলো আপনি আপনার নিজের মূল্যায়ন-অনুশীলনে সত্যিই ভেবেছেন, আর কোথায় আপনি এমন একটি এআই আউটপুটের উপর নির্ভর করছেন যা কখনও এগুলোর বিপরীতে যাচাই হয়নি?
• একজন প্রশাসক বা ডেভেলপারের জন্য: আপনি যে এআই মূল্যায়ন সরঞ্জামটি বিবেচনা করছেন সেটি যদি কেবল কাঁচা নির্ভুলতা প্রতিবেদন করে, তবে প্রকৃত শিক্ষার্থীদের সঙ্গে মোতায়েন করার আগে আপনি তার বিক্রেতাকে এখন কোন নির্দিষ্ট প্রশ্নগুলো করবেন?

ভূমিকা

এআই ব্যবস্থাগুলো ক্রমশ প্রতিক্রিয়া স্কোর করছে, কঠিনতা পূর্বানুমান করছে এবং প্রতিক্রিয়া দিচ্ছে, ফলে একটি প্রধান ঝুঁকি হলো তারা আত্মবিশ্বাসী শোনানো এমন আউটপুট প্রতিবেদন করে যা পরিমাপ-নীতির বিপরীতে বৈধতা পায়নি। সাইকোমেট্রিকভাবে সচেতন এআই এটি মোকাবিলা করে এআই মূল্যায়নকে প্রতিষ্ঠিত সাইকোমেট্রিকসে প্রোথিত করে — আউটপুট ক্রমাঙ্কন করে, অনিশ্চয়তা পরিমাপ করে, এবং মূল্যায়ন-বৈধতা ও শিক্ষামূলক পরিমাপের মান সংরক্ষণ করে, কাঁচা নির্ভুলতা বা স্ব-প্রতিবেদিত আত্মবিশ্বাসের উপর নির্ভর না করে।

গবেষণায় সাইকোমেট্রিকভাবে সচেতন এআই কীভাবে হাজির

• ক্রমাঙ্কন ও আত্মবিশ্বাস: আত্মবিশ্বাস-সচেতন মূল্যায়ন ও LLM সাইকোমেট্রিক ক্রমাঙ্কন নিশ্চিত করে যে এআই অর্থবহ, অনিশ্চয়তা-সচেতন স্কোর প্রতিবেদন করে, অতি-আত্মবিশ্বাসী একবিন্দু-অনুমান নয়।

• মডেল-আত্মবিশ্বাস যথেষ্ট নয়। SciEntsBank-এ মৌখিক, সুপ্ত ও সামঞ্জস্য-ভিত্তিক আত্মবিশ্বাস — প্রত্যেকটিই সঠিক ও ভুল সংক্ষিপ্ত উত্তর আলাদা করতে ব্যর্থ হয়; সর্বোত্তম ক্রমাঙ্কন এসেছিল ডেটাসেট-উদ্ভূত অ্যালিয়েটরিক অনিশ্চয়তা — এমবেড করা প্রতিক্রিয়ার ক্লাস্টার-অভ্যন্তরীণ এনট্রপি — একটি Random Forest ও Platt স্কেলিংয়ের মাধ্যমে যোগ করে, যা নির্বাচনী স্বয়ংক্রিয় গ্রেডিং ও মানব পর্যালোচনা সক্ষম করে (Cong প্রমুখ (2026))।

• আত্মবিশ্বাসের চিহ্ন পর্যালোচনা বাছাই করে, গ্রহণ নয়। উচ্চ-ঝুঁকির হাতে লেখা পদার্থবিজ্ঞান গ্রেডিংয়ে এআই-আত্মবিশ্বাসের লেবেল উচ্চ-আত্মবিশ্বাসের অংশে অনেক কম স্কোর-ত্রুটি অনুসরণ করেছিল, তবুও কিছু উচ্চ-আত্মবিশ্বাসী, চিহ্নহীন অংশ এখনও সরকারি নম্বরের সঙ্গে মেলেনি, তাই লেবেলগুলো পরীক্ষকের পর্যালোচনাকে অগ্রাধিকার দেওয়ার জন্য উপযোগী, স্বয়ংক্রিয় গ্রহণের অনুমোদনের জন্য নয় (Pathak প্রমুখ (2026))।

• কঠিনতার পূর্বানুমান: আইটেম-কঠিনতার পূর্বানুমান দেখায় কীভাবে LLM-ভিত্তিক অনুমানকে সাইকোমেট্রিক মডেলের বিপরীতে বৈধ করতে হয় (দেখুন আইটেম রেসপন্স তত্ত্ব)। Razavi ও Powers (2026) একটি বৃহৎ-পরিসরের প্রদর্শন দেন: রাশ IRT মডেলের অধীনে ক্রমাঙ্কিত K-5 গণিত ও পঠন বিষয়ের 5,170 আইটেম জুড়ে GPT-4o-এর শূন্য-শট কঠিনতা-রেটিং প্রকৃত কঠিনতার সঙ্গে মাঝারি-থেকে-শক্তিশালী সম্পর্ক দেখিয়েছিল (r = 0.83 গণিত, r = 0.81 পঠন) কিন্তু শ্রেণিভেদে অসম ছিল, আর একটি বৈশিষ্ট্য-ভিত্তিক পদ্ধতি (LLM-নিষ্কাশিত বৈশিষ্ট্য ট্রি-ভিত্তিক মডেলে) সম্পর্ক r = 0.87 পর্যন্ত পৌঁছেছিল। গবেষণাটির ব্যাখনযোগ্য বৈশিষ্ট্য-গুরুত্ব (শ্রেণিস্তর ও শব্দসংখ্যা শীর্ষ পূর্বানুমানক) এবং তার ব্যবহারিক সাত-ধাপ কর্মপ্রবাহ দেখায় কীভাবে সাইকোমেট্রিকভাবে সচেতন এআই কার্যকর করা যায় — আর তার প্রাথমিক-শ্রেণির পরিসর-সীমাবদ্ধতার ফল ও সাধারণীকরণের সতর্কতাগুলো ফিট করা সাইকোমেট্রিক প্যারামিটারের বিপরীতে LLM-অনুমান বৈধ করার প্রয়োজনীয়তার উপর জোর দেয়।

• একটি কার্ভ পুনরুদ্ধার করা প্রতিটি প্যারামিটার পুনরুদ্ধার করার সমান নয়। অনুকরণকৃত উত্তরদাতা হিসেবে ফাইন-টিউন করা একটি মাল্টিমোডাল মডেল ধরে রাখা আইটেম-কঠিনতা r = 0.85-এ অনুমান করেছে এবং অনুমান-প্যারামিটার 0.48-এ পুনরুদ্ধার করেছে, কিন্তু বিভেদকরণ দুর্বল ছিল, 0.31 — তাই কোন প্যারামিটার একটি পদ্ধতি পুনরুদ্ধার করে, সেটাই ফল (Ormerod ও Kim, 2026)।

• পরিমাপ-বৈধতা: ধারণাটি মূল্যায়নের বৈধতা ও শিক্ষামূলক পরিমাপ-এর সঙ্গে যুক্ত, যে কাঠামোগুলো বৈধ, নির্ভরযোগ্য এআই মূল্যায়ন কেমন দেখায় তা নির্ধারণ করে।

• সুপ্ত-গঠন বৈধতা: Strugatski প্রমুখ (2026) দেখান যে সাইকোমেট্রিকভাবে সচেতন অবস্থানের আরও যাচাই করতে হয় যে একটি মূল্যায়ন LLM-এ একই সুপ্ত গঠন মাপে যা মানুষের ক্ষেত্রে মাপে। যেহেতু একই যন্ত্রে LLM ও মানব প্রতিক্রিয়ার ফ্যাক্টর-গঠন ভিন্ন হয়ে যায়, ভালো স্কোর করা মডেলও পরীক্ষাটি যে গঠন মাপার দাবি করে তা না-ও মাপতে পারে — এটি যেকোনো এআই মূল্যায়নের জন্য সতর্কতা যা মানব-বৈধতার প্রমাণ ধার করে।

• একটি লেবেল তার নামের চেয়ে বেশি, বা কম, মাপতে পারে। 12টি এআই-সাক্ষরতা যন্ত্রের 55টি গঠন ও 272টি আইটেম এমবেড করলে জ্যাঙ্গল জোড়া (একই লেবেল, ভিন্ন পরিমাপ) ও জিঙ্গল জোড়া (ভিন্ন লেবেল, প্রায় অভিন্ন ভাষা) উঠে আসে, নির্ভরযোগ্যতা r = 0.49-এ পুনরুদ্ধার করে, যা সংগ্রহ-পূর্ব একটি যাচাই যে গঠন-পার্থক্য আইটেমের ভাষায় টিকে থাকে (He প্রমুখ (2026))।

• ফলাফল-নোঙর প্রত্যাখ্যানকারী একটি নির্ভরতা-স্কেল। চারটি ফ্যাক্টর — প্রতিফলনশীল, সতর্ক, বেপরোয়া ও সহযোগিতামূলক ব্যবহার — 800টি প্রতিক্রিয়া থেকে উঠে এসেছে এবং ভিন্ন আকৃতির একটি কাজেও টিকে গেছে (CFI = .91), যা কাজের প্রতি মুহূর্তে আচরণ মাপে, তাকে ভালো বা খারাপ লেবেল দেয় না (Hou প্রমুখ (2025))।

• সুপ্ত-ক্ষমতা পাইপলাইন ও মান-নির্ধারণ: Curi প্রমুখ (2026) একটি জাতীয় পরীক্ষায় সাইকোমেট্রিকভাবে সচেতন স্কোরিংয়ের একটি নির্দিষ্ট টেমপ্লেট দেন: রুব্রিক আইটেমের স্কোর কখনও সরাসরি যোগ করা হয় না, বরং একটি IRT মডেলে ঢোকানো হয়, যার সুপ্ত-ক্ষমতার অনুমান Bookmark মান-নির্ধারণ পদ্ধতিতে কেটে Proficient / Close to Proficiency / Insufficient-এ ভাগ করা হয়, যেখানে পাসের জন্য অন্তত দুটি Proficient অংশ এবং বাকি একটি অন্তত Close to Proficiency প্রয়োজন। লেখকেরা সেই পাইপলাইন স্বয়ংক্রিয় রূপে পুনরুৎপাদন করেন (নিম্ন কাটঅফের জন্য অন্তত 7টি রুব্রিক আইটেম সঠিকভাবে উত্তর দেওয়ার 67% সম্ভাবনা এবং উচ্চ কাটঅফের জন্য অন্তত 10টি), যাতে এআই ও মানব আইটেম-স্কোরকে কেবল কাঁচা মিল নয়, অভিন্ন সিদ্ধান্ত-মানদণ্ডের বিপরীতে তুলনা করা যায়।

• ভারসাম্যপূর্ণ মেট্রিক এমন মডেল ধরে যা কেবল ক্রমাঙ্কিত দেখায়। GPT-4o ও Gemini 2.0 Flash-কে 153 জন স্নাতকের সংলাপ থেকে শিখন-শৈলীর মাত্রা অনুমান করতে বললে মাঝারি নির্ভুলতা মিলেছিল, যা প্রতি-শ্রেণির রিকল দেখায় যে তা প্রভাবশালী-লেবেলের পূর্বানুমান ছিল, Intuitive ও Global শিক্ষার্থীদের কম শনাক্ত করা হয়েছিল এবং ফিউ-শট প্রম্পটিং কখনও কখনও পক্ষপাত দূর করার বদলে বাড়িয়ে দিয়েছিল (Zamanifard, Goudarzi ও Robb (2026)).

সংযোগ

সাইকোমেট্রিকভাবে সচেতন এআই শিক্ষামূলক পরিমাপ, মূল্যায়নের বৈধতা, আইটেম রেসপন্স তত্ত্ব এবং আত্মবিশ্বাস-সচেতন এআই মূল্যায়নের ছেদবিন্দুতে অবস্থান করে। এটি এআই শিক্ষা মূল্যায়ন-এর কেন্দ্রে (এআই মূল্যায়ন বিশ্বাসযোগ্য কি না) এবং বৃহৎ ভাষা মডেল (এলএলএম)-ভিত্তিক স্বয়ংক্রিয় মূল্যায়ন ও স্বয়ংক্রিয় গ্রেডিংয়ের সঙ্গে যুক্ত। বৈধতার উপর এর জোর পরিমাপ-সীমাবদ্ধতার দিকেও ইঙ্গিত করে AIED গবেষণায়।

সাধারণ ভুল ধারণা

• "ভালো স্কোর করা একটি মডেল একই জিনিস মাপছে।" একই মূল্যায়ন যন্ত্রে মানুষের ও LLM-এর প্রতিক্রিয়া-গঠন ভিন্ন হয়ে যায় — একটি মডেল ভালো স্কোর করতে পারে অথচ যন্ত্রটি যা বোঝাতে চায় তার থেকে ভিন্ন কিছু মাপতে পারে। স্কোরের মিল হলো পর্যবেক্ষণ; গঠন-সমতুল্যতা একটি আলাদা দাবি, যার জন্য গঠন-স্তরের প্রমাণ প্রয়োজন।
• "ক্রমাঙ্কন একটি নির্ভুলতার সংখ্যা থেকেই পড়া যায়।" ভারসাম্যপূর্ণ মেট্রিক এমন মডেল ধরে যা কেবল ক্রমাঙ্কিত দেখায়: GPT-4o ও Gemini 2.0 Flash-কে 153 জন স্নাতকের সংলাপ থেকে শিখন-শৈলীর মাত্রা অনুমান করতে বললে মাঝারি নির্ভুলতা মিলেছিল যা ভারসাম্যপূর্ণ মেট্রিকের অধীনে ভিন্নভাবে আচরণ করে। সমষ্টিগত নির্ভুলতা এমন একটি পার্থক্য লুকিয়েছিল যা ভারসাম্যপূর্ণ মেট্রিক প্রকাশ করে।
• "স্বয়ংক্রিয় স্কোরিং পাইপলাইন সাইকোমেট্রিক পদ্ধতি পুনরুৎপাদন করতে পারে না।" লেখকেরা একটি প্রতিষ্ঠিত পাইপলাইন স্বয়ংক্রিয় রূপে পুনরুৎপাদন করেন (নিম্ন কাটঅফের জন্য অন্তত 7টি রুব্রিক আইটেম সঠিকভাবে উত্তর দেওয়ার 67% সম্ভাবনা এবং উচ্চ কাটঅফের জন্য অন্তত 10টি), যাতে এআই ও মানব আইটেম-স্কোর একই ভিত্তিতে তুলনা করা যায়। পদ্ধতিটি পুনরুৎপাদনযোগ্য ছিল; গঠনের প্রশ্নটি রয়ে যায়।

সংযুক্ত ধারণা

• শিক্ষামূলক পরিমাপ
• মূল্যায়নের বৈধতা
• আইটেম রেসপন্স তত্ত্ব
• স্বয়ংক্রিয় মূল্যায়ন
• এআই শিক্ষা মূল্যায়ন
• বৃহৎ ভাষা মডেল (এলএলএম)
• AIEd গবেষণার সীমাবদ্ধতা
• শিক্ষায় কৃত্রিম বুদ্ধিমত্তা

সংযুক্ত নিবন্ধ

• Measuring undergraduate students' reliance on generative AI during problem-solving: Scale development and validation — সমস্যা সমাধানে শিক্ষার্থীদের জেনারেটিভ এআই-নির্ভরতার একটি বৈধতাপ্রাপ্ত স্কেল (Hou প্রমুখ 2025)
• A Human-in-the-Loop Framework for AI-Assisted Scoring in Large-Scale Writing Assessment — বৃহৎ-পরিসর লেখন মূল্যায়নে এআই-সহায়ক স্কোরিংয়ের মানব-চক্র কাঠামো
• Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis — মূল্যায়ন যন্ত্র কি মানুষ ও LLM-এর জন্য একই জিনিস মাপে? (Strugatski প্রমুখ 2026)
• Aligning LLM-Simulated and Human Examinees for Psychometric Calibration: A Cognitive Diagnostic Profiling Approach — LLM মূল্যায়নকে সাইকোমেট্রিক ক্রমাঙ্কনের সঙ্গে মেলানো
• Cognitive Episodes in LLM Reasoning Traces Enable Interpretable Human Item Difficulty Prediction — আইটেম-কঠিনতার LLM পূর্বানুমান
• Confidence Estimation in Automatic Short Answer Grading with LLMs — আত্মবিশ্বাস-সচেতন স্বয়ংক্রিয় সংক্ষিপ্ত-উত্তর গ্রেডিং
• Multimodal Item Parameter Estimation using Simulated Response Probabilities — মাল্টিমোডাল আইটেম-প্যারামিটার অনুমান
• Knowledge, Skills, Attitudes, Production: Competency-Based Education After Generative AI — জেনএআই-সহ দক্ষতা-ভিত্তিক শিক্ষা
• Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes — হাতে লেখা পদার্থবিজ্ঞান মূল্যায়নের এআই গ্রেডিং (অলিম্পিয়াড)
• Estimating Item Difficulty Using Large Language Models and Tree-Based Machine Learning Algorithms — LLM ও ট্রি-ভিত্তিক এমএল ব্যবহার করে আইটেম-কঠিনতা অনুমান
• Clarifying the Conceptual Landscape in AI Literacy Measurement: A Large Language Model Based Approach — এআই-সাক্ষরতা যন্ত্রের তুলনা: 55টি গঠন জুড়ে জ্যাঙ্গল ও জিঙ্গল জোড়া
• Student Use of LLMs and the Limits of AI-Generated Question Difficulty in Data Science Courses — শিক্ষার্থীদের LLM ব্যবহার এবং ডেটা-বিজ্ঞান কোর্সে এআই-উৎপন্ন প্রশ্ন-কঠিনতার সীমা
• Bias and Reliability in Learning-Style Inference from Student–AI Dialogues: An Evaluation of GPT-4o and Gemini 2.0 Flash — প্রতি-শ্রেণির রিকল যাচাইয়ের পর মাঝারি নির্ভুলতা ছিল সংখ্যাগরিষ্ঠ-শ্রেণির পূর্বানুমান (Zamanifard, Goudarzi ও Robb 2026)