নিজের শাস্ত্রে শিখনকে সমর্থন করতে এআই-কে কীভাবে আরও ভালো করা যায়?

ইংরেজি পাতার এই স্বয়ংক্রিয় অনুবাদ, এখনও মাতৃভাষিক বক্তার দ্বারা পর্যালোচনা করা হয়নি।

টিকিটে লেখা “আমাদের কোর্সের উপকরণে মডেলটি ফাইন-টিউন করো।” বাজেট অনুমোদিত, আগামী মাসের জন্য একটি জিপিইউ বুক করা, আর একজন স্নাতকোত্তর শিক্ষার্থীকে ডেটাসেট জোগাড় করতে বলা হয়েছে। কলে কেউ জিজ্ঞাসা করেনি একই প্রশ্নগুলোতে একটি সাধারণ প্রম্পট কী স্কোর করে, বা একটি কীওয়ার্ড সার্চ কী স্কোর করে।

আগে ওই দুটি প্রশ্ন করুন। এই জ্ঞানভান্ডারে একটি সাধারণ মডেল আর একটি কোর্স-সক্ষম মডেলের মধ্যে ফাঁকটা বেশিরভাগটাই গ্রাউন্ডিং ও প্রম্পটিংয়ের সমস্যা, আর এই ক্রমের পক্ষে প্রমাণ অস্বাভাবিকভাবে সরাসরি: একটি কোর্স-সহায়ক গবেষণায় দেখা গেছে প্রথম-ক্রমের সিদ্ধান্ত ছিল পুনরুদ্ধার, মডেল নয়, এবং গ্রাউন্ডিং ছাড়া একটি সাধারণ মডেল একটি সাধারণ TF-IDF বেসলাইনের নিচে স্কোর করেছে।

প্রশিক্ষণ বাস্তব এবং কখনো কখনো প্রয়োজনীয়। এটি তৃতীয় বা চতুর্থ জিনিস যা চেষ্টা করতে হয়, আর নিচের কাজটি এমনভাবে সাজানো যাতে কোয়ার্টারের কম্পিউট খরচ করার আগেই আপনি জানতে পারেন কোন সিঁড়িটি সত্যিই দরকার।

সংক্ষেপে

1. কিছু বদলানোর আগেই লিপিবদ্ধ করুন একটি সাধারণ প্রম্পট কী স্কোর করে, আর একটি তুচ্ছ আভিধানিক পদ্ধতি কী স্কোর করে। সেই দ্বিতীয় সংখ্যাটিই আপনাকে সৎ রাখে।

2. নিজের উপকরণের ওপর পুনরুদ্ধার মডেলের সামনে বসান। এখানে বর্ণিত খরচের তুলনায় এটি সবচেয়ে বড় একক লাভ, আর এটি প্রত্যাবর্তনযোগ্য।

3. আপনার রুব্রিকের বিরুদ্ধে প্রম্পটটি গড়ুন এবং উন্নতি থামা পর্যন্ত পুনরাবৃত্তি করুন। সেই প্লেটোই হলো সংকেত যে প্রশিক্ষণ কিছু যোগ করতে পারে।

4. লক্ষ্যটি স্থির ও সরু হলে LoRA দিয়ে ওজন অভিযোজিত করুন: একটি বিন্যাস, একটি রুব্রিক, একটি পাঠস্তর, একটি শাস্ত্রীয় শব্দভান্ডার।

5. সমস্যাটি বিষয়বস্তু নয়, আচরণ হলে পোস্ট-ট্রেন করুন, এবং পুরস্কারটি এমন একটি বেঞ্চমার্কের বিরুদ্ধে লিখুন যা আপনার ধারণা অনুযায়ী কারচুপি করা হবে।

6. প্রশিক্ষণ-সেটটি ধাপের স্তরে গড়ুন। কেবল-উত্তর তথ্য কোনো ভুল ধারণা শেখায় না।

একটি বেসলাইন নিন যা আপনি সত্যিই হারাতে পারেন

কিছু বদলানোর আগে লিপিবদ্ধ করুন একটি সাধারণ প্রম্পট কী ফেরত দেয়। তারপর লিপিবদ্ধ করুন একটি তুচ্ছ পদ্ধতি কী ফেরত দেয়।

কোর্স জ্ঞানভান্ডার সহায়ক গবেষণাটি কেবল এই কারণেই পড়ার মতো। পুনরুদ্ধার ছাড়া একটি স্থানীয় LLM 52.3% নির্ভুলতায় পৌঁছেছে। একটি TF-IDF বেসলাইন, কয়েক দশক পুরনো একটি আভিধানিক পদ্ধতি, পৌঁছেছে 55.4%-এ। মডেলটি ধ্রুপদী পদ্ধতির চেয়ে খারাপ ছিল।

এই ধাপটি বাদ দিলে আপনি বলতে পারবেন না আপনার ফাইন-টিউন কাজে লেগেছে কি না। আরও খারাপ, আপনি এমন একটি ব্যবস্থা ছাড়তে পারেন যা একটি কীওয়ার্ড সার্চ হারিয়ে দেয়, আর তা জানবেন কেবল তখন যখন একজন শিক্ষণ সহায়ক তা উল্লেখ করেন। একটি স্প্রেডশিটে দুটি সংখ্যা, এক বিকেলে নেওয়া, বাকি বাজেট রক্ষা করে।

মডেলটিকে নিজের উপকরণে গ্রাউন্ড করুন

কোর্সের উপকরণের ওপর পুনরুদ্ধার-বর্ধিত উৎপাদন যোগ করলে, কোনো ফাইন-টিউনিং ছাড়াই, ওই একই ব্যবস্থা 52.3% থেকে 66.6%-এ উঠেছে। সেই লাভ এসেছে একটি ইনডেক্স থেকে, আর তার সঙ্গে আসে এমন একটি বৈশিষ্ট্য যা একটি প্রশিক্ষণ-চালনায় নেই: আপনার নথি বদলালে আপনি নতুন করে ইনডেক্স করেন।

আরও দুটি ফল একই দিকে ইঙ্গিত করে। লেখন নির্দেশনার জন্য এআই কাস্টমাইজ নিয়ে 23টি প্রায়োগিক গবেষণার একটি PRISMA পর্যালোচনায় পাওয়া গেছে প্রম্পট ইঞ্জিনিয়ারিং প্রধান (N = 13), ফাইন-টিউনিংয়ের (N = 7) আগে (Customizing AI for writing pedagogy: a systematic review of pedagogical goals, theoretical principles, and technical design)। যেখানে একটি জ্ঞানভান্ডারকে হালনাগাদ থাকতে হয়, সেখানে পুনরুদ্ধারই একমাত্র লিভার যা প্রশিক্ষণ-কাজ নতুন করে না চালিয়ে হালনাগাদ থাকে।

পুনরুদ্ধারের একটি শিক্ষাগত রূপও আছে। নিজের সমাধান করা উদাহরণ ও রুব্রিকে একটি মডেল গ্রাউন্ড করা মানে তাকে আপনি যে স্ক্যাফোল্ড নকশা করেছেন তার ভেতরে রাখা, আপনি যে স্তর ঠিক করেছেন সেই স্তরে উত্তর দেওয়ানো, সাধারণ পরামর্শে গড়িয়ে পড়তে না দেওয়া। সেই গড়িয়ে পড়াই তৈরি-তৈরি টিউটরদের নিয়ে সবচেয়ে সাধারণ অভিযোগ, আর তা ওজনের সমস্যার চেয়ে বেশি বার পুনরুদ্ধারের সমস্যা।

আপনার রুব্রিকের বিরুদ্ধে প্রম্পট লিখুন, আর প্লেটোর দিকে নজর রাখুন

প্রম্পটের কাজ জিপিইউর জন্য অপেক্ষা করতে করতে করা কোনো প্রস্তুতি নয়। দুটি ফল দেখায় এটি একা কী অর্জন করে:

• রুব্রিক-নির্দেশিত প্রম্পটিং, পুনরাবৃত্তভাবে যৌথভাবে পরিমার্জিত, শিক্ষার্থীর নকশা-কাজে LLM-মানুষের মিল 54.75% থেকে 81.25%-এ তুলেছে (Cronbach's Alpha 0.393 থেকে 0.798), কোনো ফাইন-টিউনিং ছাড়াই (From evaluation to emulation: LLMs as agents of iterative pedagogical design)।
• সাহিত্য-ভিত্তিক একটি কাস্টম প্রম্পট লক্ষ্য গাণিতিক ভুল ধারণা প্রকাশ করেছে 0.98 হারে, যেখানে বিস্তৃত প্রম্পটে তা 0.40 (Integrating ChatGPT in Mathematics Teacher Education: AI-Based Simulation Role-Playing to Support Practice-based Teaching)।

ব্যবহারিক সংকেত হলো প্লেটো। আইটেম-উৎপাদন গবেষণায় পুনরাবৃত্ত প্রম্পট-পরিমার্জন আর উন্নতি করেনি, আর এরপর পরিমার্জিত প্রম্পটের ওপর GPT-4.1 ফাইন-টিউন করা বাকি লাভটি যোগ করেছে (How to Train Your Dragon: Evaluating Prompting and Fine-Tuning for GPT-Based Item Generation in L2 Listening Assessment)। প্রকৃত প্রম্পট-কাজের পরে একটি প্লেটো হলো প্রমাণ যে প্রশিক্ষণের কিছু যোগ করার জায়গা আছে। প্লেটোতে না পৌঁছেই প্রশিক্ষণের দিকে হাত বাড়ানো মানে অনুমান, আর অনুমানে এক মাস যায়।

আইটেম-উৎপাদনের ফলটি ক্রম নিয়ে কী বোঝায় তা খেয়াল করুন। ফাইন-টিউনটি গড়া হয়েছিল পরিমার্জিত প্রম্পটের ওপর, তাই দলটি শেষে প্রশিক্ষণ করলেও প্রম্পট-কাজটি বৃথা যায়নি। সস্তা সিঁড়িটিই ব্যয়বহুল সিঁড়ির স্পেসিফিকেশনও।

লক্ষ্য স্থির ও সরু হলে ওজন অভিযোজিত করুন

অভিযোজন লাভজনক যখন মডেলকে একটি বৈশিষ্ট্য নির্ভরযোগ্যভাবে ধরে রাখতে হয়: একটি পাঠস্তর, একটি আউটপুট-বিন্যাস, এমন একটি শাস্ত্র যা তার নেই। বারবার আসা ফল হলো লক্ষ্যবস্তু আকারকে হারায়।

• একটি বিশেষজ্ঞ-নকশা করা শিশু-পাঠ-পাঠ্যক্রমে ফাইন-টিউন করা তিনটি 8B মডেল কঠিনতা-সংশ্লিষ্ট মাপকাঠিতে জিরো-শট GPT-4o ও Llama 3.3 70B-কে হারিয়েছে, নিরাপত্তা-সমস্যা নগণ্য রেখে। লেখকেরা এটিকে স্কেলের বদলে নিয়ন্ত্রণযোগ্যতা হিসেবে দেখেন (Children's English Reading Story Generation via Supervised Fine-Tuning of Compact LLMs with Controllable Difficulty and Safety)।
• ভারতীয় জ্ঞানব্যবস্থায় গ্রাউন্ডেড একটি 24,795 উদাহরণের নির্দেশনা-ডেটাসেট একটি 7B ফাইন-টিউন তৈরি করেছে যা পাঁচ-বিচারকের বাহ্যিক প্যানেলে 6.39 স্কোর করেছে, একটি শক্তিশালী সাধারণ রেফারেন্স মডেলের 0.15-এর মধ্যে, ডিপ্লয়মেন্ট খরচের ভগ্নাংশে। একই ভিত্তি মডেল ফাইন-টিউন ছাড়া শাস্ত্র-নির্দিষ্ট মাত্রায় প্রায় শূন্য স্কোর করেছে (IKS-Instruct: A 24,000-Example Multilingual Dataset for Teaching Language Models Indian Knowledge Systems)। সাধারণভাবে সক্ষম আর এখানে সক্ষম হওয়ার মধ্যে এই ফাঁকটাই শাস্ত্রীয় অভিযোজনের পুরো যুক্তি।
• প্রায় 3,900 একত্রিত নম্বরপ্রাপ্ত উদাহরণে প্রশিক্ষিত একটি একক LoRA অ্যাডাপ্টার পাঁচটি ছোট ওপেন মডেলকে (4B থেকে 30B) দুটি কম্পিউটার-বিজ্ঞান পরীক্ষায় একজন মানব গ্রেডারের সমান বা তার চেয়ে ভালো করে তুলেছে (Where LLM Graders Succeed and Break: Evidence from Two Computer-Science Exams)। একটি অ্যাডাপ্টার, একটি ডেটাসেট, কয়েকটি ভিত্তি মডেল: এটাই সেই ডিপ্লয়মেন্ট-আকৃতি যা একটি ছোট দল চালাতে পারে।

শিরোনামের স্থির শব্দটিই ভার বহন করে। বিন্যাস, রুব্রিক, পাঠস্তর ও শাস্ত্রীয় শব্দভান্ডার স্থির লক্ষ্য। বিচার-নিবিড় গদ্যের এমন কোনো লক্ষ্য নেই, আর সেখানেই অভিযোজন ব্যর্থ হয়, যেমন পরের দুই অংশে দেখানো হয়েছে।

উত্তরগুলো যখন সমস্যা তখন আচরণ বদলান

অভিযোজন একটি মডেলকে শেখায় কী উৎপাদন করতে হবে। পোস্ট-ট্রেনিং তাকে শেখায় কীভাবে আচরণ করতে হবে। টিউটরিংয়ের ক্ষেত্রে এই পার্থক্যই পুরো সমস্যা: সাধারণ মডেলগুলো মানুষের উপকারিতা-পছন্দে পোস্ট-ট্রেন করা, যার অর্থ দ্রুত উত্তর দেওয়া, অথচ শেখানোর জন্য দরকার উত্তর আটকে রাখা।

এই জ্ঞানভান্ডারের সবচেয়ে শক্তিশালী শিক্ষাগত ফল এখানেই। EduQwen-এর রিওয়ার্ড মডেল স্পষ্টভাবে সরাসরি উত্তরের বদলে পথ দেখানো প্রতিক্রিয়াকে অগ্রাধিকার দিয়েছে, আর তার তিন-পর্যায়ের পাইপলাইন CDPK বেঞ্চমার্কে 96.52%-এ পৌঁছেছে, যেখানে Gemini-3 Pro-র 90.55% (Application-Driven Pedagogical Knowledge Optimization of Open-Source LLMs via Reinforcement Learning and Supervised Fine-Tuning)। SWIM-এর লেখন সিমুলেটর প্রতিটি বৈশিষ্ট্য ও প্রম্পট জুড়ে রুব্রিক-গ্রাউন্ডেড প্রম্পটিং (সর্বোচ্চ QWK 0.577) থেকে তত্ত্বাবধানে ফাইন-টিউনিং (0.474 ± 0.023) থেকে রিইনফোর্সমেন্ট লার্নিং (0.618 ± 0.005) পর্যন্ত গেছে (SWIM: Student Writing Simulation via Proficiency-Conditioned Generation)।

SWIM-এর সংখ্যাগুলো মন দিয়ে পড়ুন, কারণ মাঝের ধাপটি পিছিয়েছে। প্রদর্শনের ওপর তত্ত্বাবধানে ফাইন-টিউনিং সিমুলেটরকে তার শুরুর প্রম্পটের চেয়ে খারাপ করে দিয়েছে, আর কেবল পুরস্কার-সংকেতই ক্ষতিটি পূরণ করে এরপর বেসলাইনকে হারিয়েছে। আপনার পরিকল্পনা তত্ত্বাবধানে ফাইন-টিউনিংয়ে থেমে গেলে সেই পরিকল্পনা একটি ঘুরপথ হতে পারে।

ধাপের স্তরে তত্ত্বাবধান করুন

এখানে একটি ফল সহজে চোখ এড়ায় এবং এড়িয়ে যাওয়া ব্যয়বহুল: তত্ত্বাবধানের গুণমান পরিমাণকে হারায়। নির্দেশনা-টিউন করা মডেলগুলো বীজগণিতের ভুল ধারণা শিখেছে কেবল ধাপ-স্তরের সমাধান-চিহ্নে প্রশিক্ষিত হলে। কেবল চূড়ান্ত উত্তরেই প্রশিক্ষিত হলে নির্ভুলতা প্রতিটি ডেটা-আকারে 30%-এর নিচে থেমে গেছে (Misconception Acquisition Dynamics in Large Language Models)।

আপনার প্রশিক্ষণ-উদাহরণ যদি প্রশ্ন ও সঠিক উত্তরের জোড়া হয়, আপনি ভুল জিনিস প্রশিক্ষণ দিচ্ছেন, আর উদাহরণ যোগ করলে তা মেরামত হবে না। আপনার দরকার মধ্যবর্তী কাজ: ভুল মোড়, যে ধাপে শিক্ষার্থী পথ হারিয়েছে, সংশোধনটি। তা সংগ্রহ করা একটি ডেটা-ইঞ্জিনিয়ারিং সমস্যা যার একটি শিক্ষাগত বাধ্যবাধকতা আছে, আর সাধারণত তার অর্থ উত্তরপত্র স্ক্র্যাপ করার বদলে সেশন লগ করা।

যেখানে অভিযোজন চুপচাপ ব্যর্থ হয়

এই অংশটাই উৎসাহটি এড়িয়ে যায়।

বিচার-নিবিড় পাঠ্য। WrAFT-এ, যে একই প্রকল্প প্রবন্ধ স্কোরিংয়ের জন্য সফলভাবে ফাইন-টিউন করেছিল (QWK 0.84), তা ফিডব্যাকের জন্য ফাইন-টিউন করতে গিয়ে ছাঁটা ও পার্স করা যায় না এমন আউটপুট তৈরি করেছে, অথচ Claude 3.7-কে সরাসরি প্রম্পট করলে এমন ফিডব্যাক এসেছে যা শিক্ষকেরা সবচেয়ে ভালো রেট দিয়েছেন (WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays)। ফাইন-টিউনিং মডেলকে একটি স্কোর ছোঁয়া শিখিয়েছে, আর স্কোরিংই একমাত্র জিনিস যা সে শিখেছে।

মডেলের মধ্যে স্থানান্তর। LoRA অভিযোজনের অধীনে স্কেল ডাউনস্ট্রিম পারফরম্যান্সের নির্ভরযোগ্য পূর্বানুমান নয়, আর অভিন্ন হাইপারপ্যারামিটার ভিন্ন স্থাপত্যে গুণগতভাবে ভিন্ন আচরণ তৈরি করেছে (AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models)। যে রেসিপি একটি মডেলে কাজ করেছে তা রেসিপি নয়।

প্যারামিটার সংখ্যার বদলে স্থাপত্য। 1,000 ক্যাপশনযুক্ত পারমাণবিক-প্রকৌশল চিত্রে তিনটি ওপেন টেক্সট-টু-ইমেজ মডেল ফাইন-টিউন করলে Stable Diffusion XL উল্লেখযোগ্যভাবে উন্নত হয়েছে, SD-v3.5-Medium-এ সীমিত লাভ দিয়েছে, এবং Flux.1-এ আদৌ কোনো মাপার মতো উন্নতি করেনি (NuclearDiffusion: Text-to-Image Foundation Models for Learning Nuclear Energy Concepts)।

সমস্যাটি ছিল বৈধতা। একটি শীর্ষস্থানীয় প্রশিক্ষণহীন GPT-4 টিউটরিং ফিডব্যাক লেখার সময় প্রায় 35% অতিসাধারণ, ভুল বা উত্তর-প্রকাশকারী ইঙ্গিত তৈরি করেছে, আর তার নিজের স্বয়ংক্রিয় গুণমান-যাচাই মানুষের বিচারের সঙ্গে অমত করেছে (Generating In-Context, Personalized Feedback for Intelligent Tutors with Large Language Models)। এটি একটি ফিল্টারিং সমস্যা, আর একটি LoRA তা সমাধান করবে না।

চারটির মধ্যে ধরনটি হলো: অভিযোজন নির্ভরযোগ্যভাবে একটি মডেলকে এমন লক্ষ্যের দিকে সরায় যা আপনি নির্দিষ্ট করতে ও স্কোর করতে পারেন। এটি কোনো বিচার যোগ করে না, আর যে পাইপলাইনে যাচাই নেই সে খারাপ আউটপুট ছাড়বেই।

অভিযোজনের বাজেট সৎভাবে রাখুন

অভিযোজনের সিঁড়ির জন্য মানদণ্ড বেশিরভাগ দলের ধারণার চেয়ে নিচে: কয়েকশো থেকে কয়েক হাজার উদাহরণ এবং একটি জিপিইউ। LoRA অল্প সংখ্যক যোগ-করা প্যারামিটার প্রশিক্ষণ করে আর ভিত্তি-ওজন জমাট রেখে দেয়, তাই একটি অ্যাডাপ্টার থেকে কয়েকটি মডেল পরিবেশন করা যায়।

স্তর-সংখ্যা হলো একটি সমঝোতা, বাড়িয়ে চলার কোনো ডায়াল নয়। প্রতি মিলিয়ন অ্যাডাপ্টার-প্যারামিটারে লাভ স্তর-সংখ্যা বাড়ার সঙ্গে একনাগাড়ে কমেছে, আর কোর্স-স্তরের সামঞ্জস্য ছিল স্কেল ও স্তর-সংখ্যার একটি সিদ্ধান্ত, বিনামূল্যের উন্নয়ন নয় (LoRA Fine-Tuned Models for Control Systems Course Q&A: A Multidimensional Evaluation of Model Scale and Rank Effects)।

আপনি কোন স্তরগুলো অভিযোজিত করবেন তাও সত্যিকারের একটি পছন্দ। BERT-ভিত্তিক একটি বক্তব্য-বিশ্লেষকের কেবল শেষ চারটি Transformer স্তর হালনাগাদ করা কেবল শীর্ষ স্তর অভিযোজিত করার এবং পূর্ণ-গভীরতার ফাইন-টিউনিংয়ের, দুটিকেই হারিয়েছে (Automatic discourse relation classification and feedback optimization in English teaching based on transformer BERT model)। তিনটি কনফিগারেশন, তিনটি ভিন্ন ফল, আর সবচেয়ে সস্তাটিই জিতেছে।

যে খরচটি সহজে কম অনুমান করা যায় তা হলো মূল্যায়ন, যা কম্পিউটের বিলের চেয়ে বড়। দেখুন আমরা কীভাবে জানব একটি শিক্ষাগত এআই সঠিকভাবে কাজ করছে, কেবল ভালো স্কোর করছে না?

আপনার প্রত্যাশা ক্রমাঙ্কিত করুন

মডেল ও প্রম্পট-পছন্দ মিলিয়ে LLM আর শিক্ষার্থীর শিখন-লাভের মধ্যে অসামঞ্জস্যের কেবল প্রায় 15% ব্যাখ্যা করে, আর সেই গবেষণায় বেঞ্চমার্ক-ওয়েটিং ও সর্বসম্মত-ভোটিং এনসেম্বল সামঞ্জস্যকে আরও খারাপ করেছে (Knowledge without Wisdom: Measuring Misalignment between LLMs and Intended Impact)। প্রাক-প্রশিক্ষণ ডেটাই মডেল কীভাবে আচরণ করবে তার প্রধান লিভার, আর সেটিই একমাত্র লিভার যা আপনি টানতে পারেন না।

এর কিছুই ওপরের কাজের বিরুদ্ধে যুক্তি নয়। এটি এই প্রত্যাশার বিরুদ্ধে যুক্তি যে একটি ফাইন-টিউন কোনো নকশা-সমস্যা ঠিক করে দেবে। সমস্যা যদি হয় আপনার টিউটর খুব সহজে উত্তর দিয়ে দেয়, প্রশিক্ষণ তা সমাধান করতে পারে। সমস্যা যদি হয় আপনার শিক্ষার্থীরা এতে যুক্ত হয় না, প্রশিক্ষণ তা করবে না, আর 15% সংখ্যাটি বলে টাকাটা অন্য জায়গায় খরচ করা ভালো।

দলগুলো যা ভুল করে

ফাইন-টিউনিং হলো আপনার কোর্স একটি মডেলকে শেখানোর উপায়। নিজের উপকরণের ওপর পুনরুদ্ধার কোনো প্রশিক্ষণ ছাড়াই ওই একই ব্যবস্থাকে 52.3% থেকে 66.6%-এ নিয়েছে, আর একটি রুব্রিকের বিরুদ্ধে পরিমার্জিত একটি প্রম্পট মিল 54.75% থেকে 81.25%-এ সরিয়েছে। প্রশিক্ষণ বিষয়বস্তুর চেয়ে অনেক বেশি নির্ভরযোগ্যভাবে আচরণ ও বিন্যাস শেখায়।

বড় ভিত্তি মডেল এ সবের প্রয়োজন মিটিয়ে দেয়। শিশু-পাঠ-পাঠ্যক্রমে ফাইন-টিউন করা একটি 8B মডেল কঠিনতা-মাপকাঠিতে জিরো-শট GPT-4o ও Llama 3.3 70B-কে হারিয়েছে, আর একটি 7B ফাইন-টিউন শক্তিশালী সাধারণ রেফারেন্সের 0.15-এর মধ্যে থেমেছে ডিপ্লয়মেন্ট খরচের ভগ্নাংশে। আকার ও উপযুক্ততা দুটি আলাদা অক্ষ, আর তাদের একটিই টোকেনে বিক্রি হয়।

ভুলভাবে গড়া প্রশিক্ষণ-সেট আরও ডেটায় ঠিক হয়ে যাবে। কেবল-উত্তর তত্ত্বাবধান ভুল ধারণার গবেষণায় প্রতিটি ডেটা-আকারে নির্ভুলতাকে 30%-এর নিচে রেখেছে। যে লক্ষ্যে মডেলের প্রয়োজনীয় তথ্য নেই তাকে স্কেল মেরামত করে না।

একটি মডেলে কাজ করা রেসিপি পরেরটিতেও কাজ করবে। অভিন্ন হাইপারপ্যারামিটার ভিন্ন স্থাপত্যে গুণগতভাবে ভিন্ন আচরণ তৈরি করেছে, আর একই ফাইন-টিউনিং পদ্ধতি একটি ইমেজ মডেলকে উল্লেখযোগ্যভাবে উন্নত করেছে আর অন্যটিতে মাপার মতো কিছুই করেনি। আপনার ভিত্তি মডেলে রেসিপিটি নতুন করে চালান, নইলে আপনি অনুমান করছেন।

তত্ত্বাবধানে ফাইন-টিউনিং রিইনফোর্সমেন্ট লার্নিংয়ের আগে নিরাপদ মাঝের ধাপ। SWIM-এ তত্ত্বাবধান-পর্যায় 0.474 স্কোর করেছে, যেখানে যে প্রম্পটটি তার বদলে বসেছিল তা দিয়েছিল 0.577, আর কেবল পুরস্কার-সংকেতই তা উদ্ধার করেছে। মাঝের ধাপটিতে আপনার এক মাস আর একটি পতন লাগতে পারে।

যা আপনার দিকে ফিরে আসবে

“ফাইন-টিউনিংয়ের জন্য বাজেট অনুমোদিত, তাই ফাইন-টিউন করি।” আগে একটি সপ্তাহ বেসলাইন ও ইনডেক্সে খরচ করুন। পুনরুদ্ধার সংখ্যাটি সরালে ফাইন-টিউন পরের একটি সিদ্ধান্ত, আরও ভালো তথ্য নিয়ে নেওয়া, এবং তখন আপনার কাছে তার পক্ষে শক্তিশালী যুক্তি থাকবে বা জিপিইউ ফেরত দেওয়ার ভালো কারণ।

“আমাদের সমস্যা হলো শিক্ষার্থীরা এটি ব্যবহার করে না।” প্রশিক্ষণ বদলায় মডেল কী উৎপাদন করে। 15% সংখ্যাটি বর্ণনা করে শিখন-লাভের সঙ্গে অসামঞ্জস্যে মডেল ও প্রম্পট-পছন্দ কতটা ব্যাখ্যা করে, আর সম্পৃক্ততা তার বাইরে থাকে। কম্পিউট কেনার আগে শিক্ষার্থীরা কোথায় ঝরে পড়ে তা মাপুন।

“আমরা শিক্ষার্থীর কাজ একটি ভেন্ডর API-তে পাঠাতে পারি না।” এখানে সবচেয়ে শক্তিশালী LoRA ফল এসেছে 4B থেকে 30B পরিসরের ওপেন মডেল থেকে, আর একটি অ্যাডাপ্টার তাদের কয়েকটিকে পরিবেশন করেছে। সেই ডিপ্লয়মেন্ট-আকৃতি এমন একটি দলের জন্য উপলব্ধ যার একটি জিপিইউ আছে আর ডেটা-প্রসেসিং চুক্তি নেই।

“প্রম্পটিং একটা হ্যাক; আসল কাজ মানে প্রশিক্ষণ।” 23টি লেখন-নির্দেশনা গবেষণার পর্যালোচনায় প্রম্পটিং প্রধান পদ্ধতি আর ফাইন-টিউনিং তার পেছনে, এবং এই পাতায় বর্ণিত সবচেয়ে বড় লাভ এসেছে একটি ইনডেক্স থেকে। পর্যালোচনা ও কোর্স-সহায়ক গবেষণা দুটিই মাপা লাভ অনুসারে সেই সিঁড়িগুলো সাজিয়েছে।

“আমরা প্রম্পটিং চেষ্টা করেছি আর তা প্লেটোতে থেমেছে, তাই আমাদের প্রশিক্ষণ দরকার।” এটাই সঠিক পাঠ, আর এটাই সেই একমাত্র ক্ষেত্র যেখানে ওপরে ওঠা ন্যায্য। আইটেম-উৎপাদন দল যেমন করেছে তেমনই পরিমার্জিত প্রম্পটটি ফাইন-টিউনে নিয়ে যান, এবং আশা করুন লাভটি প্রম্পট-কাজের চেয়ে ছোট হবে।

“আমাদের কোর্সের উপকরণ অসামঞ্জস্যপূর্ণ, তাই পুনরুদ্ধার আবর্জনা ফেরত দেবে।” দেবে, আর পুনরুদ্ধার কর্পাসের গুণমান উত্তরাধিকারসূত্রে পায়। কর্পাস পরিষ্কার করা তার চারপাশে কাজ করার জন্য একটি মডেল প্রশিক্ষণের চেয়ে সস্তা, আর 52.3% থেকে 66.6% লাভটি মাপা হয়েছিল সাধারণ কোর্স-উপকরণের ওপর, কিউরেট করা একটি সেটে নয়।

এই সপ্তাহে কী করবেন

1. আপনার কোর্সের 50টি প্রকৃত প্রশ্নে একটি কেবল-প্রম্পট বেসলাইন ও একটি কীওয়ার্ড বেসলাইন চালান, আর দুটি সংখ্যাই লিখে রাখুন।

2. আপনার কাছে ইতিমধ্যে থাকা উপকরণে পুনরুদ্ধার তাক করুন এবং একই 50টি আবার চালান, যাতে লাভটি আপনার নিজের বেসলাইনের বিপরীতে মাপা হয়।

3. রুব্রিকটি সিস্টেম প্রম্পটে বসান এবং এক সপ্তাহ পুনরাবৃত্তি করুন। দুটি রাউন্ড কিছু না যোগ করলে থামুন।

4. ধাপ-স্তরের চিহ্নের জন্য আপনার প্রশিক্ষণ-সেট নিরীক্ষা করুন। যদি তা প্রশ্ন ও উত্তরের জোড়া হয়, ডেটাসেট প্রস্তুত নয়।

5. যে একটিমাত্র বৈশিষ্ট্য নির্ভরযোগ্যভাবে ধরে রাখা দরকার তা লিখুন, এবং ঠিক করুন তা আচরণ না বিষয়বস্তু। সেই সিদ্ধান্তই সিঁড়ি বেছে দেয়।

এরপর কোথায় যাবেন

কীভাবে একটি এআই টিউটরকে উত্তর দেওয়ার বদলে শিক্ষার্থীদের পথ দেখাতে প্রশিক্ষণ দেব? পোস্ট-ট্রেনিংয়ের অর্ধেকটি বিস্তারিত আচ্ছাদন করে। আমরা কীভাবে জানব একটি শিক্ষাগত এআই সঠিকভাবে কাজ করছে? আচ্ছাদন করে কীভাবে বুঝবেন এর কিছু কাজে লেগেছে কি না। একটি কার্যকর এআই টিউটর গড়ে তোলার সেরা চর্চা কী কী? একই লক্ষ্যের মিথস্ক্রিয়া-নকশার দিক, আর শিক্ষাগত এআই সফটওয়্যার নকশার সেরা চর্চা কী কী? আশপাশের ব্যবস্থাটি আচ্ছাদন করে। সম্পূর্ণ ধারণা-পাতা LLM Training and Fine-Tuning।