عوامل تاثیرگذار بر انتخاب سؤالات بعدی و شیوه نمرهدهی
در CAT، انتخاب سؤال بهینه بر این اساس است که، علاوه بر اینکه کارایی آزمون را به حداکثر میرساند، آزمونی با طول کوتاه و در عین حال آگاهیدهنده به هر آزمودنی ارائه شود. در حالی که، سنجش انطباقی با انتخاب متوالی سؤالاتی که اندازهگیری بهینهای در هر سطح توانایی برآورد شده آزمودنی ایجاد میکنند، به کارایی میرسد، در برنامه های سنجش انطباقی عملیاتی، به طور نوعی در انتخاب سؤال باید به عوامل دیگری هم توجه کرد. به طور کلی، سؤالات با توجه به حداقل سه هدف اغلب متضاد انتخاب میشوند: (۱). کارایی آزمون را از طریق اندازهگیری سریع و دقیق توانایی آزمودنی افزایش دهد؛ (۲). این اطمینان را ایجاد کند که آزمون از لحاظ محتوایی تعادل مناسبی دارد؛ (۳). از امنیت خزانهی سؤال، از طریق کنترل نرخی که سؤالات بهینه اجرا میشوند، محافظت کند(پارشال، اسپری، کالن و دیوی، ۲۰۰۲؛ پارشال، دیوی و نرینگ، ۱۹۹۸). در این قسمت تنها هدف اول مورد بررسی قرار میگیرد، و دو هدف دیگر، به عنوان مؤلفههای دیگر CAT در قسمتهای مجزایی بررسی میشود.
شیوه های انتخاب سؤال به منظور افزایش کارایی آزمون و نمره دهی آزمون
در CAT ، سؤالات جدید به طور انطباقی با توجه به برآورد موقت سطح توانایی آزمودنی، بر اساس پاسخ به سؤالات که قبلاً اجرا شده، انتخاب میشوند (دیوی، پارشال، ۱۹۹۵). سؤالات برای افزایش کارایی آزمون از طریق سه رویکرد متفاوت انتخاب میشوند درحال حاضر، سه روشی که به طور وسیعتری برای انتخاب سؤال در سنجش انطباقی به کارمیرود عبارتند از بیشینه آگاهی[۱۱۱] (MI) (براون[۱۱۲] و ویس[۱۱۳]، ۱۹۷۷) و بیشینهی دقت پسین[۱۱۴] (MPP) (اوون، ۱۹۷۵) و آگاهی وزندار[۱۱۵] (WI) (پارشال، اسپری، کالن و دیوی، ۲۰۰۲).
۱). شیوه بیشینهی آگاهی انتخاب سؤال
آگاهی سؤال یا آگاهی فیشر معیار متداولی است که از طریق آن سهمی که هر سؤال، سطح توانایی آزمودنی را اندازهگیری میکند را مشخص میکند. به دلیل اینکه، آگاهی سؤال رابطه معکوسی با واریانس برآورد توانایی دارد، هدف اغلب شیوه های انتخاب سؤال این است که تا جایی که امکان دارد میزان آگاهی بیشتری جمع آوری کنند. در مدل سه پارامتری لوجستیک، مقدار آگاهی هر سؤال در هر سطح توانایی بیشتر به پارامتر a سؤال بستگی دارد. تحت سادهترین شیوه های انتخاب سؤال CAT، سؤالی که بیشترین میزان آگاهی را در برآورد توانایی دارد، برای اجرا انتخاب میشود (براون و وایس، ۱۹۷۷). از همینرو روش بیشینهی اطلاعات (MI)، سؤالی را انتخاب میکند که مقدار آگاهی فیشر را در برآورد توانایی جدید آزمودنی بیشینه کند. فرض کنید ، تابع پاسخ سؤال را برای سؤال نشان میدهد و میباشد. بنابرین، برای سؤالی که به صورت دوارزشی نمره داده شده است، آگاهی فیشر بر اساس معادلهی (۲-۱) عبارت است از (لرد، ۱۹۸۰):
(۲-۱)
؛ احتمال پاسخ درست با معین میباشد.
؛ احتمال پاسخ نادرست با معین میباشد.
با جایگزین کردن مشخصات مدل معادلهی (۲-۱)، برای مدل سه پارامتری لوجستیک دو ارزشی، معادله به صورت معادلهی (۲-۲) ساده میشود (همبلتون، سوامیناتان و راجرز[۱۱۶]، ۱۹۹۱؛ لرد، ۱۹۸۰):
(۲-۲)
در معادلهی (۲-۲)، ، ، و ؛ پارامتر ضریب تشخیص سؤال میباشد، ؛ پارامتر سطح دشواری سؤال میباشد و ؛ پارامتر حدس سؤال ( یعنی احتمال اینکه آزمودنی با خیلی پایین به سؤال پاسخ صحیحی بدهد)، میباشد. معادلهی (۲-۲) نشان میدهد چنانچه به نزدیک شود و نیز افزایش یابد و به صفر نزدیک شود، آگاهی سؤال افزایش مییابد (هملتون و همکاران، ۱۹۹۱).
انتخاب آزاد (نامقید[۱۱۷]) روش MI ، سؤال را انتخاب میکند که آگاهی فیشر را در بیشینه کند. و موقت برای آزمودنی بعد از n سؤال برآورد میشوند. زمانی که سؤالاتی که در CAT قرار میگیرد با بهره گرفتن از روش MI انتخاب شوند، دقت به ازای هر سؤالی که اجرا میشود، افزایش مییابد (هملتون و همکاران، ۱۹۹۱). انتخاب سؤال به روش بیشینهی آگاهی از لحاظ محاسباتی بسیار سرراست است، زیرا عملیات محاسبه توابع آگاهی میتواند قبل از اینکه هر یک از آزمودنها آزمون دهند، محاسبه شود. نتایج آگاهیهای محاسبه شده در خانه های جدول بر اساس میزان آگاهیشان مرتب میشوند (پارشال، اسپری، کالن و دیوی، ۲۰۰۲). در عمل، اغلب انتخاب سؤال به روش MI بر روی جدول آگاهی که قبلاً محاسبه شده استوار است، که در آن جدول سؤالات بر اساس آگاهی که در هر تعداد از مقادیر فراهم میکند، منظم میشوند. انتخاب سؤال برای همه هایی که در حدود فواصل مقدار جدولبندی شده قرار دارند، یکسان است. به جای محاسبه میزان آگاهی فیشر برای هر یک از سؤالات خزانهی سؤال در مقدار برآورد جدید ، در هر زمانی که سؤال بعدی باید انتخاب شود، لازم است که تنها یک مرتبه برای هر سؤال در هر نقطه جدولبندی شده محاسبه شود. روش انتخاب سؤالی که بر جدول آگاهی مبتنی است تقریباً اطلاعات کمتری ایحاد میکند، امّا از لحاظ محاسباتی نسبت به روش MI دشواری کمتری دارد. این شیوه های انتخاب سؤال آماری، بر ملاحظات عملی از قبیل نرخ مواجهه سؤال اثر میگذارند (گو و ریکیسی، ۲۰۰۷). البته، متاسفانه، خطای برآورد اغلب به انتخاب سؤالات از ستونی منجر میشوند که مقدار توانایی واقعی را پوشش نمیدهد. این قضیه، مخصوصاً زمانی واقعیت پیدا میکند که تعداد کمی سؤال اجرا میشود. و زمانیکه سؤالات ضرایب تشخیص بالایی دارند که باعث میشود به بالای جدول آگاهی نزدیک شوند، وخیمتر میشود. چون این سؤالات بیشتر مورد توجه قرار میگیرند. اغلب این سؤالات دامنه محدودی از توانایی را تشخیص میدهند و بقیه دامنه توانایی را ضعیف تشخیص میدهند. بنابرین، سؤالاتی که به خوبی برآورد موقت توانایی را اندازهگیری میکنند، ممکن است به طور ضعیفی مقدار واقعی توانایی را اندازهگیری کنند (پارشال، اسپری، کالن و دیوی، ۲۰۰۲). بنابرین توصیه میشود، زمانی که این شیوه انتخاب سؤال در الگوریتم CAT به کار میرود، از روشهای مناسب کنترل مواجهه استفاده شود (گو و ریکیسی، ۲۰۰۷).
۲). شیوه انتخاب سؤال به روش بیشینهی دقت پسین
در شیوه انتخاب سؤال بیشینهی پسین (MPP)، سؤالی انتخاب میشود که بیشترین کاهش را در واریانس توزیع پسین توانایی ایجاد کند. این روش به منظور تشخیص برآوردهای موقتی توانایی که دارای خطا هستند، ایجاد شده است. بنابرین، سؤالات بر اساس توزیع کامل پسین توانایی به جای یک نقطه برآورد، انتخاب میشوند. ممکن است که سؤالی که انتخاب میشود در آن سطح توانایی یا سطوح دیگر توانایی، بیشترین آگاهی را نداشته باشد. درعوض، سؤال انتخاب شده، سؤال متعادلی است که در طول سطح چگالی توزیع پسین، اندازهگیری مناسبی انجام میدهد. این رویکرد ماهیت محافظهکارانهای دارد و اغلب نتایج خوبی ایجاد میکند. با این وجود، رویکرد MPP نمیتواند بر اساس جدول آگاهی عمل کند و بنابرین، از لجاظ محاسباتی سختتر از رویکرد MI میباشد. در این شیوه، به طور مداوم سؤالات ارائه نشده کل بانک سؤال جستجو میشود تا سؤالی که حداکثر کاهش را در واریانس پسین ایجاد میکند، پیدا شود. این فرایند برای خزانههای سؤالی که نسبتاً بزرگ هستند، بینهایت زمانبر میباشد (پارشال، اسپری، کالن و دیوی، ۲۰۰۲).