LRTモデルに基づくCATの開発と シミュレーションによる特性解析 ○秋山 實 東北大学大学院（院生） 木村 哲夫 新潟青陵大学 荘島 宏二郎 大学入試センター 研究の背景・目的 ➲ 背景 ・潜在ランク理論（以降LRTと呼ぶ）が荘島によって提案 された（荘島，２００７a；ニューラルテスト理論） ・しかし，これに基づくアダプティブテスト（以降CATと呼ぶ） が未だ存在しない ・項目応答理論に基づくCATよりも小規模利用に適して いるのではないか？（木村，２０１０） ・プレースメントテストにLRTに基づくCAT （以降LRT-CATと呼ぶ）を使うニーズが出てきた ➲ 目的 ・LRT-CATを開発する ・その特性を調べる LRTモデルとは ➲ テストの解像度は連続値で表示するほど高くな い（荘島，２００７a） ・項目応答理論では，-∞から+∞の連続値で表現 ➲ ５から２０程度のランク数で能力を表わす ・受験者の能力は，Rank と Rank Membership Profile で表わす（以降RMPと呼ぶ） ・項目の特性は，Item Reference Profileで表わす （以降IRPと呼ぶ） RMPの例 IRPの例 LRTモデルの正答確率 ・潜在ランクqjを与える場合 p(Uij=1) = IRPi[qj] ・RMPjを与える場合 Q p(Uij=1) = Σ（IRPi[qj] * RMPj[qj]） q=1 Q ：ランク数 Uij ：回答（正答=1，誤答=0） ｉ :アイテム j ：受験者 方法 ➲ LRT-CATをMoodle1.9のモジュールとして開発 ・Moodleの「問題バンク」のアイテムを利用する ・ ➲ LRT-CATモジュールの関数を利用してシミュレータを 開発，シミュレーションを実施 ・受験者のRMPとアイテムバンク（ＩＲＰ）を与える ・LRTモデルの正答確率と一様乱数を用いてモンテカルロ・ シミュレーションを行う ・受験者1人あたり１００回繰り返し受験させる LRT-CATの仕様 ➲ 初期条件 ➲ 項目選択 ・Maximum Expectation Posterior Waited Information （van der Linden,1998）のLRT版（木村・永岡，２０１１） ➲ 能力推定 ・Muximum LikelihoodのLRT版（荘島，２００７b） ➲ 終了条件 ・RMPの暫定推定値の変化分の平方和平方根 SQRT（Σ（RMPn-RMPn-1）2 ）＜０．０１ （木村・永岡，２０１１） ・受験項目数＞５０アイテム ・β値で5アイテムを選択しテストレットとして出題 LRT-CAT：受験開始画面 LRT-CAT：受験画面 LRT-CAT：受験結果画面 CATの評価基準 ➲ 推定誤差 ・測定の性能 ・ばらつきも重要 ➲ 受験アイテム数 ・テストの実施可否を決定付ける場合もある ・同じ推定精度なら少ない方がよい シミュレーション（１） ➲ テスト ➲ 受験者 ➲ アイテム ➲ シミュレーション条件 ・英語（語彙・文法） ・１１７名 ・１０４アイテム ・実際のテストの回答データ ・1受験者あたり100回繰り返し 受験者のRMP（１） アイテムバンクの特性（１） シミュレーション（１）の結果 シミュレーション（２） ➲ シミュレーション条件 ➲ 受験者 ➲ アイテムバンク ・人工的なデータを使用 ・受験者のランクを中心に正規分布となるRMPを与える ・項目応答理論の識別力0.5，1.0，1.5，2.0に相当する 項目特性曲線に近いＩＲＰを持つアイテム ・beta毎に10アイテム ・ランク5 X 識別力4 X 10アイテム ＝ 200アイテム 受験者のRMP（２） アイテムバンクの特性（２） シミュレーション（２）の結果（測定誤差） シミュレーション（２）の結果（受験項目数） RMPを使用した場合 ランクを使用した場合 まとめ ➲ LRT-CATの特性 ・受験項目数 ・ 今後の課題 ➲ LRT-CATの特性を網羅的に明らかにする ➲ 最適なアルゴリズムはどれか？を明らかにする ➲ IRTに基づくCATと比較する ➲ 実地のテストへ適用・評価する ・同じランクであってRMPの形状が異なる受験者に対する LRT-CATの挙動をあきらかにする ・項目選択：MFI，KL，MEI ・能力推定：Bayes ・構成要素毎に相当するアルゴリズムを用意 ・設定機能，テスト結果のエクスポート機能を付加する 参考文献 ➲ 秋山實（2010）シミュレーションに基づくインハウスCATシステ ムの設計ツール．日本テスト学会第8回大会発表論文抄録集， 148-149． ➲ 木村哲夫・永岡慶三(2011) 潜在ランク理論に基づくコンピュー タアダプティブテスト．日本テスト学会第9回大会発表論文抄録 集． ➲ Shojima, K. (2007a). Neural test theory. DNC Reasearch Note, 07-02. ➲ Shojima, K. (2007b). Maximum Likelihood Estimation of Latent Rank under Neural Test Model. DNC Reasearch Note, 07-04. ➲ Van der Linden, W. J. (1998). Baysian item selection criteria for adaptive testing. Psychometrika, 63, 201-216.
© Copyright 2024 ExpyDoc
