新潟大学 熊谷龍一 NTTにおいても，項目の特徴を記述するような指標 が欲しい． 2パラメタ・ロジスティック・モデルで言えば，識別力・ 困難度パラメタのようなもの． 項目参照プロファイルを項目特性曲線に見立てて… 1.0 Pj ( 6 ) 正 答 0.5 確 率 Pj (1 ) 0.0 θ1 θ2 θ3 θ4 θ5 θ6 潜在特性ランク θ7 θ8 θ9 θ10 順序尺度 識別力指標 困難度指標 安定性指標 1.0 正 答 0.5 確 率 0.0 θ1 θ2 θ3 θ4 θ5 θ6 潜在特性ランク θ7 θ8 θ9 θ10 「１ランク上位の潜在特性ランクとの 正答確率差の最大値」 1.0 正 答 0.5 確 率 P6 P5 0.65 0.18 0.47 0.0 θ1 θ2 θ3 θ4 θ5 θ6 潜在特性ランク θ7 θ8 θ9 θ10 1.0 正 答 0.5 確 率 特性値上で表現！ 0.0 θ1 θ2 θ3 θ4 θ5 θ6 潜在特性ランク θ7 θ8 θ9 θ10 「正答確率が50％を超えた潜在特 性ランクの位置（1ランク下位の正答 確率が50％未満）」 1.0 正 答 0.5 確 率 0.0 θ1 θ2 θ3 θ4 θ5 θ6 潜在特性ランク θ7 θ8 θ9 6 [0.65] θ10 1.0 正 答 0.5 確 率 0.0 θ1 θ2 θ3 θ4 θ5 θ6 θ7 θ8 θ9 θ10 潜在特性ランク 1.0 正 答 0.5 確 率 0.0 θ1 θ2 θ3 θ4 θ5 θ6 潜在特性ランク θ7 θ8 θ9 θ10 1.0 正 答 0.5 確 率 0.0 θ1 θ2 θ3 θ4 θ5 θ6 潜在特性ランク θ7 θ8 θ9 θ10 1.0 正 答 0.5 確 率 0.0 θ1 θ2 θ3 θ4 θ5 θ6 潜在特性ランク θ7 θ8 θ9 θ10 「1ランク上位の潜在特性ランクとの 正答確率差が負になったものにお ける正答確率の総和」 , , , 1.0 正 答 0.5 確 率 P6 P5 P8 P7 P3 P 2 P9 P8 -1.61 0.0 θ1 θ2 θ3 θ4 θ5 θ6 潜在特性ランク θ7 θ8 θ9 θ10 Pj ( q ) そのものを項目母数と見なし，局所独立 の仮定を置けば，IRTの時と全く同じ計算で，母 数の推定ができる．（周辺最尤推定法，E-Mア ルゴリズム） P ( ) 1 P ( ) N L n uij j i 1 j 1 i j i (1uij ) f i | π NTTで使用しているSOMでは，同じデータであっても， 計算を実行するたびに，若干結果が異なる． →周辺最尤推定法で解けば，常に同じ値． 2パラメタ・ロジスティック・モデルの元でシミュレーショ ンデータを発生 識別力 困難度 item1 item2 item3 item4 item5 item6 item7 item8 item9 item10 item11 item12 item13 item14 item15 item16 0.78 0.62 0.51 0.66 0.53 0.57 0.72 0.76 0.61 0.64 0.76 1.28 0.83 0.70 1.01 0.71 -2.81 -1.33 -1.11 -0.41 -0.28 -0.25 -0.23 -0.04 0.03 0.03 0.07 0.21 0.26 0.80 1.07 1.16 N＝5000の場合 item001 1.0 item002 1.0 item003 1.0 0.5 0.5 0.5 0.5 0.0 0.0 0.0 0.0 θ1 θ3 θ5 θ7 θ9 item005 1.0 θ1 θ3 θ5 θ7 θ9 θ1 item006 1.0 θ3 θ5 θ7 θ1 θ9 item007 1.0 0.5 0.5 0.5 0.0 0.0 0.0 0.0 θ3 θ5 θ7 θ9 item009 1.0 θ1 θ3 θ5 θ7 θ9 θ1 item010 1.0 θ3 θ5 θ7 item011 1.0 θ1 θ9 0.5 0.5 0.5 0.0 0.0 0.0 0.0 θ1 θ3 θ5 θ7 θ9 item013 1.0 θ1 θ3 θ5 θ7 θ9 θ1 item014 1.0 θ3 θ5 θ7 item015 1.0 θ1 θ9 0.5 0.5 0.5 0.0 0.0 0.0 0.0 θ1 θ3 θ5 θ7 θ9 θ1 θ3 θ5 θ7 θ9 θ1 θ3 θ5 θ7 θ9 θ7 θ9 θ3 θ5 θ7 θ9 θ3 θ5 θ7 θ9 θ7 θ9 item016 1.0 0.5 θ5 item012 1.0 0.5 θ3 item008 1.0 0.5 θ1 item004 1.0 θ1 θ3 θ5 項目番号 item001 item002 item003 item004 item005 item006 item007 item008 item009 item010 item011 item012 item013 item014 item015 item016 識別 0.13 0.16 0.11 0.20 0.16 0.11 0.19 0.12 0.15 0.15 0.11 0.16 0.12 0.21 0.27 0.16 離散変数型IRT 困難度 安定性 R01(0.80) 0.00 R02(0.55) 0.00 R02(0.50) 0.00 R04(0.55) 0.00 R05(0.51) 0.00 R06(0.60) 0.00 R05(0.51) 0.00 R06(0.57) 0.00 R06(0.58) 0.00 R06(0.51) 0.00 R06(0.53) 0.00 R06(0.52) 0.00 R07(0.57) 0.00 R09(0.55) 0.00 R10(0.77) 0.00 R09(0.52) 0.00 識別 0.03 0.12 0.33 0.27 0.11 0.13 0.14 0.18 0.12 0.13 0.13 0.20 0.23 0.17 0.34 0.18 NTT 困難度 R01(0.89) R02(0.50) R02(0.53) R04(0.62) R05(0.56) R06(0.64) R05(0.56) R06(0.66) R06(0.59) R07(0.60) R06(0.56) R07(0.66) R07(0.59) R09(0.64) R10(0.80) R09(0.60) 安定性 0.00 0.00 -0.18 -0.07 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 -0.01 -0.08 0.00 シミュレーションデータ生成に使用した識別力母数と 「識別力指標」の相関 離散変数型IRT .31 NTT .23 困難度母数と「困難度指標」におけるスピアマンの順 位相関係数 離散変数型IRT .96 NTT .96 1000 900 800 700 600 度 500 数 400 300 200 100 0 離散変数型IRT NTT θ1 θ2 θ3 θ4 θ5 θ6 θ7 θ8 θ9 θ10 潜在特性ランク 常に5000名ものデータ数を用意できる訳ではない..． N=200（その他の条件はN=5000と同じ） item001 1.0 item002 1.0 item003 1.0 0.5 0.5 0.5 0.5 0.0 0.0 0.0 0.0 θ1 θ3 θ5 θ7 θ9 item005 1.0 θ1 θ3 θ5 θ7 θ9 item006 1.0 θ1 θ3 θ5 θ7 θ9 item007 1.0 θ1 0.5 0.5 0.5 0.0 0.0 0.0 0.0 θ3 θ5 θ7 θ9 item009 1.0 θ1 θ3 θ5 θ7 θ9 item010 1.0 θ1 θ3 θ5 θ7 θ9 item011 1.0 θ1 0.5 0.5 0.5 0.0 0.0 0.0 0.0 θ1 θ3 θ5 θ7 θ9 item013 1.0 θ1 θ3 θ5 θ7 θ9 item014 1.0 θ1 θ3 θ5 θ7 θ9 item015 1.0 θ1 0.5 0.5 0.5 0.0 0.0 0.0 0.0 θ1 θ3 θ5 θ7 θ9 θ1 θ3 θ5 θ7 θ9 θ1 θ3 θ5 θ7 θ9 θ7 θ9 θ3 θ5 θ7 θ9 θ3 θ5 θ7 θ9 θ7 θ9 item016 1.0 0.5 θ5 item012 1.0 0.5 θ3 item008 1.0 0.5 θ1 item004 1.0 θ1 θ3 θ5 項目番号 item001 item002 item003 item004 item005 item006 item007 item008 item009 item010 item011 item012 item013 item014 item015 item016 識別 0.25 0.30 0.69 0.79 0.76 0.46 0.39 0.68 0.53 0.60 0.56 0.62 1.00 0.34 0.53 0.36 離散変数型IRT 困難度 安定性 R01(0.75) -0.22 R02(0.54) -0.48 R02(0.57) -0.62 R04(0.71) -0.71 R02(0.74) -1.31 R05(0.50) -0.97 R03(0.73) -0.92 R06(0.75) -0.93 R05(0.82) -0.95 R03(0.83) -0.89 R04(0.66) -0.60 R07(0.98) -0.51 R06(1.00) -0.95 R09(0.66) -0.53 R08(0.73) -0.60 R09(0.70) -0.37 識別 0.03 0.15 0.12 0.19 0.13 0.09 0.07 0.14 0.21 0.21 0.18 0.14 0.26 0.19 0.19 0.13 NTT 困難度 R01(0.91) R02(0.58) R02(0.52) R04(0.63) R03(0.55) R06(0.56) R03(0.53) R07(0.58) R05(0.65) R03(0.50) R04(0.56) R07(0.60) R06(0.54) R09(0.52) R09(0.60) R10(0.54) 安定性 -0.01 -0.05 -0.01 -0.04 -0.01 0.00 0.00 -0.02 -0.07 -0.17 -0.10 0.00 -0.02 -0.03 0.00 -0.02 シミュレーションデータ生成に使用した識別力母数と 「識別力指標」の相関 離散変数型IRT .05 NTT .10 困難度母数と「困難度指標」におけるスピアマンの順 位相関係数 離散変数型IRT .88 NTT .86 40 35 30 離散変数型IRT NTT 25 度 20 数 15 10 5 0 θ1 θ2 θ3 θ4 θ5 θ6 θ7 θ8 θ9 θ10 潜在特性ランク 受験者数に比べてランク数が多すぎた？ ランク数を5として分析 item005 項目番号 item001 item002 item003 item004 item005 item006 item007 item008 item009 item010 item011 item012 item013 item014 item015 item016 識別 0.08 0.31 0.32 0.30 0.30 0.32 0.42 0.28 0.83 0.47 0.22 0.38 0.66 0.44 0.35 0.23 離散変数型IRT 困難度 安定性 R01(0.86 ) -0.03 R02(0.76 ) -0.01 R01(0.61 ) -0.11 R02(0.52 ) 0.00 R03(0.71 ) -0.14 R04(0.69 ) -0.03 R02(0.51 ) -0.21 R04(0.62 ) -0.03 R03(0.87 ) -0.46 R02(0.53 ) -0.19 R03(0.51 ) 0.00 R04(0.62 ) 0.00 R04(0.97 ) -0.13 R05(0.78 ) 0.00 R05(0.76 ) 0.00 R05(0.56 ) 0.00 1.0 正 答 0.5 確 率 0.0 θ1 θ2 θ3 θ4 θ5 潜在特性ランク item009 1.0 正 答 0.5 確 率 0.0 θ1 θ2 θ3 潜在特性ランク θ4 θ5 各種指標について ◦ 識別力指標：識別力母数と相関無し ◦ 困難度指標：困難度母数と高い相関 ◦ 安定性指標：項目母数の推定が上手くいったかどうかにも使 用できた 周辺最尤推定法による母数推定について ◦ 受験者数が少なくなると，ランクに割り当てられる人数が少な くなり，適切に母数推定ができない？ http://irtanalysis.main.jp/
© Copyright 2024 ExpyDoc
