NTTに基づく応用モデルの検討 -一対比較モデルと多次元モデルを中心に- 宇佐美慧 (東京大学大学院教育学研究科・日本学術振興会) アウトライン  序論・ＮＴＴにおける検討課題  一対比較モデル・一対比較について・定式化・分析例  多次元モデル・多次元的な表現について・問題点と確証的な文脈での多次元モデル・定式化・分析例  考察・提案モデルの特性・既存のモデルとの比較検討・今後の課題序論  ニューラルテスト理論（MTT; Shojima, 2007, 2008）は，自己組織化マップのメカニズムを応用した，テストデータを分析する為の潜在ランク理論。  NTTモデルにおいては，各項目の各カテゴリに対する選択確率を表す項目参照プロファイル（Item Category Reference Profiles : ICRP) が潜在ランクごとに推定され，同時に回答者は離散的な潜在ランク上に配置される．  宇佐美(2009a)における指摘・方法論的な観点…潜在ランク，分析モデルの構築・改良などおよび ICRPの推定精度，項目サンプリングを超えた潜在ランクの推定値の一貫性・教育心理（教育社会？）学的観点…実用に際し潜在ランクに基づく評価が学習者に与える影響に関する，方法論的な議論とは異なる側面．の2点からの検討の必要性．更には→  方法論的問題において，NTTそのものに関する，内的な意味の理論的構築だけでなく、ほかの統計モデルとの比較検討といった外的な視点も重要．本発表の目的  上記の方法論的な観点からの問題に焦点を当て， NTTに基づく応用モデルの検討を，特に多次元モデルと一対比較モデルを中心に行う．  さらにこれらのモデルに関して外的な視点も交えた理論的考察を試みる． NTTと一対比較モデル  一対比較データとは・対提示された刺激の比較判断の結果から得られるデータ (Thurstone, 1927)．Ａ＞Ｂ・一般に作業が簡便であり，評定尺度法に比べてより精緻で，刺激の差異に対して豊富な情報量が得られる（e.g.,Maydeu-Olivares ＆ Bockenholt, 2005 ; 宇佐美, 2009b)．目指す結果の例Ａ車とC車の購買意欲に関する一対比較Ｃ車の選択確率高級車志向 A B C 高級志向 1 2 3 4 5 6 7 8 9 10 定式化  刺激とにおける個人比較判断データおよび全体のデータ行列で表わす。ただしのをＨ×Ｋのであり,比較対の総数を表す．・各個人は一次元上に順序的に配列されている個の潜在ランクの中で，ある最適化基準を最もよく満たすランクに割り振られる．更新の例対1 対2 対3 … 対K 対1 対2 対3 … 対K Q=1 0.21 0.05 0.67 … 0.21 Q=1 0.23 0.05 0.68 … 0.21 Q=2 0.43 0.11 0.77 … 0.35 Q Q=3 0.61 0.13 0.83 … 0.53 Q=2 0.46 0.09 0.79 … 0.36 Q Q=3 0.65 0.12 0.85 … 0.55 データ Q=4 0.73 0.16 0.91 … 0.77 Q=5 0.93 0.28 0.99 … 0.94 1 0 1 … 1 データ Q=4 0.78 0.13 0.94 … 0.80 Q=5 0.98 0.21 1.00 … 0.97 1 0 1 … 1 アルゴリズム  STEP1 分析前の準備 (1) Vの初期値の設定．たとえば (2) 潜在ランクの事前分布の設定．  STEP2 Uの行成分のソート  STEP3 最適な潜在ランクｗの割り当て  STEP4 Vの要素を更新  STEP5 STEP3-4を全てのhに対して反復  STEP6 STEP2-5をT回反復分析例  乱数を用いて発生させた一対比較データに対して提案したアルゴリズムを用いて、被験者を離散的な潜在ランクに割り振る。  被験者は300人で刺激数は10(A～J)、そして潜在ランク数を10とした。  項目参照プロファイルをもとに、一対比較データにおける潜在ランクの特徴を検討する。 B>A A 1 B 2 C 3 D F>E E 4 F G 5 H 6 I J 7 8 9 ＊潜在ランクの位置を意味する、人の背の高さは度数を意味する。・刺激の位置が高い（右側に位置する）ほど全体的にＶの要素の値は小さくなる。 10 J>I A 1 B 2 C 3 J>E D E 4 F G 5 J>A H 6 I J 7 8 9 10 ＊潜在ランクの位置を意味する、人の背の高さは度数を意味する。・ＪとＩは右端に位置している刺激であるため、Ｖの要素は小さい。・刺激間の距離が離れるほどICRPは鋭い立ち上がりを示す。提案手法に関する考察  一対比較データにおいて、ノンパラメトリックな方法に基づいて、個人と刺激を一次元尺度上に布置することができる。  真の潜在尺度値をほぼ等分割した形で潜在ランクが形成されている。  真の潜在尺度値との相関は0.9492であり高い。  （一般のＮＴＴモデルにおいても同様に）刺激の布置そのものでなく確率を直接推定しているために、刺激や個人の布置は事後的に評価することになる。 NTTと多次元モデル  ここでは，対比較ではなく，一般の学力テストデータのように，個人と1つの刺激(項目)の潜在特性値の関数で反応が規定される場合を考える．  このようなデータを分析することが当初のNTTの目的(e.g., Shojima, 2007)．  多次元的な潜在ランクを想定する場合の検討はなされていない．→（次元間で補償的に確率が決定されるような）多次元モデルの検討を行う．目指す結果の例（当初）各次元が寄与する項目の正答確率文章能力言語能力文章能力 1 2 3 4 5 6 7 9 8 10 言語能力 1 2 3 4 5 6 7 8 9 10 L=1 L=2 L=1 Q=1 Q=2 Q=3 Q=4 Q=1 Q=2 Q=3 Q=4 Q=1 Q=2 Q=3 Q=4 項目1 0.13 0.16 0.25 0.34 0.35 0.48 0.53 0.61 項目2 0.41 0.45 0.53 0.61 0.15 0.15 0.16 0.18 項目3 0.11 0.14 0.16 0.21 0.35 0.43 0.51 0.67 … … … … … … … … … 項目Ｉ 0.29 0.41 0.51 0.63 0.11 0.16 0.23 0.31 L=2 Q=1 Q=2 Q=3 Q=4 Q=1 Q=2 Q=3 Q=4 Q=1 Q=2 Q=3 Q=4 Q=1 Q=2 Q=3 Q=4 項目1 0.48 0.61 0.66 0.74 0.51 0.64 0.69 0.77 0.60 0.73 0.78 0.86 0.69 0.82 0.87 0.95 項目2 0.56 0.56 0.57 0.59 0.60 0.60 0.61 0.63 0.68 0.68 0.69 0.71 0.76 0.76 0.77 0.79 項目3 0.46 0.54 0.62 0.78 0.49 0.57 0.65 0.81 0.51 0.59 0.67 0.83 0.56 0.64 0.72 0.88 … … … … … … … … … … … … … … … … … 項目Ｉ 0.40 0.45 0.52 0.60 0.52 0.57 0.64 0.72 0.62 0.67 0.74 0.82 0.74 0.79 0.86 0.94 データ 1 0 1 1 問題点  異なる次元間の識別性の問題 L=1 L=2 Q=1 Q=2 Q=1 Q=2 項目1 0.13 0.16 0.25 0.43 項目2 0.31 0.35 0.25 0.29 項目3 0.11 0.14 0.35 0.43 … … … … … 項目Ｉ 0.29 0.41 0.11 0.16 … … … … … 項目Ｉ 0.19 0.31 0.21 0.26 ?? -0.1 0.1 L=1 L=2  Q=1 Q=2 Q=1 Q=2 項目1 0.03 0.06 0.35 0.53 項目2 0.21 0.25 0.35 0.39 項目3 0.01 0.04 0.45 0.53 提案したアルゴリズムでは、かなり良い初期値でないと収束が難しい。確証的な文脈での多次元NTT  確証的因子分析に見られるように、先見的に次元を構成する項目群がわかっている場合。  因子負荷を０に固定するように、ＮＴＴにおいては要素の値をすべて０に固定する。  この場合、識別性の問題は生じず、アルゴリズムも良く機能する。 L=1 L=2 Q=1 Q=2 Q=1 Q=2 項目1 0.00 0.00 0.25 0.43 項目2 0.31 0.35 0.00 0.00 項目3 0.00 0.00 0.35 0.43 … … … … … 項目Ｉ 0.29 0.41 0.00 0.00 定式化   前の一対比較データの場合に沿って，アルゴリズムが構築できる．はサイズと表わされる． …項目数であり，、は第次元における潜在ランク数．・反応確率は各次元に所属する潜在ランクに対応する要素の和で決定される．アルゴリズム  STEP1 分析前の準備・Vの初期値の設定．（次元を構成しない項目群の要素は0にする）. ・潜在ランクの事前分布の設定.  STEP2 Uの行成分のソート．  STEP3 最適なランクの抽出．あるhに対して，最適化基準である以下の距離関数dを最小にする，ランクの組み合わせを求める．  STEP4 各l次元において，Vの要素を更新．０に固定した要素を除いて次元を構成する項目群を除いて対比較の場合と同様に更新．次に，   を満たすように更新する． STEP5 STEP3-4を全てのhに対して反復 STEP6 STEP2-5をT回反復．分析例  乱数を用いて発生させた多次元データに対して提案したアルゴリズムを用いて、被験者を多次元上の離散的な潜在ランクに割り振る。  被験者は500人で刺激数は10、各次元における潜在ランク数を5とした。  項目参照プロファイルをもとに、多次元データにおける潜在ランクの特徴を検討する。 L=1 L=2 項目1 項目２項目11 項目12 項目19 項目20 Q=1 0.00 0.00 0.29 0.28 0.15 0.17 Q=2 0.00 0.00 0.39 0.38 0.23 0.25 Q=3 0.00 0.00 0.49 0.49 0.32 0.34 Q=4 0.00 0.00 0.59 0.59 0.41 0.43 Q=5 0.00 0.00 0.69 0.70 0.52 0.54 Q=1 0.45 0.44 0.00 0.00 0.00 0.00 Q=2 0.56 0.55 0.00 0.00 0.00 0.00 Q=3 0.66 0.65 0.00 0.00 0.00 0.00 Q=4 0.74 0.74 0.00 0.00 0.00 0.00 Q=5 0.83 0.82 0.00 0.00 0.00 0.00 L=2 L=1 Q=1 Q=2 Q=3 Q=4 Q=5 小計 Q=1 14 24 23 19 12 92 Q=2 15 23 28 22 12 100 Q=3 19 29 39 26 19 132 Q=4 14 25 33 26 13 111 Q=5 8 16 17 17 7 65 小計 70 117 140 110 63 500 提案手法に関する考察  多次元データにおいて、ノンパラメトリックな方法に基づいて、個人を多次元尺度上に布置することができる。  では、探索的な場合のアルゴリズムはどのように構築するか。（要素の識別性の問題をどのように回避するか。）  また、仮にアルゴリズムができたとしても、各次元内のＶの要素はその次元の選択確率への寄与であり、従来のような選択確率そのものではない。 →Ｖの意味付けなどの検討すべき点が残るか。  Ｖに関する図式的な表現もやや難しい。まとめ：ＮＴＴモデルの特徴  反復計算および要素の更新において、ノンパラメトリックな方法に基づき、潜在クラスの要素と所属ランクが推定される．  今回検討したモデルはノンパラメトリックな方法のもとでの，SOMのアルゴリズムを利用した潜在クラスモデルとして位置づけられる．→従来の方法論(例えば混合分布モデルやノンパラメトリックIRT)との類似点を示唆．  推定アルゴリズム（e.g., 更新幅や順序制約）の構築や結果の解釈（e.g., 多次元モデルにおける、Ｖの正答率への寄与）についての独自性も示唆．  とりわけ，ベイズ基準を用いた場合、事前分布の設定により潜在ランクの度数分布の調整が可能である．  多次元、多値への拡張も容易。今後の課題  教育心理（教育社会？）学的観点・離散的な潜在ランクに基づく評価が学習者に与える心理的影響。・潜在ランクの意味付けおよびフィードバックにまつわる問題。  方法論的な観点・分析モデルの構築・改良。・多次元モデルにおける次元数の推定。・個人の所属ランクの推定の一貫性を高める意図と、外的基準との相関分析の際の過小評価の問題との対応（いわばNTTはどのような文脈・データに対して用いていくべきなのか）。