Workshop Neural Test Theory

The batch-type neural test model :
A latent rank model with the mechanism of
generative topographic mapping
荘島宏二郎
大学入試センター研究開発部
[email protected]
1
ニューラルテスト理論
(neural test theory, NTT)
• Shojima (2008) IMPS2007 CV, in press.
– 自己組織化マップ(SOM; Kohonen, 1995)のメカニズムを利用した
テスト理論
• 尺度化
–
–
–
–
–
–
潜在尺度が順序尺度
潜在ランク
ランク数は3～20
項目参照プロファイル
テスト参照プロファイル
ランク・メンバーシップ・プロファイル
• 等化
– 共時等化法(concurrent calibration)
2
なぜ順序尺度？
２つの主な理由
– 方法論的理由
– 教育社会学的理由
3
方法論的理由
• 心理変数は連続である可能性
– 推論，読解力，能力・・・
– 不安，うつ，劣等感・・・
• 心理変数を連続尺度上で測定する道具は高
解像度ではない
– テスト
– 心理質問紙
– 社会調査票
4
体重と体重計
• 現象（連続）
• 測定（高解像度）
3
4
1
2
5
Weight
能力とテスト
• 現象（連続？）
• 測定（低信頼性・低解像度）
4
3
2
1
6
Ability
解像度（Resolution）
• 2つ以上のモノの差異を検出する力
• 体重計
– ほとんど同じ体重をもつ2人の違いを見抜くことが可能
– ほぼ間違いなくキログラム尺度上で人々を並び替えるこ
とが可能
• テスト
– 大体同じ能力を持つ2人の違いを見抜くことができない
– 人々を正確に並び替えることが不可能
• テストは，受検者をいくつかのレベルに段階付けるく
らいがせいぜい
7
教育社会学的理由
• 連続尺度の負の側面
– 生徒たちは，日々，一点でも高い得点をとるよう
動機付けられている
– 不安定な連続尺度の乱高下に一喜一憂させるべ
きではない
• 順序尺度の正の側面
– 段階評価は，連続尺度上での評価よりも頑健
– 継続して努力しないと上位ランクに進めない
8
潜在ランク理論
SOM
GTM
Binary
Shojima (in press)
RN08-02
Polytomous
(ordinal)
RN07-03
Polytomous
(nominal)
NTT
In preparation
RN07-21
In preparation
In preparation
In preparation
Continuous
• ML (RN07-04)
• Fitness (RN07-05)
• Missing (RN07-06)
• Equating (RN07-9)
• Bayes (RN07-15)
9
NTTにおける統計的学習
・For (t=1; t ≤ T; t = t + 1)
・U(t)←Randomly sort row vectors of U
・For (h=1; h ≤ N; h = h + 1)
・Obtain zh(t) from uh(t)
・Select winner rank for uh(t)
・Obtain
V(t,h) by updating V(t,h−1)
Point 1
Point 2
・V(t,N)←V(t+1,0)
10
NTTのメカニズム
Point 2
1
Point 2
1
Response
1
0
Number of items
0
1
0
1
0
0
1
0
1
0
1
0
1
0
Latent rank scale
0
1
11
Point 1: 勝者ランク選択
Likelihood
(t )
h
p(u | V
( t , h 1)
n


 
)   zhj(t ) uhj(t ) ln vqj(t ,h1)  1  uhj(t ) ln 1  vqj(t ,h1)

j 1
ML
Rw( ML ) : w  arg maxln p(u (ht ) | V (t ,h1) )
Bayes
Rw( MAP) : w  arg max ln p(u (ht ) | V (t ,h1) )  ln p( f q )
qQ
qQ


The least squares method is also available.
12
Point 2: ランク参照行列の更新
V(t ,h)  V(t ,h1)  (1n h(t ) ' )
(t )
h (t )  {hqw
} (n 1)
2



Q
(
q

w
)
(t )
t
hqw 
exp
2 2 
N
 2Q  t 
(T  t )1  (t  1) T
t 
T 1
(T  t ) 1  (t  1) T
t 
T 1
(z(ht ) 1Q' )
u
1  V(t ,h1)
(t ) '
h Q

• The nodes of the ranks
nearer to the winner are
updated to become
closer to the input data
• h: tension
• α: size of tension
• σ: region size of learning
propagation
13
分析例
• 地理テスト
5000
35
17
35
2
33
16.911
4.976
0.313
-0.074
0.704
500
FREQUENCY
N
n
Median
Max
Min
Range
Mean
Sd
Skew
Kurt
Alpha
400
300
200
100
0
0
5
10 15 20 25 30 35
SCORE
14
項目参照プロファイルの例
単純増加制約を課すことも可能
15
IRP指標 (1) 項目困難度
• Beta
– Rank stepping over 0.5
•B
– Its value
熊谷 (2007)
16
IRP指標 (2) 項目識別度
• Alpha
– Smaller rank of the
neighboring pair with
the biggest change
•A
– Its value
17
IRP指標 (3) 項目単調度
• Gamma
– Proportion of neighboring
pairs with negative
changes.
•C
– Their sum
18
IRP指標
項目参照プロファイルの推定値
ITEM
R1
R2
R3
1
0.262
0.257
0.255
2
0.271
0.255
0.240
3
0.597
0.624
0.669
4
0.210
0.204
0.202
5
0.227
0.219
0.214
6
0.747
0.784
0.836
7
0.352
0.326
0.296
8
0.229
0.234
0.238
9
0.444
0.491
0.562
10
0.287
0.254
0.210


・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
R8
R9
R10
0.416
0.460
0.497
0.319
0.320
0.856
α
B
β
0.044
8
0.497
10
-0.007 0.222
0.317
0.025
5
0.317
10
-0.033 0.333
0.867
0.880
0.057
4
0.597
1
0.000 0.000
0.460
0.539
0.592
0.084
7
0.539
9
-0.009 0.222
0.319
0.390
0.445
0.071
8
0.445
10
-0.013 0.222
0.914
0.921
0.928
0.052
2
0.747
1
0.000 0.111
0.439
0.440
0.436
0.051
5
0.436
10
-0.066 0.444
0.490
0.593
0.667
0.104
8
0.593
9
0.000 0.000
0.778
0.802
0.816
0.071
2
0.562
3
0.000 0.000
0.548
0.648
0.719
0.112
6
0.548
8
-0.094 0.333

32
0.189
0.170
0.157
33
0.168
0.188
0.221
34
0.407
0.413
0.424
35
0.481
0.522
0.569
・・・
・・・
・・・
・・・
A


C
γ

0.302
0.332
0.360
0.042
5
0.360
10
-0.032 0.222
0.333
0.376
0.414
0.044
8
0.414
10
0.000 0.000
0.566
0.585
0.593
0.036
6
0.535
7
0.000 0.000
0.719
0.765
0.794
0.051
7
0.522
2
0.000 0.000
19
Can-Do Table (例)
到達度確認表
Ability category and item content
IRP estimates
IRP indices
20
テスト参照プロファイル
(test reference profile, TRP)
• IRPの重み付き和
• 各潜在ランクの期待値
• 弱順序配置条件（Weakly ordinal alignment condition）
– TRPが単調増加だけど，全てのIRPが単調であるわけではない
• 強順序配置条件（Strongly ordinal alignment condition）
– 全てのIRPが単調増加  TRPも単調増加
• 潜在尺度が順序尺度であるためには，少なくともWOACを満たす必要
21
適合度指標
ML, Q=10
ML, Q=5
• 潜在ランク数を決定するのに便利
22
潜在ランクの推定
Likelihood
p(ui | V )   zij uij ln vqj  1  uij ln1  vqj 
n
j 1
ML
Ri( ML ) : w  arg max ln p(ui | V )
qQ
Bayes
Ri( MAP) : w  arg maxln p(ui | V )  ln p( f q )
qQ
23
潜在ランク分布
(latent rank distribution, LRD)
• いつも必ず平坦ではない
• 反応パタンの類似性によってランク分けさ
れる
24
層別化LRD
LRD stratified by sex
LRD stratified by establishment
1.0
1.0
Male
Female
Total
0.8
0.8
0.6
0.6
0.4
0.4
0.2
0.2
0.0
0.0
1
2
3
4
5
1
National
Public
Private
Total
2
3
4
5
25
潜在ランクと得点の関係
35
30
– Spearman’s R=0.929
25
SCORE
• R-S散布図
20
15
10
5
0
1
2
3
4 5 6 7 8
LATENT RANK
9 10
10
9
– Spearman’s R=0.925
QUANTILE
• R-Q散布図
8
7
6
5
4
3
2
1
1
2
3
4 5 6 7 8
LATENT RANK
NTT尺度の妥当性を傍証
9 10
26
ランク・メンバーシップ・プロファイル
(rank membership profile, RMP)
• 各受検者がどの潜在ランクに所属するかに
ついての事後分布
RMP
piq 
p(u i | v q ) p( f q )

Q
p
(
u
|
v
)
p
(
f
)
i
q
'
q
'
q '1
27
RMPの例
0
1
0.6
0.4
0.2
0
1
0.6
0.4
0.2
1
0.8
0.6
0.4
0.2
0
Examinee 12
0.8
0.6
0.4
0.2
0
2
4
6
8
LATENT RANK
10
0.4
0.2
0.8
0.6
0.4
0.2
10
10
PROBABILITY
0.2
1
0.4
0.2
10
Examinee 10
0.8
0.6
0.4
0.2
0
2
4
6
8
LATENT RANK
10
2
4
6
8
LATENT RANK
Examinee 14
1
0.8
0.6
0.4
0.2
0
2
4
6
8
LATENT RANK
0.4
2
4
6
8
LATENT RANK
Examinee 9
0.6
1
0.6
0
0
Examinee 13
Examinee 5
0.8
10
0.8
10
0
2
4
6
8
LATENT RANK
0.2
1
0.6
1
0.4
2
4
6
8
LATENT RANK
Examinee 8
2
4
6
8
LATENT RANK
PROBABILITY
Examinee 11
0.6
0
0.8
10
1
0.8
10
0
2
4
6
8
LATENT RANK
PROBABILITY
PROBABILITY
Examinee 7
0.8
10
0.2
2
4
6
8
LATENT RANK
0
2
4
6
8
LATENT RANK
0.4
10
PROBABILITY
Examinee 6
0.6
0
2
4
6
8
LATENT RANK
PROBABILITY
PROBABILITY
10
0.8
1
0.2
0
2
4
6
8
LATENT RANK
1
0.4
0.8
Examinee 4
PROBABILITY
0.2
0.6
1
PROBABILITY
0.4
0.8
Examinee 3
PROBABILITY
0.6
1
PROBABILITY
0.8
Examinee 2
PROBABILITY
1
PROBABILITY
Examinee 1
PROBABILITY
PROBABILITY
1
10
Examinee 15
0.8
0.6
0.4
0.2
0
2
4
6
8
LATENT RANK
10
2
4
6
8
LATENT RANK
10
28
拡張モデル
• Graded Neural Test Model (RN07-03)
– NTT model for ordinal polytomous data
• Nominal Neural Test Model (RN07-21)
– NTT model for nominal polytomous data
• Batch-type NTT Model (RN08-03)
• Continuous Neural Test Model
• Multidimensional Neural Test Model
29
• ウェブサイト
http://www.rd.dnc.ac.jp/~shojima/ntt/index.htm
• ソフトウェア
– EasyNTT
• 開発者：熊谷先生（新潟大学）
– Neutet
• 開発者：橋本先生（大学入試センター）
30
本研究内容
• 自己組織化マップのメカニズムを利用すると
毎回の計算ごとに少しずつIRPの推定値が
異なる
– データの学習順序をランダムにしているため
– αTというパラメタを小さくして，学習回数Tを大きく
すれば改善できる
– そもそも統計的性質は普遍ではない
• でも推定値が違うのは気持ち悪いという人は
いるだろう
目的
• 生成トポグラフィックマッピングのメカニズムを
利用したNTTモデルを提案
• Generative Topographic Mapping (GTM)
– Bishop, Svensen, & Williams (1998)
– バッチ型（一括学習型）SOMといわれるニューラ
ルネットワークモデル
– EMアルゴリズムを用いる
– 本研究では平滑化も追加
バッチ型NTTモデルの学習
•
•
•
•
•
•
Obtain Z from U
Define V(0)
For (t=1; t<=T; t=t+1)
--- Obtain F(t) by using U and V(t-1)
--- Obtain E(t) by using F(t)
--- Obtain V(t) by using E(t)
EMアルゴリズム
平滑化
• Obtain F(t) by using U and V(t-1)
• Obtain E(t) by using F(t)
• Obtain V(t) by using E(t)
結果
• 得られるIRPやRMPにほとんど差がない
– 若干，IRPの柔軟性が劣るか
• 計算時間が圧倒的に早い
– 近年は大したメリットでない
• 計算結果がいつも同じ
• SOMのメカニズムを用いたほうが今後のモ
デルとしての広がりがある
今後（来週の行動計量学会）
• Neural Test Theory
– 実は，1因子の因子分析み
たいなもの
– 観測変数がカテゴリ変数
– 潜在変数が順序尺度
今後（来週の行動計量学会）
• Structural Neurofield Mapping
– NTTをSEMっぽく拡張することができる

Download Report