Workshop Neural Test Theory

ニューラルテスト理論：
資格試験のためのテスト理論
荘島宏二郎
大学入試センター研究開発部
[email protected]
1
テスト
• 社会の公具（public tool；荘島，2007）
– 人的資源の社会的配置問題に密接に関係
• テストの果たすべき3つの文脈（荘島，2007）
– 測定の文脈
• どうしてその能力を測るの？
– 説明の文脈
• なぜその能力が重要なの？
– 存在の文脈
• 在り方（way of presence）が重要
テスト理論
• テストを経年的に運用するための方法論
– 古典的テスト理論
– 項目反応理論
– 潜在尺度（能力の次元）が連続
• 標準化（standardization）の技術を提供
– 尺度化（scaling）
– 等化（equating）
ニューラルテスト理論
(neural test theory, NTT)
• Shojima (2008) IMPS2007 CV, in press.
– 自己組織化マップ(SOM; Kohonen, 1995)のメカニズム
を利用したテスト理論
• 尺度化
–
–
–
–
–
潜在尺度が順序尺度
潜在ランク（ランク数は3～20）
項目参照プロファイル
テスト参照プロファイル
ランク・メンバーシップ・プロファイル
• 等化
– 共時等化法(concurrent calibration)
4
なぜ順序尺度？
２つの主な理由
– 方法論的理由
– 教育社会学的理由
5
方法論的理由
• 心理変数は連続である可能性
– 推論，読解力，能力・・・
– 不安，うつ，劣等感・・・
• 心理変数を連続尺度上で測定する道具は高
解像度ではない
– テスト
– 心理質問紙
– 社会調査票
6
体重と体重計
• 現象（連続）
• 測定（高解像度）
3
4
1
2
7
Weight
能力とテスト
• 現象（連続？）
• 測定（低信頼性・低解像度）
4
3
2
1
8
Ability
解像度（Resolution）
• 2つ以上のモノの差異を検出する力
• 体重計
– ほとんど同じ体重をもつ2人の違いを見抜くことが可能
– ほぼ間違いなくキログラム尺度上で人々を並び替えるこ
とが可能
• テスト
– 大体同じ能力を持つ2人の違いを見抜くことができない
– 人々を正確に並び替えることが不可能
• テストは，受検者をいくつかのレベルに段階付けるく
らいがせいぜい
9
教育社会学的理由
• 連続尺度の負の側面
– 生徒たちは，日々，一点でも高い得点をとるよう
動機付けられている
– 不安定な連続尺度の乱高下に一喜一憂させるべ
きではない
• 順序尺度の正の側面
– 段階評価は，連続尺度上での評価よりも頑健
– 継続して努力しないと上位ランクに進めない
10
潜在ランク理論
SOM
GTM
Binary
Shojima (in press)
RN08-02
Polytomous
(ordinal)
RN07-03
Polytomous
(nominal)
NTT
In preparation
RN07-21
In preparation
In preparation
In preparation
Continuous
• ML (RN07-04)
• Fitness (RN07-05)
• Missing (RN07-06)
• Equating (RN07-9)
• Bayes (RN07-15)
11
NTTにおける統計的学習
・For (t=1; t ≤ T; t = t + 1)
・U(t)←Randomly sort row vectors of U
・For (h=1; h ≤ N; h = h + 1)
・Obtain zh(t) from uh(t)
・Select winner rank for uh(t)
・Obtain
V(t,h) by updating V(t,h−1)
Point 1
Point 2
・V(t,N)←V(t+1,0)
12
NTTのメカニズム
Point 2
1
Point 2
1
Response
1
0
Number of items
0
1
0
1
0
0
1
0
1
0
1
0
1
0
Latent rank scale
0
1
13
Point 1: 勝者ランク選択
Likelihood
(t )
h
p(u | V
( t , h 1)
n


 
)   zhj(t ) uhj(t ) ln vqj(t ,h1)  1  uhj(t ) ln 1  vqj(t ,h1)

j 1
ML
Rw( ML ) : w  arg maxln p(u (ht ) | V (t ,h1) )
Bayes
Rw( MAP) : w  arg max ln p(u (ht ) | V (t ,h1) )  ln p( f q )
qQ
qQ


The least squares method is also available.
14
Point 2: ランク参照行列の更新
V(t ,h)  V(t ,h1)  (1n h(t ) ' )
(t )
h (t )  {hqw
} (n 1)
2



Q
(
q

w
)
(t )
t
hqw 
exp
2 2 
N
 2Q  t 
(T  t )1  (t  1) T
t 
T 1
(T  t ) 1  (t  1) T
t 
T 1
(z(ht ) 1Q' )
u
1  V(t ,h1)
(t ) '
h Q

• The nodes of the ranks
nearer to the winner are
updated to become
closer to the input data
• h: tension
• α: size of tension
• σ: region size of learning
propagation
15
分析例
• 地理テスト
5000
35
17
35
2
33
16.911
4.976
0.313
-0.074
0.704
500
FREQUENCY
N
n
Median
Max
Min
Range
Mean
Sd
Skew
Kurt
Alpha
400
300
200
100
0
0
5
10 15 20 25 30 35
SCORE
16
項目参照プロファイルの例
単純増加制約を課すことも可能
17
IRP指標 (1) 項目困難度
• Beta
– Rank stepping over 0.5
•B
– Its value
熊谷 (2007)
18
IRP指標 (2) 項目識別度
• Alpha
– Smaller rank of the
neighboring pair with
the biggest change
•A
– Its value
19
IRP指標 (3) 項目単調度
• Gamma
– Proportion of neighboring
pairs with negative
changes.
•C
– Their sum
20
IRP指標
項目参照プロファイルの推定値
ITEM
R1
R2
R3
1
0.262
0.257
0.255
2
0.271
0.255
0.240
3
0.597
0.624
0.669
4
0.210
0.204
0.202
5
0.227
0.219
0.214
6
0.747
0.784
0.836
7
0.352
0.326
0.296
8
0.229
0.234
0.238
9
0.444
0.491
0.562
10
0.287
0.254
0.210


・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
R8
R9
R10
0.416
0.460
0.497
0.319
0.320
0.856
α
B
β
0.044
8
0.497
10
-0.007 0.222
0.317
0.025
5
0.317
10
-0.033 0.333
0.867
0.880
0.057
4
0.597
1
0.000 0.000
0.460
0.539
0.592
0.084
7
0.539
9
-0.009 0.222
0.319
0.390
0.445
0.071
8
0.445
10
-0.013 0.222
0.914
0.921
0.928
0.052
2
0.747
1
0.000 0.111
0.439
0.440
0.436
0.051
5
0.436
10
-0.066 0.444
0.490
0.593
0.667
0.104
8
0.593
9
0.000 0.000
0.778
0.802
0.816
0.071
2
0.562
3
0.000 0.000
0.548
0.648
0.719
0.112
6
0.548
8
-0.094 0.333

32
0.189
0.170
0.157
33
0.168
0.188
0.221
34
0.407
0.413
0.424
35
0.481
0.522
0.569
・・・
・・・
・・・
・・・
A


C
γ

0.302
0.332
0.360
0.042
5
0.360
10
-0.032 0.222
0.333
0.376
0.414
0.044
8
0.414
10
0.000 0.000
0.566
0.585
0.593
0.036
6
0.535
7
0.000 0.000
0.719
0.765
0.794
0.051
7
0.522
2
0.000 0.000
21
Can-Do Table (例)
到達度評価表
Ability category and item content
IRP estimates
IRP indices
22
テスト参照プロファイル
(test reference profile, TRP)
• IRPの重み付き和
• 各潜在ランクの期待値
• 弱順序配置条件（Weakly ordinal alignment condition）
– TRPが単調増加だけど，全てのIRPが単調であるわけではない
• 強順序配置条件（Strongly ordinal alignment condition）
– 全てのIRPが単調増加  TRPも単調増加
• 潜在尺度が順序尺度であるためには，少なくともWOACを満たす必要
23
適合度指標
ML, Q=10
ML, Q=5
• 潜在ランク数を決定するのに便利
24
潜在ランクの推定
Likelihood
p(ui | V )   zij uij ln vqj  1  uij ln1  vqj 
n
j 1
ML
Ri( ML ) : w  arg max ln p(ui | V )
qQ
Bayes
Ri( MAP) : w  arg maxln p(ui | V )  ln p( f q )
qQ
25
潜在ランク分布
(latent rank distribution, LRD)
• いつも必ず平坦ではない
• 反応パタンの類似性によってランク分けされる
• 最小2乗法と最尤推定法は，両端のランクに人がたまる
傾向がある
• ベイズ推定法を用いれば解消できる
26
層別化LRD
LRD stratified by sex
LRD stratified by establishment
1.0
1.0
Male
Female
Total
0.8
0.8
0.6
0.6
0.4
0.4
0.2
0.2
0.0
0.0
1
2
3
4
5
1
National
Public
Private
Total
2
3
4
5
27
潜在ランクと得点の関係
35
30
– Spearman’s R=0.929
25
SCORE
• R-S散布図
20
15
10
5
0
1
2
3
4 5 6 7 8
LATENT RANK
9 10
10
9
– Spearman’s R=0.925
QUANTILE
• R-Q散布図
8
7
6
5
4
3
2
1
1
2
3
4 5 6 7 8
LATENT RANK
NTT尺度の妥当性を傍証
9 10
28
ランク・メンバーシップ・プロファイル
(rank membership profile, RMP)
• 各受検者がどの潜在ランクに所属するかに
ついての事後分布
RMP
piq 
p(u i | v q ) p( f q )

Q
p
(
u
|
v
)
p
(
f
)
i
q
'
q
'
q '1
29
RMPの例
0
1
0.6
0.4
0.2
0
1
0.6
0.4
0.2
1
0.8
0.6
0.4
0.2
0
Examinee 12
0.8
0.6
0.4
0.2
0
2
4
6
8
LATENT RANK
10
0.4
0.2
0.8
0.6
0.4
0.2
10
10
PROBABILITY
0.2
1
0.4
0.2
10
Examinee 10
0.8
0.6
0.4
0.2
0
2
4
6
8
LATENT RANK
10
2
4
6
8
LATENT RANK
Examinee 14
1
0.8
0.6
0.4
0.2
0
2
4
6
8
LATENT RANK
0.4
2
4
6
8
LATENT RANK
Examinee 9
0.6
1
0.6
0
0
Examinee 13
Examinee 5
0.8
10
0.8
10
0
2
4
6
8
LATENT RANK
0.2
1
0.6
1
0.4
2
4
6
8
LATENT RANK
Examinee 8
2
4
6
8
LATENT RANK
PROBABILITY
Examinee 11
0.6
0
0.8
10
1
0.8
10
0
2
4
6
8
LATENT RANK
PROBABILITY
PROBABILITY
Examinee 7
0.8
10
0.2
2
4
6
8
LATENT RANK
0
2
4
6
8
LATENT RANK
0.4
10
PROBABILITY
Examinee 6
0.6
0
2
4
6
8
LATENT RANK
PROBABILITY
PROBABILITY
10
0.8
1
0.2
0
2
4
6
8
LATENT RANK
1
0.4
0.8
Examinee 4
PROBABILITY
0.2
0.6
1
PROBABILITY
0.4
0.8
Examinee 3
PROBABILITY
0.6
1
PROBABILITY
0.8
Examinee 2
PROBABILITY
1
PROBABILITY
Examinee 1
PROBABILITY
PROBABILITY
1
10
Examinee 15
0.8
0.6
0.4
0.2
0
2
4
6
8
LATENT RANK
10
2
4
6
8
LATENT RANK
10
30
• ウェブサイト
http://www.rd.dnc.ac.jp/~shojima/ntt/index.htm
• ソフトウェア
– EasyNTT
• 開発者：熊谷先生（新潟大学）
– Neutet
• 開発者：橋本先生（大学入試センター）
31
拡張モデル
• Graded Neural Test Model (RN07-03)
– NTT model for ordinal polytomous data
• Nominal Neural Test Model (RN07-21)
– NTT model for nominal polytomous data
• Batch-type NTT Model (RN08-03)
• Continuous Neural Test Model
• Multidimensional Neural Test Model
32
段階ニューラルテストモデル
境界カテゴリ参照プロファイル of Items 1-9
破線は，観測率プロファイル (ORP)
段階ニューラルテストモデル
項目カテゴリ参照プロファイル of Items 1-9
破線は観測率プロファイル
名義ニューラルテストモデル
項目カテゴリ参照プロファイル of Items 1-16
* 正答選択肢, x 10％未満のカテゴリをマージしたカテゴリ
議論
• 潜在尺度が順序であるテスト標準化理論
– 潜在尺度が順序尺度
– モデルの非線形性と柔軟性
• 項目バンクを作成してテスト編集ができる
– 難しいIRPをもつ項目のみを選抜してテストを編
集すれば高学力層向きのテストが編集できる
• 等化も可能
– 共時等化法（concurrent calibration）
– 学力の経年変化などに運用できる
NTTの拡張（２）
Structural Neurofield Mapping:
構造神経場マッピング
Latent rank model for Multivariate Data
多変量データのための潜在ランク理論
37
SEMのパス図：因子のパス解析
1
1
1
1
1
Identity
1
Depression
1
1
1
1
Anxiety
1
1
1
1
SEMのパス図（２）：階層因子モデル
1
1
1
Factor 1
1
1
1
G Factor
Factor 2
1
1
1
1
1
Factor 3
1
1
1
1
問題意識
• 1つの潜在変数を２～５の観測変数が測定
• 多くても観測変数は１０くらい
• 潜在変数は連続変数
– 潜在的な名義変数（潜在クラス）も一般的
測定論の立場から
• 1つの潜在変数を5つくらいの観測変数で連
続尺度上で評価することは難しい
• たとえば，テストでいえば，50くらいの項目で
ようやく能力を10～20段階に評価するくらい
がせいぜい
– 解像度（ものの違いを見抜く力）が小さいから
• 潜在的な順序尺度の必要性
NTTからSNMへ
• 実は，NTTは1因子の因子分析みたいなもの
– ただし，因子が順序変数
• NTTをSEMっぽく拡張することが可能
• Structural Neurofield Mapping (SNM)
– 構造神経場マッピング
– 確認的高次元SOM
– 多次元NTT
Higher-Order Multidimensional NTT Model
• SNMの下位モデル
• 全ての因子は順序尺度
• テストが複数の下位テス
トからなる
• 下位テストごとに潜在ラ
ンクを推定
• 高次潜在ランクも推定
Factor 1
G Factor
Factor 2
Factor 3
HOMDNTTモデルにおける統計的学習
44
図的説明
x
f 1
Factor
x
x
x
x
G Factor
f
Factor
f 2
x
x
x
x
Factor
f 3
x
x
x
FREQUENCY
英語テストの分析
150
125
100
75
50
25
0
0
10
20
30
SCORE
40
問題構成
下位テスト
問題内容
項目数
1
発音
6
2
文法穴埋め
16
3
文章並び替え
7
4
図表読解
5
5
会話文読解
5
6
長文読解
8
分析モデル
1D-NTT
1D-NTT
3
Ability 1
5
Ability2
1D-NTT
Confirmatory
6-Dimensional
Neural Test Model
or
Confirmatory
1D-NTT
3
High-Dimensional
Ability 4
Self-Organizing Map
3
Ability 3
10
General
Ability
1D-NTT
3
Ability 5
1D-NTT
3
Ability 6
分析モデル
3
Ability 1
5
Ability2
3
Ability 3
10
General
Ability
3
Ability 4
3
Ability 5
Graded Neural Test Model
1D-NTT for Categorical-Ordered
Response Data
3
Ability 6
Item Reference Profiles
of Ability 1 (n=6, Q=3)
0.6
0.4
0.2
0
1
0.8
0.6
0.4
0.2
Ability 3
0
1
2 General3
Ability1
LATENT RANK
1
2
3
LATENT RANK 1
ITEM 1 4
ITEM 1 5
0.8
0.6
0.4
0.2
0
1
2
3
LATENT RANK 1
1
0.8
0.6
0.4
0.2
Ability 5
0
1
2
3
LATENT RANK 1
PROBABILITY
0.8
1
Ability2
ITEM 1 2
1
ITEM 1 3
0.8
0.6
0.4
0.2
0
1
2
3
LATENT RANK 1
PROBABILITY
PROBABILITY
1
ITEM 1 1
PROBABILITY
PROBABILITY
PROBABILITY
Ability 1
Ability 4
ITEM 1 6
1
0.8
0.6
0.4
0.2
0
2
3
Ability 1
6
LATENT RANK 1
0.6
0.4
0.2
0
0.8
0.6
0.4
0.2
0
1
General
Ability
PROBABILITY
1
1 2 3 4 5
LATENT RANK 2
ITEM 2 9
1 2 3 4 5
LATENT RANK 2
ITEM 2 13
0.8
0.6
0.4
0.2
0
1 2 3 4 5
LATENT RANK 2
1
1 2 3 4 5
LATENT RANK 2
ITEM 2 6
0.8
0.6
0.4
0.2
Ability 3
0
1
1 2 3 4 5
LATENT RANK 2
ITEM 2 10
0.8
0.6
0.4
0.2
0
1
1 2 3 4 Ability
5
LATENT RANK 2
ITEM 2 14
0.8
0.6
0.4
0.2
0
1 2 3 4 5
LATENT RANK 2
0.6
0.4
0.2
0
1
Ability2
1 2 3 4 5
LATENT RANK 2
ITEM 2 7
0.8
0.6
0.4
0.2
0
1
0.8
1 2 3 4 5
LATENT RANK 2
ITEM 2 11
Ability 4
0.6
0.4
0.2
0
5
1
1 2 3 4 5
LATENT RANK 2
ITEM 2 15
0.8
0.6
0.4
0.2
PROBABILITY
0
0.8
PROBABILITY
0.8
0.4
0.2
ITEM 2 3
PROBABILITY
PROBABILITY
1
1 2 3 4 5
LATENT RANK 2
ITEM 2 5
0.6
1
Ability 6
0
1 2 3 4 5
LATENT RANK 2
PROBABILITY
0
0.8
PROBABILITY
0.4
0.2
Ability 1
PROBABILITY
0.6
ITEM 2 2
PROBABILITY
0.8
1
PROBABILITY
ITEM 2 1
PROBABILITY
1
PROBABILITY
PROBABILITY
PROBABILITY
PROBABILITY
PROBABILITY
IRPs of Ability 2 (n=16, Q=5)
1
ITEM 2 4
0.8
0.6
0.4
0.2
0
1
1 2 3 4 5
LATENT RANK 2
ITEM 2 8
0.8
0.6
0.4
0.2
0
1
1 2 3 4 5
LATENT RANK 2
ITEM 2 12
0.8
0.6
0.4
0.2
0
1
1 2 3 4 5
LATENT RANK 2
ITEM 2 16
0.8
0.6
0.4
0.2
0
1 2 3 4 5
LATENT RANK 2
Ability 1
0.6
0.4
0.2
0
0.8
0.6
0.4
0.2
0
1
PROBABILITY
PROBABILITY
1
2
3
LATENT RANK 3
General
Ability
ITEM 3 5
0.8
0.6
0.4
0.2
0
1
2
3
LATENT RANK 3
ITEM 3 2
1
0.8
0.6
Ability 3
1
2
3
LATENT RANK 3
ITEM 3 6
1
ITEM 3 3
Ability2
PROBABILITY
0.8
1
PROBABILITY
ITEM 3 1
PROBABILITY
1
PROBABILITY
PROBABILITY
IRPs of Ability 3 (n=7, Q=3)
0.8
0.6
0.4
0.2
0
1
2
3
LATENT RANK 3
1
ITEM Ability
3 74
0.8
0.6
Ability 5 0.4
0.2
0
0
1
2
3
1
2
3
LATENT Ability
RANK 6 3
LATENT RANK 3
0.4
0.2
1
ITEM 3 4
0.8
0.6
0.4
0.2
0
1
2
3
LATENT RANK 3
Ability 1
0.8
0.6
0.4
0.2
0
1
1
ITEM 4 2
0.8
0.6
0.4
0.2
Ability 3
0
1
2
3
General
LATENT RANK
4
Ability
1
2
3
LATENT RANK 4
ITEM 4 4
ITEM 4 5
0.8
0.6
0.4
0.2
0
1
2
3
LATENT RANK 4
1
Ability2 1
PROBABILITY
ITEM 4 1
PROBABILITY
1
PROBABILITY
PROBABILITY
PROBABILITY
IRPs of Ability 4 (n=5, Q=3)
0.8
0.6
0.4
0.2
Ability 4
Ability 5
0.4
0.2
0
1
2
3
LATENT RANK 4
0
1
2
3
LATENT RANK 4
0.8
0.6
ITEM 4 3
Ability 6
Ability 1
ITEM 5 1
0.8
0.6
0.4
0.2
0
ITEM 5 1
1
0.8
0.6
0.4
0.2
Ability 3
0
1
2
3
LATENT RANK
5
General
1
2
3
LATENT RANK 5
PROBABILITY
1
PROBABILITY
PROBABILITY
IRPs of Ability 5 (n=5, Q=3)
ITEM 5 3
1
Ability2
0.8
0.6
0.4
0.2
0
1
2
3
LATENT RANK 5
1
ITEM 5 4
PROBABILITY
PROBABILITY
Ability
0.8
0.6
0.4
0.2
0
1
2
3
LATENT RANK 5
1
ITEM 5 5
Ability 4
0.8
0.6
0.4
0.2
Ability 5
0
1
2
3
LATENT RANK 5
Ability 6
Ability 1
0.8
0.6
0.4
0.2
0
1
ITEM 6 2
0.8
0.6
0.4
0.2
0
1
0.8
Ability2
0.6
0.4
0.2
0
1
2
3
Ability
3
LATENT RANK 6
1
2
3
LATENT RANK 6
ITEM 6 3
PROBABILITY
ITEM 6 1
PROBABILITY
1
PROBABILITY
PROBABILITY
IRPs of Ability 6 (n=8, Q=3)
1
ITEM 6 4
0.8
0.6
0.4
0.2
0
1
2
3
LATENT RANK 6
1
2
3
LATENT RANK 6
0.6
0.4
0.2
0
1
2
3
LATENT RANK 6
0.8
0.6
1
0.8
0.6
0.4
0.2
Ability 50.4
0
0
1
2
3
LATENT RANK 6
4
ITEM 6Ability
7
PROBABILITY
0.8
1
ITEM 6 6
PROBABILITY
1
ITEM 6 5
PROBABILITY
PROBABILITY
General
Ability
0.2
1
2
3
LATENT RANK
Ability6 6
1
ITEM 6 8
0.8
0.6
0.4
0.2
0
1
2
3
LATENT RANK 6
15
12.5
10
7.5
5
2.5
7
6
5
4
3
2
1
1
2
3
LATENT RANK 3
1 2 3 4 5
LATENT RANK 2
5
8
4
4
6
3
2
1
SCORE
5
SCORE
SCORE
1
2
3
LATENT RANK 1
SCORE
6
5
4
3
2
1
SCORE
SCORE
Test Reference Profiles of 6 Abilities
3
2
2
1
1
2
3
LATENT RANK 4
4
1
2
3
LATENT RANK 5
1
2
3
LATENT RANK 6
FREQUENCY
FREQUENCY
1
2
3
LATENT RANK 4
1200
1000
800
600
400
200
1 2 3 4 5
LATENT RANK 2
1
2
3
LATENT RANK 1
1200
1000
800
600
400
200
FREQUENCY
1200
1000
800
600
400
200
1200
1000
800
600
400
200
1
2
3
LATENT RANK 3
FREQUENCY
1200
1000
800
600
400
200
FREQUENCY
FREQUENCY
Latent Rank Distributions of 6 Abilities
1
2
3
LATENT RANK 5
1200
1000
800
600
400
200
1
2
3
LATENT RANK 6
Spearman’s R Matrix
Ability
1
2
3
4
5
1
1
2
0.354
3
0.280 0.603
4
0.223 0.525 0.453
5
0.241 0.455 0.384 0.378
6
0.525 0.545 0.449 0.437 0.431
6
1
1
1
1
1
Rank Membership Profiles of
Examinees 1, 7 and 9 for 6 Abilities
7
1
0.8
0.6
0.4
0.2
0
9
0.4
0.2
0
0.6
0.4
0.2
0
1
2
LATENT RANK
3
Examinee
1
0.6
0.4
0.2
0
1 2 3 4 5
LATENT RANK
Examinee
0.4
0.2
0
1
0.8
0.6
0.4
0.2
0
1
Examinee
0.2
0
1
0.4
0.2
0
1
2
LATENT RANK
0.4
1
2
LATENT RANK
9
0.6
3
0.4
0.2
0
1
0.6
Examinee
0.8
0.6
0.4
0.2
0
1
2
3
LATENT RANK
Examinee
0.2
0
1
2
LATENT RANK
1
Examinee
0.6
0.4
0.2
0
1
0.4
0.4
0.2
0
1
2
3
LATENT RANK
7
0.6
0.4
0.2
0
1
2
LATENT RANK
9
0.6
Examinee
3
0.8
3
0.8
1
1
2
LATENT RANK
7
0.6
Examinee
0.8
3
0.8
3
9
1
0.6
1
2
LATENT RANK
7
0.8
3
0.8
Examinee
1
PROBABILITY
0.6
Examinee
0.8
1
2
3
LATENT RANK
7
1
2
LATENT RANK
9
0.8
0.8
1
2
3
LATENT RANK
7
0.6
1
0.8
0
1 2 3 4 5
LATENT RANK
PROBABILITY
PROBABILITY
Examinee
0.2
5
0.8
1
2
3
LATENT RANK
1
Examinee
0.4
1
PROBABILITY
1 2 3 4
LATENT RANK
0.6
1
1
PROBABILITY
0
0.8
Examinee
PROBABILITY
0.2
1
PROBABILITY
Examinee
0.4
3
PROBABILITY
1
0.6
1
PROBABILITY
0
0.8
Examinee
PROBABILITY
0.2
1
PROBABILITY
0.4
1
PROBABILITY
0.6
Examinee
PROBABILITY
0.8
1
2
LATENT RANK
PROBABILITY
1
PROBABILITY
1
PROBABILITY
Examinee
PROBABILITY
PROBABILITY
1
Examinee
3
9
0.8
0.6
0.4
0.2
0
1
2
3
LATENT RANK
Boundary Category Reference Profiles
of 6 Abilities on General Ability
Ability 1
1
2 22
2
0.8
2
22
0.6
2
33
2
3
3
2
3
0.4
33
0.2 3 3 3
0
1 2 3 4 5 6 7 8 910
GENERAL General
ABILITY
Ability
LATENT
RANK 2
1
23
2
22 2
33
4
2
4
3
0.8
2 3 4
2
0.6
3 4 55
0.4 2 2 3
4 5
3 4 5
0.2Ability
3 34 5
3
45
44
0 5
5 55
1 2 3 4 5 6 7 8 910
GENERAL ABILITY
Ability2
PROBABILITY
RANK 1
PROBABILITY
PROBABILITY
LATENT
LATENT
RANK 3
1
2 22
2
3
0.8
2
3
2
0.6
3
2
2
0.4
3
2
3
2
0.2
3
3
3
3
0 3
1 2 3 4 5 6 7 8 910
GENERAL ABILITY
Ability 4
LATENT
RANK 5
1
2 2 22
2
2
0.8
33
2
3
0.6Ability25
3
2
3
0.4 2
33
3
0.2
3
3
0
1 2 3 4 5 6 7 8 910
GENERAL ABILITY
LATENT
RANK 6
1
2 2 22
2
0.8
2
33
2
3
0.6
2
3
3
0.4
2
3
0.2 2 3 3
0 33
Ability 6
1 2 3 4 5 6 7 8 910
GENERAL ABILITY
PROBABILITY
RANK 4
1
22
2
2
0.8
2
33
2
3
0.6
2
3
2
0.4
3
2
2
3
0.2
3
3
3
0 3
1 2 3 4 5 6 7 8 910
GENERAL ABILITY
PROBABILITY
PROBABILITY
LATENT
Item Category Reference Profiles of 6
Abilities on General Ability
RANK 4
1
0.8
33
11
3
0.6
1
3
1
0.4
3
22
22
1
2
2
3
2
0.2 2 3 3 1 1 2 2
1 11
0 33
1 2 3 4 5 6 7 8 910
GENERAL ABILITY
1
5
5
1
34
22
3
34
5 44
2
2
3
2 31 4
25 3
15
2 33
3 44
3
44
45
5
5 55 11 2
12
12
1
1 2 3 4 5 6 7 8 910
GENERAL ABILITY
1
LATENT
LATENT
PROBABILITY
1
0.8
0.6
0.4
0.2
0
RANK 2
RANK 5
1
0.8
33
3
0.6 1
3
1
23
22
0.4
3
1
2
2
3
2
2 31
22
0.2
11
2
3
3
1 1 11
0
1 2 3 4 5 6 7 8 910
GENERAL ABILITY
RANK 3
1
3
0.8 1
3
1
0.6
1
3
2 22
1
2
0.4
2 1 32
2
3
2
0.2 2
3 11
2
3
1
3
3
1
1
0 3
1 2 3 4 5 6 7 8 910
GENERAL ABILITY
LATENT
PROBABILITY
LATENT
PROBABILITY
1
0.8
0.6 1
1
33
3
3
1
0.4
23
22 2 22
22
33
22 3 1
1 11
0.2 3 3
1 11
0
1 2 3 4 5 6 7 8 910
GENERAL ABILITY
LATENT
PROBABILITY
RANK 1
PROBABILITY
PROBABILITY
LATENT
RANK 6
1
0.8 1
33
3
1
0.6
3
2
1
22 2
32
0.4
2
2 13
22
0.2 2 3 3 1 1
1 1 11
0 33
1 2 3 4 5 6 7 8 910
GENERAL ABILITY
15
10
5
TOTAL SCORE
20
FREQUENCY
SUM OF RANKS
Marginal Output
400
300
200
100
1 2 3 4 5 6 7 8 910
GENERAL ABILITY
1 2 3 4 5 6 7 8 910
GENERAL ABILITY
Test Reference Profile
Latent Rank Distribution
44
40
36
32
28
24
20
16
12
8
4
0
1 2 3 4 5 6 7 8 910
GENERAL ABILITY
Rank-Score Scatter Plot
Spearman’s R of 6 Abilities with General Ability
Ability
1
2
3
4
5
6
G Factor
0.436
0.882
0.767
0.697
0.628
0.730
Rank Membership Profiles of Examinees 1-15
on General Ability Rank Scale
Examinee
1
10
6
PROBABILITY
0.6
0.4
0.2
0
4
6
8
LATENT RANK
Examinee
1
0.8
7
0.6
0.4
0.2
Examinee
1
10
Examinee
1
PROBABILITY
0.8
0.6
0.4
0.2
0
4
6
8
LATENT RANK
0.6
0.4
0.2
0
2
4
6
8
LATENT RANK
10
0.4
0.2
4
6
8
LATENT RANK
Examinee
0.8
0.6
0.4
0.2
4
6
8
LATENT RANK
10
4
6
8
LATENT RANK
10
0.4
0.2
0.4
0.2
4
6
8
LATENT RANK
Examinee
1
10
10
0.8
0.6
0.4
0.2
0
4
6
8
LATENT RANK
Examinee
10
2
14
0.8
0.6
0.4
0.2
4
6
8
LATENT RANK
Examinee
1
0
2
0.6
2
9
0.6
1
0
2
Examinee
2
13
0.8
10
0.8
10
5
0
4
6
8
LATENT RANK
0
1
0.8
0.2
1
0.6
2
12
0.4
2
8
0.8
10
0.6
10
0
2
11
4
6
8
LATENT RANK
Examinee
1
0.8
0.8
0
2
PROBABILITY
4
6
8
LATENT RANK
0.2
10
0
2
0.4
0
2
PROBABILITY
4
6
8
LATENT RANK
0.6
Examinee
1
PROBABILITY
0.2
0.8
4
PROBABILITY
0.4
0
2
PROBABILITY
0.6
Examinee
1
PROBABILITY
0.2
0.8
3
PROBABILITY
0.4
Examinee
1
PROBABILITY
0.6
2
PROBABILITY
0.8
0
PROBABILITY
Examinee
1
PROBABILITY
PROBABILITY
1
PROBABILITY
Examinee
1
10
15
0.8
0.6
0.4
0.2
0
2
4
6
8
LATENT RANK
10
2
4
6
8
LATENT RANK
10
まとめ
• ニューラルテスト理論の拡張を行った
– 潜在変数が順序変数の多変量解析モデル
– いずれはSEMの中で統合したほうがよい
– 高次因子分析モデルで例示
• 下位テストが含まれるテストにおいて，下位ランクと高
次ランクを出力できるので便利
– 他にもさまざまなモデルを表現可能
– 統計学は視覚的要約の時代に入っている中で，
出力が煩雑なので工夫が必要
ご清聴ありがとうございました
理論・応用・ソフトウェア開発なんでも大歓迎
一緒に研究しましょう

Download Report