Asymmetric Triangulation Scaling: A

Asymmetric Triangulation Scaling:
A Multidimensional Scaling for
Visualizing Inter-Item Dependency Structure
SHOJIMA Kojiro
The National Center for University Entrance Examinations
[email protected]
導入
• IRT
– 現在のテストデータ解析の主流
– 非常にすぐれた完成度の高い理論
• 各統計理論は，情報を抽象するが捨象もする
– 情報抽出が一面的にならざるを得ない
– 月を見るのにいつも天体望遠鏡を用いると，いつまでたっ
ても月の表面がよく見えるだけ
– 異なる角度の分析ツールの開発が必要
– Cf. ニューラルテスト理論
項目間従属構造
• 数学テストのデータ解析では特に重要
– 通常のIRTでは抽象するのが苦手な情報
– ベイジアンネットワークIRT (Ueno, 2002)
• ただし，局所従属（local dependency）
• 本研究の目的
– 項目間従属構造を視覚化する
– グローバルな従属性（global dependency）を検討
– 多次元尺度法(MDS)を用いる
– 条件付き正答率行列を分析対象とする
同時正答率行列
Item 1 Item 2
Item 1 P(1,1) P(1,2)
Item 2 P(2,1) P(2,2)
⋯
⋯
⋯
Item n
P(1,n)
P(2,n)
⋮
⋮
⋮
Item n P(n,1) P(n,2)
⋱
⋯
⋮
P(n,n)
• n×n対称行列
• ij要素 P(i,j)
– 項目iとjの同時正答率
• 非対角要素 P(i,j)=P(j,i)
– 常に一致する
• 対角要素 P(j,j)=P(j)
– 項目jの正答率
条件付き正答率行列
Item 1
Item 2
⋯
Item n
Item 1
Item 2
P(1,1)/P(1)
P(1,1)
1
P(2,1)/P(2)
P(1|2)
P(2,1)
P(1,2)/P(1)
P(2|1)
P(1,2)
P(2,2)/P(2)
P(2,2)
1
P(1,n)/P(1)
P(n|1)
P(1,n)
P(2,n)/P(2)
P(n|2)
P(2,n)
⋮
Item n
⋮
P(n,1)/P(n)
P(1|n)
P(n,1)
⋮
P(n,2)/P(n)
P(2|n)
P(n,2)
⋯
⋯
⋱
⋯
• n×n非対称行列
• ij要素 P(i|j)=P(i,j)/P(i)
– 項目iに正答したもとでの項目jの正答率
• 非対角要素P(i|j)≠P(j|i)
– 一般に一致しない
• 対角要素 P(j|j)=1.0
– 常に1.0になる
⋮
P(n,n)/P(n)
P(n,n)
1
多次元尺度法
• 限られた情報を手掛かりに失われた地図を
再現する手法
City 1
City 2
City 3
⋮
City n
二項関係行列
City 1 City 2 City 3
d11
d12
d13
d21
d22
d23
d31
d32
d33
⋮
⋮
⋮
dn1
dn2
dn3
⋯
⋯
⋯
⋯
⋱
⋯
City n
d1n
d2n
D3n
⋮
dnn
本研究でも・・・失われたマップ
QM
Q2
X15
X11
X7
非対称条件付き正答率行列
X12
Item
Item 2
⋯
X5 1
X13
1
P(2|1)
⋯
X
X12
P(1|2)1
⋯
X3
X9 ⋮
⋮
⋱
P(1|n)
P(2|n)X
⋯
Item 1
Item 2
⋮
Item n
X6
O
14
X4
X10
Item n
P(n|1)
P(n|2)
⋮
1
X8
Q1
測度
Item i
Item j
Item i
1
P(i|j)
|𝑂𝑋𝑖𝑗 | = 𝑃(𝑖, 𝑗)
Xij
Xｊ
Xi
|𝑂𝑋𝑖 | = 𝑃(𝑖)
|𝑂𝑋𝑗 | = 𝑃(𝑗)
O
𝑂𝑋𝑖𝑗 = 𝑘𝑂𝑋
𝑋𝑖 𝑋𝑗𝑖 ∙+𝑂𝑋1𝑖 − 𝑘 𝑂𝑋𝑗 (0 ≤ 𝑘 ≤ 1)
𝑂𝑋𝑖𝑗 = −
𝑋𝑖 𝑋𝑗 + 𝑂𝑋𝑖
|𝑋𝑗 𝑖 𝑋𝑗 |
𝑂𝑋𝑖𝑗 ⊥ 𝑋𝑖 𝑋
Item j
P(j|i)
1
測度
Item i
Item j
Item i
1
P(i|j)
Item j
P(j|i)
1
|𝑂𝑋𝑖𝑗 | = 𝑃(𝑖, 𝑗)
Xij
Xｊ
Xi
|𝑂𝑋𝑖 | = 𝑃(𝑖)
|𝑂𝑋𝑗 | = 𝑃(𝑗)
O
𝑃(𝑖,𝑖𝑗 |𝑗)
|𝑂𝑋
𝑃 𝑗 𝑖 =𝑐𝑜𝑠∠𝑋𝑖 𝑂𝑋𝑖𝑗
|𝑂𝑋
𝑃(𝑖)
𝑖|
𝑃(𝑖,𝑖𝑗𝑗)
|𝑂𝑋
|
𝑃 𝑖 𝑗 = 𝑐𝑜𝑠∠𝑋𝑗 𝑂𝑋𝑖𝑗
𝑃(𝑗)
|𝑂𝑋
𝑗|
測度（まとめ）
• 2項目間の非対称な条件付き正答率を，
– 2項目のベクトルが張る三角形において
– 原点を頂点とし三角形の底辺への垂線に対する
– 異なる余弦として表現
• 条件付き正答率行列の対角要素は，自分自
身（角度0）の余弦となり，つじつまが合う
– cos 0=1.0
ATRISCAL
• Asymmetric TRIangulation SCALing
– 非対称三角尺度法
• ATRISCALは，多次元空間において，項目が座
標を持って存在していたと仮定する
– 座標は現在失われている
• 各2項目が張る三角形において，原点からの
垂線に対する異なる余弦のみが現在におい
て保存されていると考える
• 保存された余弦から多次元座標を再現する
拡大非対称条件付き正答率行列
Item 1
Item 2
Item 1
1
P(1|2)
Item 2
P(2|1)
1
⋮
⋮
⋮
Item n
P(1|n)
P(2|n)
P(1)
P(2)
Item n+1 P(1|n+1)
P(2|n+1)
⋯
⋯
⋯
⋱
⋯
⋯
Item n
P(n|1)
P(n|2)
Item n+1
1
P(n+1|1)
1
P(n+1|2)
⋮
⋮
1
1
P(n+1|n)
P(n)
1
P(n|n+1)
• 非対称条件付き正答率行列は，各項目の正
答率情報が欠如
• 全問正答した架空の項目n+1を用意する
– P(j|n+1)=P(j,n+1)/P(n+1)=P(j)
– P(n+1|j)=P(j,n+1)/P(j)=1.0
ストレス関数
• 重み付き最小2乗法による構成
𝑛+1
𝐹 𝑿 =
𝜆𝑖𝑗 𝑃 𝑗 𝑖 − 𝛿𝑖𝑗
𝑖,𝑗 𝑖≠𝑗
𝑂𝑋𝑖𝑗 = −
𝑂𝑋𝑖𝑗
𝑂𝑋𝑖
𝑋𝑖 𝑋𝑗 ∙ 𝑂𝑋𝑖
𝑋𝑖 𝑋𝑗
2
=1−
𝟐
𝑋𝑖 𝑋𝑗 + 𝑂𝑋𝑖
𝑂𝑋𝑖 ∙ 𝑋𝑖 𝑋𝑗
𝑂𝑋𝑖 𝑋𝑖 𝑋𝑗
2
𝑂𝑋𝑖𝑗
2
𝑂𝑋𝑖
X 再現すべき座標
δij 不適切な三角形の
ときのペナルティ
λij 重み
分析手続き
• 数学のテストを用いた
• δij
適切な三角形
1

 1 不適切な三角形
• λij
if　i, j  n
 1

n  1 otherwise
– 項目数 27
– 受検者数約13,000
• 次元数3
– ほとんど選択の余地なし
δ（デルタ）
適切な三角形
不適切な三角形
• ∠OXiXjと∠OXjXiが共に鋭角
• δij=1
Xi
• δji=1
• どちらかが鈍角
• δij=-1
• δji=1
Xi
Xij
Xｊ
O
Xｊ
Xij
O
λ（ラムダ）
if　i, j  n
 1
ij  
n  1 otherwise
Item 1
Item 2
Item 1
Item 2
1
P(1|2)
P(2|1)
1
⋯
⋯
⋯
⋮
Item n
⋮
P(1|n)
⋮
P(2|n)
⋱
⋯
⋮
1
Item n+1
P(1)
P(2)
⋯
P(n)
0.5
1
Item n
Item n+1
P(n|1)
P(n|2)
1
1
0.5
1⋮
1
1
最適化
• 遺伝的アルゴリズムを用いた
– 各座標を遺伝子座とみなす
– 離散点から遺伝子をランダムサンプリング
– 世代数200
– 人口1000
– 生存率0.25
– エリート数10
空間の不定性と固定座標
• 項目n+1 (項目28)
– (xn+1=0, yn+1=0, zn+1=1)
• 最も正答率が低い項目27
– (x27=0, y27>0, z27)
• 中程度のP(・|27)をもつ項目11
– (x11>0, y11, z11)
分析結果: Radial Map
• 赤い打点が再現さ
れた座標
• オレンジの打点は
赤い線分の延長線
と半球面の交点
垂直的2項関係
Item j
Item n+1
Item j
1
P(j)
• 想像上の項目n+1と項目jの2項関係
– P(j)→1.0
– P(k)→0.0
Xn+1
Xj
P(j)
1
Xk
O
P(k)
Item n+1
1
1
水平的2項関係
Item i
Item j
Item i
1
P(i|j)
• 項目iと項目jの2項関係
– P(i)<P(j)
– P(i|j)→1.0
– P(i|j)→0.0
Xn+1
Xj
Xi
O
Item j
P(j|i)
1
Topographic Map
• オレンジ点の座標
をXY平面に射影
• ボロノイ分割
• 放射図のオレンジ
線分長だけ各ボロ
ノイ領域をリフト
– 高さに応じて色分け
Mastery Maps
• 各受検者の習得マップ
今後の課題(1)
•
•
•
•
最尤法に基づくストレス関数を構築したい
GAを用いないで最適化したい
多値データに対応させたい
潜在ランクで層別化したい
今後の課題(2)
• 等化を可能にする
• 教科教育全体のマ
ップを描く
ご清聴ありがとうございました

Download Report