正準分析 - OGIFEST

記述的多変量解析法 -大隅昇 L.ルバール A.モリノウ K.M ワーウィック馬場康雄
第Ⅲ章：正準分析と判別分析
本資料では正準分析（もしくは正準相関分析）と判別分析を、対応分析法（別ファイル
参照）との関連に焦点を絞って、議論する。
1．正準分析は重回帰分析や判別分析と対応分析法との間にみられる間隙を埋めるとい
う理論的に重要な役割を担っている。
2．特に医学や計量生物学の分野では重判別分析のほうが、正準分析に比べてより多くの
応用事例がある。しかしこの手法は厳密な仮定を必要としない他の分類手法にその座
を譲ろうとしている。
（判別分析は正準相関分析の特別な場合である。また例えば身長と体重から「男女」
のどちらかを判断する、といったように分類の仕方は仮定して行うものである。
）
Ⅲ．1
正準分析
正準分析は分析結果の解釈がそれほど簡単ではなく、応用範囲は限られている。
しかし上記で少し述べたように、正準分析の特別な場合に相当する重回帰分析や判別分析
の一般理論に基礎を与えるものである。正準分析とは、2 組の変数の間の関係を調べるため
に第 2 の組の変数の線形結合に最も高い相関を持つような、第 1 の組の変数の線形結合を
見出すことによって明らかにしようという手法である。
相関係数といえば変数同士、1 対 1 の関係であったら正準相関分析は複数対応。
例.「数学・理科」というグループと「国語・社会・英語」というグループ、2 つのグルー
プ間の相関を求めたい場合に正準相関分析を用いる。正準分析は単純に相関だけじゃない。
2 グループのうちどちらかが 1 個の変数で 1 対複数である場合は重回帰分析に相当する。
※P6 参照
1.1 記法と問題の定式化
大きさが n 行、p+q 列であるデータ行列 R を、次のように列側が p 列,q 列であるような
二つの部分行列 X と Z とに分割する。
R=[X|Z]
この各行は個体もしくは観測値を表している。そして列のうち初めの p 列が第 1 組の変
数であり、残りの q 列は第 2 の変数である。
（バラバラにであることが多いが整理済み）
ここで各変数は中心化してあると仮定しておく。
（ここでは平均が重心となるように位置
の変換をしておく）つまり行列 R の各列の要素の和はゼロである。（平均値がゼロである）
Ex,
3 人 (n=3) の点数（理系：数学・理科、文系：国語・社会・英語, p=2, q=3）とし、
元データ R-を中心化(R)し、X と Z に分割する。
（青・ピンク・緑で式を追っていく）
R-
数学
理科
国語
社会
英語
A
79
80
67
56
69
B
56
45
70
76
88
C
66
55
43
48
47
R
数学
理科
国語
社会
英語
A
12
20
7
-4
1
B
-11
-15
10
16
20
C
-1
-5
-17
-12
-21
X
数学
理科
Z
国語
社会
英語
A
12
20
A
7
-4
1
B
-11
-15
B
10
16
20
C
-1
-5
C
-17
-12
-21
このとき p+q 個の変数の標本分散・共分散行列 V(R)は
V R  
1

1

RR　 要素単位で表すと　v jj   rkj rkj 
n
n k


(3.1)
となる。すなわち
V R  
1  X X
n  Z X
X Z 
Z Z 
 第1組の分散・共分散第1組と第2組の共分散


第1組と第2組の共分散第2組の分散・共分散 
(3.2)
一緒の意味だが、行列表記的には転置行列になっている。( (X’Z)’=Z’X )
いま行列 R の第 i 行に対応する次のような観測値 i を考える。
x
i1
, xi 2 ,, xip , zi1 , zi 2 ,, ziq 
(数学, 理科,
(3.3)
国語, 社会, 英語)
ここで a を p 個の要素を持つベクトル、b を q 個の要素からなるベクトルとする。
そしてこれら二つのベクトルについて次の二つの線形結合を定義する。
p
ai    a j xij
(3.4)
j 1
a(1)=a1x11+a2x12
X
数学
理科
a(2)=a1x21+a2x22
A
x11
x12
B
x21
x22
C
x31
x32
a(3)=a1x31+a2x32
q
bi    b j zij
(3.5)
j 1
このとき、
すべての観測値 i に対する n 個(3 個)の a(i) の値はベクトル Xa の要素である。
同様に n 個(3 個)ある b(i) の値はベクトル Zb の要素である。
ここですべての i の値について最も相関が高くなるような二つの線形結合 a(i), b(i) を求
める。こうして得られる二つの線形結合 a(i), b(i)を正準変数と呼ぶ。
初めに与えられた変数は中心化されている。
→得られる線形結合も中心化されている。
つまり相関係数は変数の尺度（測定単位）に依存しない。
→これら二つの線形結合は単位分散（分散=1）になるという制約が生じる。
a(i)のすべての値の分散を var(a) で表すと
var a  
1 n 2
1
1

a i    Xa  Xa  aX Xa

n i1
n
n
(3.6)
同様に
1
var b   bZ Zb
n
(3.7)
となる。この状況の下では a(i) と b(i) の相関係数は単なる共分散となる。
なぜ？
共分散の値を各変数（ここでは a(i)と b(i)）の標準偏差の積で割ったものが相関係数
すなわち
cova, b  
1 n
 ai bi 
n i1
(3.8)
あるいは次のようになる。
cova, b  
1
 Xa  Zb  1 aX Zb
n
n
(3.9)
上記が相関係数と同値となるので、これの最大化問題を考える。また n は正の定数であ
るので最大化問題においては省く。
よって制約条件（分散が 1）
aX Xa  1

bZ Zb  1 （実際は=n だが、後に微分して 0 になるからどうでもいい）
のもとで
aX Zb
を最大化するようなベクトル a,b 求めればよい。
1.2 正準変数の計算
制約条件のある極値問題なので毎度の如く Lagrange の未定乗数法を用いる。
L  aX Zb   aX Xa  1   bZ Zb  1
(3.10)
を最大化する。これまた例の如く偏微分して 0 とおく。
（転置行列の性質より□に注意）
L

 X Zb  2X Xa  0 

a

L

 Z Xa  2Z Zb  0　
b
(3.11)
X Zb  2X Xa 

Z Xa  2Z Zb　
(3.11)’
aX Zb  2aX Xa 

bZ Xa  2bZ Zb　
aX Xa  bZ Zb  1 であるので
aX Zb  2 

bZ Xa  2　
ここで制約条件
となる。
さらに転置行列の性質から aX Zb  bZ Xa なので

であることが言える。
(3.12)
(3.13)
λ=μまで言えた。ここで
  2
(3.14)
とすると、上記の(3.11)’式は次のように書き換えることができる。
X Zb  2X Xa 

Z Xa  2Z Zb　
X Zb  X Xa
(3.11)
(3.15)
Z Xa  Z Zb
(3.16)
この方程式を解くには X’X と Z’Z の二つの行列が正則でなければならない。
（AX=XA=I, X=A-1 のやつ）
(3.15)式を[ベクトル a=]の形に変形し、(3.16)式に代入すると
X Zb  X Xa
1

X X  X Zb
a

Z X
(3.15)
を(3.16)式に代入
 X X 1 X Zb  Z Zb

1
Z X  X X  X Zb   2 Z Zb
(3.17)
さらに
Z Z 1 Z X  X X 1 X Zb   2b
となり、この式はベクトル b が
Z Z 1 Z X  X X 1 X Z
(3.18)
の最大固有値β2 に対する固有ベクトルであることを示している。
（Ax=λx の形）
ここでβ2 は線形結合 a と b との相関係数の 2 乗である。
(3.9)式より共分散 cova, b  
1
aX Zb が相関係数と同値になることは説明した。
n
n は正の定数であるので最大化問題においては省くことも説明した。
(3.13)式より aX Zb  2 とした。
(3.14)式より   2 と定義した。
→よってβ2 は線形結合 a と b との相関係数の 2 乗である。
このβ2 は第 1 正準根あるいは二つの変数の間の第 1 正準相関係数の 2 乗である。
a は(3.15)式と b から求められるが(3.17)式と同じ方法で、次の(3.19)式から直接求めるこ
ともできる。
X Zb  X Xa
(3.15)
Z X  X X  X Zb   2 Z Zb
(3.17)
X Z Z Z  Z Xa   2 X Xa
(3.19)
1
1
以上の結果は次のように一般化することができる。すなわちこの固有ベクトルは（固有
値の小さい順に並べてあるが）
、2 組の変数群の各郡内では、それぞれが線形結合で無相関
でなければならないという条件のもとで、線形結合自身の間の相関が最も高くなるような
一組の線形結合に対応する。
(a) 重回帰分析との関係
行列 Z を列がひとつだけの行列とする。(つまり q=1）このとき、b はただ一つの要素か
らなるので、それをそのまま b とする。この場合は、Z’Z はスカラーで(3.17)式は次のよう
になる。
1
Z X  X X  X Zb   2 Z Zb
2 
Z X  X X  X Z
Z Z
(3.17)
1
(3.20)
 2 は行列 Z の列（つまり、外生変数あるいは目的変数）と行列 X の各列（つまり内生変
数あるいは説明変数）との間にある相関係数である。
この場合、(3.15)式は次のように表される。
X Zb  X Xa
a
b

 X X 1 X Z
(3.15)
(3.21)
この式は、ベクトル a が p 個の変数（行列 X の列）によって変数 Z を説明する重回帰式
の係数（係数 b
 ）のベクトルに比例することを示している。
実際、標準化についての制約条件により
1
Z Z
であるので係数 b  は簡単に求められる。
b
(3.22)
(b) 幾何学的解釈
方程式(3.15)、(3.16)は以下のように書き換えられる。
X Zb  X Xa
Z Xa  Z Zb
a
b
1

1

Xa 
Zb 
いま
,
(3.15)
(3.16)
 X X 1 X Zb
(3.23)
Z Z 1 Z Xa
(3.24)
1

1

X  X X  X Zb
(3.25)
Z Z Z  Z Xa
(3.26)
1
1
を、それぞれ X,Z の列によって生成される n 次元空間 R 内の線形部分区間と
n
呼ぶことにする。線形結合 a,b は、その座標値がそれぞれベクトル Xa,Zb の要素であるよ
うな
内の点と内の点を定義する。対称でかつベキ等な行列
PX  X  X X  X 
(3.27)
PZ  Z Z Z  Z 
(3.28)
1
1
は、それぞれ
,
の射影演算子※である。言い換えれば(3.25)式と(3.26)式は各ベクトルが、
互いの射影に共線的であることを示している。これは図 3.1 を見るといい。
※ベクトルなどのある方向成分を取り出す写像のこと
ベクトル Xa,Zb は単位ベクトルであるから上記の
(3.25),(3.26)式から(3.29)式となるのがわかる。
（わからん）
Xa 
Zb 
1

1
X  X X  X Zb
(3.25)
Z Z Z  Z Xa
(3.26)
1
1

  cos   cos Xa, Zb
こうして第 1 正準根β2 は部分空間
(3.29)
,
の間の最小角の余弦の 2 乗であることがわかる。
これらの幾何学的な考察を念頭に(3.25)式と(3.26)式を直接書くことができ、したがって
正準変数を直接計算することができる。たとえば(3.26)式では Xa は(3.25)式から得られる値
で置き換えられる。
(c) 特異行列の場合
P5 にて「この方程式を解くには X’X と Z’Z の二つの行列が正則でなければならない」と
あったが、X’X と Z’Z が正則でない場合を考える。たとえば Z’Z を考える。
特異であるとは、大きさが(n,q)次の行列 Z が q より小さいランク（階数）を持つという
ことである。ここで、その階数を q－s としておく。
回帰の問題と同じように、方程式系(3.15),(3.16)を解くには、次の二つの方法がある。
X Zb  X Xa
Z Xa  Z Zb
(3.15)
(3.16)
1．n 次元空間 R において、Z によって生成される q－s 次元の部分空間の一つの基底
n
を選ぶ。この基底はある行列 Z*の q－s 列によって記述される(Gram-Schmidt の直交化に
よるか、Z の通常の解析法によって得られる直交基底を選べば良い)。そして、計算をする
際にはベクトル Zb は Z*b*に置き換えられる。ここで b*は q－s 個の要素からなるベクトル
である。ここで行列 Z*’Z*は可逆行列である。
2．一般化線形モデルの場合にしばしば行われるように
ない（フルランクの）行列の Z0 がつくられる。
＜まだあるが、ここでは割愛する＞
となるように階数退化の

Download Report