問題１クラス間分散
x2
問題１クラス間分散
p2
θ
x1
軸を
回転
狭い
mx1,A mx1,B
x2
p1
mA
mx2,A →
mx2,B →
mp1,A mp1,B
クラス間分散を
最大化する θ は？
All Rights Reserved / M.Iwahashi / Nagaoka University of Technology
↑
↑
mx1,B
mx1,A
 p1,c (n) 
 x1,c (n) 
 p (n)  R ( )  x (n),
 2, c 
 2, c 
cos   sin  
R ( )  
,
cos  
 sin 
軸を
回転
c  { A, B}
↑
mp1,A
↑
mp1,B
p1
クラス間分散
m p1, A  m p1,B 2
を最大化する θ は？
All Rights Reserved / M.Iwahashi / Nagaoka University of Technology
問題１の解答例
各クラスの平均
クラス間分散は

 m x1,c 
m x,c  
, c  { A, B}
m
x
2
,
c


Btw
但し、
 p1,c (n) 
 x1,c (n) 
cos 
 p (n)  R ( )  x (n), R ( )  
 sin 
 2, c 
 2, c 
 sin  
cos  
と回転することで

2
(1)
m p1, A  m x1, A cos   m x1, A sin 

m p1, B  m x1, B cos   m x1, B sin 
(2)
 m p1, A  m p1, B
である。このとき、
 m p1, A 
m p ,c  
  R ( )  m x,c , c  { A, B}
 m p 2, A 
となる。「クラス間分散」
θ
x1
問題１
は軸を
mp2,B →
mB
広くする
クラス間
分散
p2
m p1, A  m p1,B 2
All Rights Reserved / M.Iwahashi / Nagaoka University of Technology
を最大とする θ を求めよ。



Btw

  m p1, A  m p1, B   0
 2 m p1, A  m p1, B 
を満たす θ を求めればよい。
All Rights Reserved / M.Iwahashi / Nagaoka University of Technology
(3)
問題１の解答例
問題１の解答例
(2)より
以上より
m x1 cos   m x 2 sin   0 or
m p1, A  m p1, B
 (m x1, A cos   m x 2, A sin  )  (m x1, B cos   m x 2, B sin  )
すなわち、
 (m x1, A  m x1, B ) cos   (m x 2, A  m x 2, B ) sin 
であり、


tan   
のとき、


m p1, A  m p1, B  m x1 cos   m x 2 sin 



m p1, A  m p1, B  m x1 sin   m x 2 cos 

 
or
m x1
m x 2
最大
or
最小
p2
mB
Δmx2,A
θ
mA
x1
mx1 cos  mx 2 sin  mx1 sin   mx 2 cos   0
Δmx1,A
All Rights Reserved / M.Iwahashi / Nagaoka University of Technology
θ
軸を
回転
↑
↑
mp1,B
mp1,A
p1
All Rights Reserved / M.Iwahashi / Nagaoka University of Technology
問題２クラス内分散
x2
問題２クラス内分散
p2
x2
θ
x1
軸を
回転
p1
狭くする
クラス内
分散
クラス内分散を
最小化する θ は？
All Rights Reserved / M.Iwahashi / Nagaoka University of Technology
m x 2
m x1
x2
なので、(3)より、
広い
m x1 sin   m x 2 cos   0
mx2,B →
p2
θ
↑
mp1,B
x1
↑
mx1,B
 x1,c (n) 
 p1,c (n) 
 p (n)  R ( )  x (n),
 2, c 
 2, c 
cos   sin  
R ( )  
,
cos  
 sin 
軸を
回転
クラス内分散
c  { A, B}
All Rights Reserved / M.Iwahashi / Nagaoka University of Technology
p1
1
N
N
 p
1, B ( n)  m p1, B
2
n 1
を最小化する θ は？
問題２の解答例
問題２の解答例
クラス内分散は
I
方程式は、
1
N
N
I

  p1,B (n)  m p1,B 
2

n 1
2
N
N
 p
1, B ( n)  m p1, B
n 1
   p1, B (n)  m p1,B   0
ここで、
但し、
p1, B (n)  m p1, B  ~
x1, B (n) cos   ~
x2, B (n) sin 


~
~
  p1, B (n)  m p1, B   x1, B (n) sin   x2, B (n) cos 
 p1, B (n)  x1, B (n) cos   x2, B (n) sin 

m p1, B  m x1, B cos   m x 2, B sin 

において、以下の方程式を満たす θ を求める。

但し、
x1, B (n)  x1, B (n)  m x1, B
 ~
~
 x2, B (n)  x2, B (n)  m x 2, B
I
0

All Rights Reserved / M.Iwahashi / Nagaoka University of Technology
All Rights Reserved / M.Iwahashi / Nagaoka University of Technology
問題２の解答例
問題２の解答例
以上より、
とくに、
x1, B (n) cos   ~
x2, B (n) sin  ~
x1, B (n) sin   ~
x2, B (n) cos    0
 ~
x12,B (n)  ~
x22, B (n) cos  sin   ~
x1, B (n) ~
x2, B (n) cos 2   sin 2   0
 ~
~2
~2
sin 2   cos 2   x1, B (n)   x2, B (n)

x1, B (n) ~
x 2, B ( n )
cos  sin 
 ~



tan  
R  R22
1
 11

R12
tan 
2
tan    tan   1  0
なので、
tan  
  4  2
2
All Rights Reserved / M.Iwahashi / Nagaoka University of Technology
R  R22
,   11
, R12  0
R12
x1, B (n) ~
x2, B (n)  0 ならば、
 ~
x 2 ( n)   ~
x 2 (n) cos  sin   0
 ~

【場合１】

1, B
2, B

  0 or  / 2
x1 (n) と x2(n) が無相関のとき、０°回転か、９０°回転
あるいは、
【場合２】
x12,B (n)   ~
x22, B (n) ならば、
 ~
(tan   1)(tan   1)  0
   / 4 or   / 4
x1 (n) と x2(n) の分散が同じとして、x1 (n) と x2(n) に
正の相関があれば＋４５°回転して
負の相関があれば－４５°回転する
All Rights Reserved / M.Iwahashi / Nagaoka University of Technology
【場合1】ｘ１とｘ２が無相関のとき
x2 p2
x2
０°回転
x1
x1 p2
９０°回転
x1
p1
←→
最小
p2
x2
θ1
mp1,B
軸を回転
↑
mx1,A
p1
↑
mx1,B
mp1,A
All Rights Reserved / M.Iwahashi / Nagaoka University of Technology
クラス内
分散が
最小
p2
θ2
mp1,B
→
最小
p2
負の相関
－４５°回転
p1
x1
All Rights Reserved / M.Iwahashi / Nagaoka University of Technology
クラス間分散とクラス内分散
x1
x1
θ=45°
p1
←
→
All Rights Reserved / M.Iwahashi / Nagaoka University of Technology
mx2,A
mx2,B
p2
正の相関
＋４５°回転
x2
θ=90°
x2
x2
x1
p1
最小 ←→
x2
【場合2】ｘ１とｘ２の分散が同じとき
p1
クラス間
分散が
最大
←最小