クラシックな機械学習の入門
付録１．数学の復習
行列の微分
行列式のlogの微分
対称行列の2次形式のtraceへの置き換え
ブロック行列の逆行列（Woodbury)
by 中川裕志（東京大学）
行列の微分
 x1 
 
x  
x 
 k
 f1 (x) 
 a1 


 
f (x)はスカラー f (x)     a    
とする。
 f ( x) 
a 
 m 
 k
f m (x) 
 f (x) 
 f1 (x)






x

x

x
1 
1
1

f (x) 
f (x) 
xT a aT x
  
 

 

a
x
x
x
x
f m (x) 
 f (x) 
 f1 (x)

 x 
 x
xk 
k
k




A, Bを matrixとする。
Tr ( AB)
Tr ( AB)
 B ji

 BT
Aij
A
f ( g x ) g x  f ( g x )
行列で微分する場合の chain rule 
x
x
g x 
行列で微分
 a11
A 

am1
f  A
 f  A
 a

a1n 

a
11
1n



f
A









A
f  A
 f  A
amn 
 am1
amn 
行列の積の微分、逆行列の微分
 ( AB ) A
B

B A
x
x
x
 ( AB )
B
 B A
 B(if A is independent on B )
A
A
A1 A  I
これを xで微分すると
A1
A
A  A1
0
x
x

A1
A 1
  A1
A
x
x

A1
A 1
  A1
A
A
A
A1 A  I
これを Aで微分すると
A1
A
A  A1
0
A
A
行列式のlogの微分

A 

log | A | Tr A 1

x
x 

exam ple:
a b 
A  
の場合の例は以下の通り
c d 
a b  

1
d
b
c 
 a
log 
a  c  b
  logad  bc 
 d
ad  bc  x x x x 
x
 c d  x

 a
 1  d  b  x
 Tr 


c
 ad  bc   c a 
 x

b 

x   Tr A 1 A 
d 
x 


x 
T

log | A | A 1 
A
exam ple:

log | A |
A

 





log
ad

bc
log
ad

bc


1

a

b





ad  bc  logad  bc
logad  bc
d
 c

1
 d  b    a b  
1


 

ad  bc   c a    c d  
T
線形代数学の役立つ公式
trace tr Tr
trace( AB)  trace( BA)
Aが対称行列なら
xT Ax  trace( Axx T )
共分散行列Σは対象で、正規分布では、xTΣxの計
算をすることが多く、そのときには必須。
ＡＩＣやＢＩＣなどの情報量基準の計算ではよく使う。
線形代数学の役立つ公式１
| AB || A || B |
 | A1 |
1
| A|
( A1 )T  ( AT ) 1
A, BはN  M行列のとき
| I N N  ABT || I M M  AT B |
N  1すなわち列ベクトル a, bのとき MatrixInversionLemma
| I N N  abT | 1  a T b
逆行列を求めるとき役 立つ公式
( P 1  BT R 1B ) 1 BT R 1  PBT ( BPBT  R ) 1
special case
1
( I  AB) A  A( I  BA)
1
P-1の計算が大変な
とき役立つ
Ｄ-1の計算が大変
なとき役立つ
逆行列を求めるとき役 立つ公式： Woodburyidentity
( A  BD1C ) 1  A1  A1B( D  CA1B ) 1 CA1
線形代数学の役立つ公式
| A |  (1) A1,i1 A2,i 2  AN ,iN
if
perm utaion(i1,..iN )  odd
then  1
 even then  1
| AB || A || B |
1
 | A |
| A|
1
線形代数学の役立つ公式
ブロック行列の逆行列
 A B


C D
where
1

M
 
1

D
CM


1

 MBD1

D 1  D 1CMBD1 
M  A  BD C

1
式( Matrix1 )
例えば、多次元正規分布の共分散
行列やその逆行列（精度行列）を求
めるときに必須