一次導関数

誤差の二乗和の一次導関数
偏微分
最小二乗法
誤差の二乗和を
最小化する
パラメータを推定する
微分と導関数
準備
3
微分とは
y  f x 
a  h, f a  h
f a  h   f a 
h
a, f a
h
f a  h  f a 
a  h, f a
4
hを限りなく小さくした値が微分係数
f a  h   f a 
lim
h 0
h
hを限りなく０に近づけた時に、値をとるならば、この
関数はaで微分可能と言い、x=a の微分係数という。
微分係数の値はaの値が変化すると変わる。した
がって与式はaの関数である。そこでaをxで置き換え
た式を導関数という。
導関数はまたxの関数であるため、さらに微分するこ
とも可能。１度微分した関数を１次導関数といい、１
次導関数を微分したものを２次導関数と呼ぶ。
5
f(x) = x の導関数

x  h  x
lim
h 0
h
xhx
 lim
h 0
h
h
 lim  1
h 0 h
6
f(x) = x2 の導関数

x  h
lim
2
h 0
x
2
h
x  2 xh  h  x
 lim
h 0
h
2
2 xh  h  lim 2 x  h 
 lim
h 0
h 0
h
 2x
2
2
2
7
f(x) = c の導関数
cc
lim
h 0
h
0
 lim  0
h 0 h
8
f(x) +g(x) の導関数

f  x  h   g  x  h    f  x   g  x 
lim
h 0
h
f x  h   f x   g x  h   g x 
 lim
h 0
h
f x  h   f x 
g x  h   g x 
 lim
 lim
h 0
h 0
h
h
9
af(x) の導関数
af  x  h   af  x 
lim
h 0
h
f x  h   f x 
 lim a
h 0
h
f x  h   f x 
 a lim
h 0
h
10
偏微分
f x1 , x2   ax  bx1 x2  cx  dx1  ex2
2
1
2
2
のように変数が複数ある関数を微分することを考える。ここでx1だ
けが微小に変化する場合を考える。
つまり、(a,b)から(a+Δx1,b)へ変化したときのf(x1,x2)の変化率を求
める。この値を偏微分係数と呼ぶ。
偏微分係数は(a,b)の関数なのでこれらの関数を偏導関数とよぶ。
f
f a  x1 , b   f a, b 

x1
x1
実際に計算するときは、x1で偏微分するときにx2は一定であるとし
て計算すればよい。
11
極値を求める
誤差の二乗和の一次導関数
誤差の二乗和の式
（再掲）
n
e
i 1
2
i
n
 n 2

2
2
2
  yi   n     xi 
 i 1 
 i 1 
 n 
 n

 n 
 2   yi   2   xi yi   2   xi 
 i 1 
 i 1

 i 1 
13
関数の最小化と極値
n
n
 e   y
i 1
2
i
i 1
 yˆ i 
2
i
誤差の二乗和は非負値なので、この
値を最小化するパラメータは１次導関
数を0とおいて連立方程式を解けばよ
い。
14
問題
以下の式をとで偏微分せよ



2
n     xi   2   xi 
 i 1 
 i 1 
n
n
2
2
 



2
 2   yi   2   xi yi     yi 
  i 1 
 i 1
 i 1 
n
n
n
15
答え
f




 2n  2  yi   2   xi 

 i 1 
 i 1 
n
n
f





2
 2   xi   2  xi yi   2   xi 

 i 1   i 1

 i 1 
n
n
n

Download Report