最小二乗解

最小二乗解の算出
極値を求める連立方程式の解
最小二乗法
誤差の二乗和を
偏微分し
極値を求める
求めている直線
yˆ i    xi
誤差
ei  yi  yˆ i
 yi    xi
誤差の二乗和
n
n
 e   y
i 1
2
i
i 1





x
i
i
2
誤差の二乗和を展開
n  
2
 x   2  x 
n
2
i 1
n
n
2
i
i 1
n
i
n
 
 2   yi   2    xi yi    y
i 1
i 1
i 1
2
i
誤差の二乗和の一次導関数
f
 2n  2    xi   2  yi 

i 1
i 1
n
n
f
2
 2   xi   2   xi   2  xi yi 

i 1
i 1
i 1
n
n
n
連立方程式の解
最小二乗解の算出
最小値の算出方法
• 誤差の二乗は非負なので誤差の二乗和もま
た非負となる
• 誤差の二乗和の一次導関数が「0」となる点
は誤差が最小となる点となる。
• 具体的な計算方法は一次導関数を「＝０」と
して連立方程式を解けばよい。
問題
以下の連立方程式を,に関して解け
n
n

0  2n  2  xi   2  yi 

i 1
i 1

n
n
n
2
0  2 x   2
xi  2 xi yi 


i

i 1
i 1
i 1
 
最小二乗解（）
 x   y    x y  x 
n

i 1
n
2
i
i 1
n
i
n
i 1
i
i


n x     xi 
i 1
 i 1

n
n
2
i
i 1
2
i
最小二乗解（）

n
n
n
i 1
i 1
i 1
n xi yi    xi   yi 


n x     xi 
i 1
 i 1

n
n
2
i
2

Download Report