最小二乗法
ＣＳ ２００３ 狩野
最小二乗法
1
正規分布（normal distribution）
測定値の分布
y
0.4
測定値xが得られる確率P(x)
頻度分布→確率分布
この分布曲線を描くには無限個の
測定値が必要
有限個の測定値から推定
中心極限定理（central limit
theorem）
互いに無関係かつランダムに生じる小
さな値の総和は正規分布(ガウス分布)
になる
平均値 m、標準偏差σ
区間[m-σ,m+σ]内に入る確率が
0.683≒2/3
ＣＳ ２００３ 狩野
最小二乗法
その測定値が
出現する確率
0.3
0.2
0.1
-3
-2
-1
1
2
3
x
測定値（σで割ったもの）
P( x ; m, )
1
2 2
e
( x m )2
2 2
2
分散：測定の精度を推定する
仮定
どの測定値も同じ信頼度
標本（sample）
標本平均
（sample mean）
不偏分散
N個の測定値の集合
(adjusted variance)
分散が大きい→ばらつく
N=1のとき0/0
測定精度の推定
N 個の測定値：
x1 , x2 ,
, xN
標本平均
N
1
N
x1 x2
xN
1
N
x
i 1, N
i
不偏分散
1
2
(
x
)
i N
N 1
2
N
不偏分散の平方根 σN
ＣＳ ２００３ 狩野
最小二乗法
3
真値の信頼性
測定値（平均値）からの推定
標本のとり方で異なる
標本平均
非常に大きな N の場
合には
分布が決定し
平均値が決定する
x1 , x2 ,
N
1
N
x
「標本平均μN を真の
値 mとする」ことの信
頼性（＝測定値の信頼
性）は N に依存する
i
1
2
(
x
)
i N
N 1
N
N
, xN
N
N
m N
N
N
2/3の確率で言える m の範囲
（天下り）
m N N
N
95%の信頼区間→ ｘ １．９６
ＣＳ ２００３ 狩野
最小二乗法
4
いかにして、もっともらしい直線をひくか？
量(x,y)の間に
y = a0 + a1x
という関係がある
測定により a0 と a1 を決める
測定値 (x1,y1)， (x2,y2)，…
どの測定も互いに影響しあわな
い（独立）
測定値のばらつきは正規分布
（ランダム）
ＣＳ ２００３ 狩野
最小二乗法
5
測定値の組を得る確率
σ
しじ狭確
や測く率が
す定。分小
い値い布さ
け
がつ
ものれ
再同幅
現 がば
確率の総和
＝全面積＝１
１個の観測値(xi,yi)を得る確率
正規分布
P[( xi , yi )]
1
2 i2
e
( yi a0 a1xi )2
2 i2
0.1
-4
-2
2
, ( xN , y N )] P[( x1 , y1 )] P[( x2 , y2 )]
ＣＳ ２００３ 狩野
0.3
変数xiに対して
真にあるべき
y = a0 + a1xi
0.2
N個の観測値の組｛(xi,yi), i=1,…,N}
を得る確率（独立事象の積）
P[( x1 , y1 ), ( x2 , y2 ),
0.4
1
(2 ) N i2
最小二乗法
4
P[( xN , y N )]
2
1
yi a0 a1 x1
2
2
i 1, N
i
e
6
最小二乗法のアイデア
パラメータの決定法
測定結果は、起こるべくして起きた P[( x , y ), ( x , y ),
1
1
2
2
測定結果を与える確率が最大と
なっていた
2
(2 )
2
1
yi a0 a1 x1
2
2
i 1, N
i
1
N
, ( xN , y N )]
2
i
e
( yi a0 a1 xi )2
i 1, N
i2
が最小値を と る よ う な(a0 , a1 ) 残差の二乗に信頼度の重みをつけて
和をとり、これを最小にすることで、
最適なパラメータを得る方法が
最小二乗法である
ＣＳ ２００３ 狩野
最小二乗法
7
パラメータの決定：偏微分
極小をあたえる
パラメータの条件
2
i 1, N
( yi a0 a1 xi ) 2
i2
y a a x
2
2 i 0 2 1 i 0
a0
i
i 1, N
yi a0 a1 xi xi
2
2
0
2
a1
i 1, N
i
1
1
1
1
a
x
a
y
i 2 1 i 2
2 0
i
i 1, N
i
i 1, N
i 1, N i
この連立方程式
1
1
1 （正規方程式という）
2
x
a
x
a
x
y
i 2 0 i
i i 2
2 1
i を満たすパラメータ
i 1, N
i
i
i 1, N
i 1, N
を求める
ＣＳ ２００３ 狩野
最小二乗法
8
どの測定値も等く信頼できるとき
1
1
1
1
a
x
a
y
i 2 1 i 2
2 0
i
i 1, N
i
i 1, N
i 1, N i
1
1
1
2
x
a
x
a
x
y
i 2 0 i
i i 2
2 1
i
i 1, N
i
i
i 1, N
i 1, N
i 一定
N a0 xi a1 yi
N xi yi xi yi
i
1,
N
i
1,
N
a1
2
2
N xi
xi
2
xi a0 xi a1 xi yi
i 1, N
i 1, N
i 1, N
a 1
yi a1 xi
0
N
ＣＳ ２００３ 狩野
最小二乗法
2
x
i yi xi xi yi
N xi2 xi
2
9
用語
a1
a0
平均（ 期待値） ：
分散：
共分散：
N xi yi xi yi
N xi2 xi
2
1
yi a1 xi
N
xi2 yi xi xi yi
1
xi mx
N
2
1
N xi2 xi
E[ y ] yi my
N
1
S x2 ( xi mx )2 E[( x mx ) 2 ] E[ x 2 mx x mx 2 ] E[ x 2 ] E[ x]2
N
1
S y2 ( yi my )2 E[( y my ) 2 ] E[ y 2 ] E[ y ]2
S xy
N
a1 2
1
Sx
S xy ( xi mx )( yi my )
N
E[( x mx ) ( y my )] E[ xy ] mx E[ y ] my E[ x] mx my
E[ x]
E[ xy ] E[ x]E[ y ]
相関係数： R
ＣＳ ２００３ 狩野
最小二乗法
S xy
Sx S y
10
直線回帰の相関係数
Ｒ～０
a1
R
ＣＳ ２００３ 狩野
Ｒ～１
S xy
S x2
Ｒ～－１
S xy
Sx S y
a1
Sy
Sx
最小二乗法
11
非線形モデル
MP次元のパラメータ空間内を
探索して最小値を見いだす
yi f ( xi ,{am })
2
i 1
i
N
2
2
MP個の非線形連立方程式を解く
N
yi f ( xi ,{am }) f
2
0
0, m 1, 2,
2
am
i
i 1
am
ＣＳ ２００３ 狩野
最小二乗法
,MP
12
© Copyright 2024 ExpyDoc
