スライド

平成 26 年度計量経済学 I
第 4 回「単回帰モデルと最小二乗法」 .
原尚幸
.
新潟大・経済
http://www.econ.niigata-u.ac.jp/˜hara/ecm1/
[email protected]
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
Oct 28, 2014
1 / 20
ケインズの消費関数
300000
1
250000
2
.
消費 (Yi ) は可処分所得
(Xi ) に比例
.
平均消費性向は可処分所得に反比例
.
150000
200000
貯蓄割合が可処分所得に比例
.
.
100000
⇓
50000
1 次式に定式化：
..
Yi = β0 + β1 Xi + i
0
Consumption(JP Yen)
経済理論
0
50000
100000
150000
200000
250000
300000
350000
Income(JP Yen)
1955 年∼1997 年の日本における
可処分所得と消費の関係
H. Hara (Niigata U.)
i = 1955, . . . , 1997
β0 > 0, β1 > 0
i は誤差項 (所得以外の消費の要因)
β0 , β1 をデータから推定したい
単回帰モデルと最小二乗法
Oct 28, 2014
2 / 20
ケインズの消費関数
300000
1
250000
2
.
消費 (Yi ) は可処分所得
(Xi ) に比例
.
平均消費性向は可処分所得に反比例
.
150000
200000
貯蓄割合が可処分所得に比例
.
.
100000
⇓
50000
1 次式に定式化：
..
Yi = β0 + β1 Xi + i
0
Consumption(JP Yen)
経済理論
0
50000
100000
150000
200000
250000
300000
350000
Income(JP Yen)
1955 年∼1997 年の日本における
可処分所得と消費の関係
H. Hara (Niigata U.)
i = 1955, . . . , 1997
β0 > 0, β1 > 0
i は誤差項 (所得以外の消費の要因)
β0 , β1 をデータから推定したい
単回帰モデルと最小二乗法
Oct 28, 2014
2 / 20
単回帰モデル
単回帰モデル
データ (Y1 , X1 ), . . . , (Yn , Xn ) に対し , モデル
Yi = β0 + β1 Xi + i ,
i = 1, . . . , n
.
を単回帰モデルという
i : 個人, 企業, 時点などを表す添字
Yi : 被説明変数 (従属変数)
Xi : 説明変数
.
Yi が Xi の関数 ⇔ Yi の変動を Xi で説明
i : 誤差項
Xi 以外の変数の影響による変動
観測誤差
誤差項は確率変数
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
Oct 28, 2014
3 / 20
単回帰モデル
単回帰モデル
データ (Y1 , X1 ), . . . , (Yn , Xn ) に対し , モデル
Yi = β0 + β1 Xi + i ,
i = 1, . . . , n
.
を単回帰モデルという
β0 : 定数項 (切片)
β1 : 回帰係数
β0 , β1 は未知のパラメータ
β0 , β1 ともに回帰係数という流儀もある
.
β0 + β1 Xi : 母回帰直線 or 母回帰直線
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
Oct 28, 2014
3 / 20
単回帰モデルの性質
単回帰モデル
Yi = β0 + β1 Xi + i ,
i = 1, . . . , n
モデルの性質
直線に誤差が加法的に (足し算の形で ) のったモデル
β1 が正 ⇒ Yi と Xi は比例的
β1 が負 ⇒ Yi と Xi は反比例的
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
Oct 28, 2014
4 / 20
問題
問題
β0 , β1 をデータ Y1 , . . . , Yn , X1 , . . . , Xn の関数 b0 , b1 で
.
それぞれ推定したい
⇒ どのように推定すればよいか？
⇓
.
6000
4000
Consumption(US dollar)
0
2000
もっともデータにあてはまりがよい
b0 , b1 を β0 ,β1 の推定量とする
8000
10000
戦略
2000
4000
6000
8000
Income(US dollar)
H. Hara (Niigata U.)
. 単回帰モデルと最小二乗法
10000
.
0
Oct 28, 2014
5 / 20
問題
問題
β0 , β1 をデータ Y1 , . . . , Yn , X1 , . . . , Xn の関数 b0 , b1 で
.
それぞれ推定したい
⇒ どのように推定すればよいか？
⇓
.
6000
4000
Consumption(US dollar)
0
2000
もっともデータにあてはまりがよい
b0 , b1 を β0 ,β1 の推定量とする
8000
10000
戦略
2000
4000
6000
8000
Income(US dollar)
H. Hara (Niigata U.)
. 単回帰モデルと最小二乗法
10000
.
0
Oct 28, 2014
5 / 20
あてはめ値と残差
あてはめ値：Yˆi := b0 + b1 Xi
10
直線上の×印
6
y
※ 誤差と残差の違いに注意
0
Yi = β0 + β1 Xi + i
= b0 + b1 Xi + ei
2
4
オレンジの点線
推定量と実測値 Yi の距離
誤差 i の推定量
8
残差 ei： ei := Yi − (b0 + b1 Xi )
0
2
4
6
8
10
x
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
Oct 28, 2014
6 / 20
あてはめ値と残差
あてはめ値：Yˆi := b0 + b1 Xi
10
直線上の×印
6
y
※ 誤差と残差の違いに注意
0
Yi = β0 + β1 Xi + i
= b0 + b1 Xi + ei
2
4
オレンジの点線
推定量と実測値 Yi の距離
誤差 i の推定量
8
残差 ei： ei := Yi − (b0 + b1 Xi )
0
2
4
6
8
10
x
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
Oct 28, 2014
6 / 20
最小二乗法
最小二乗法 (Ordinary Least Squares)
残差二乗和
Se2
:=
n
∑
i=1
e2i
=
n
∑
(Yi − b0 − b1 Xi )2
i=1
を最小にする b0 , b1 を用いて β0 , β1 を推定する手続きのことを
最小二乗法 (OLS 法) と言う.
また結果得られる推定量 b0 , b1 を最小二乗推定量 (OLS estimator :
OLSE) と言う
.
OLSE はどうやって求めればよいか？
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
Oct 28, 2014
7 / 20
凸関数の最小化
凸関数 f (x)：図のような関数
凸関数の最小化
⇒ f (x) の微分が 0 になる点
5
微分 ⇔ 接線の傾き
e2i =
i=1
3
y
n
∑
(Yi − b0 − b1 Xi )2
i=1
2
n
∑
1
Se2 :=
4
残差二乗和
0
も b0 , b1 に関する凸関数
−1
Se2 の最小化
⇒ Se2 の微分が 0 になる b0 , b1 を
求めればよい
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
0
1
2
3
x
Oct 28, 2014
8 / 20
凸関数の最小化
凸関数 f (x)：図のような関数
凸関数の最小化
⇒ f (x) の微分が 0 になる点
5
微分 ⇔ 接線の傾き
e2i =
i=1
3
y
n
∑
(Yi − b0 − b1 Xi )2
i=1
2
n
∑
1
Se2 :=
4
残差二乗和
0
も b0 , b1 に関する凸関数
−1
Se2 の最小化
⇒ Se2 の微分が 0 になる b0 , b1 を
求めればよい
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
0
1
2
3
x
Oct 28, 2014
8 / 20
正規方程式
正規方程式
OLSE b0 , b1 は
∑
∂Se2
= −2
(Yi − b0 − b1 Xi ) = 0,
∂b0
n
i=1
∂Se2
∂b1
= −2
n
∑
(Yi − b0 − b1 Xi )Xi = 0,
i=1
すなわち,
n
∑
(Yi − b0 − b1 Xi ) = 0,
i=1
n
∑
(Yi − b0 − b1 Xi )Xi = 0
i=1
.
の解で与えられる. この連立方程式を正規方程式と呼ぶ
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
Oct 28, 2014
9 / 20
正規方程式の解 = OLSE
正規方程式
n
∑
(Yi − b0 − b1 Xi ) = 0,
n
∑
(Yi − b0 − b1 Xi )Xi = 0
i=1
i=1
∑
1∑
¯= 1
Y¯ =
Yi , X
Xi とする
n
n
n
n
i=1
i=1
そのとき正規方程式の解, すなわち OLSE は
∑n
¯
(Y − Y¯ )(Xi − X)
¯
¯
∑n i
b0 = Y − b1 X, b1 = i=1
¯ 2
i=1 (Xi − X)
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
Oct 28, 2014
10 / 20
OLSE の性質
∑n
OLSE
b1 =
(Y − Y )(Xi −
i=1
∑n i
¯ 2
i=1 (Xi − X)
¯
¯
X)
∑n
¯
(Yi − Y¯ )(Xi − X)
SXY := i=1
: Xi と Yi の共分散
n
∑n
¯ 2
(Xi − X)
2
SX
:= i=1
> 0 : Xi の分散
n
これらを用いると
b1 =
SXY
2
SX
Xi と Yi が正の相関を持つと (比例的だと) b1 > 0
Xi と Yi が負の相関を持つと (反比例的だと ) b1 < 0
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
Oct 28, 2014
11 / 20
OLS 残差
OLS 残差
OLSE に対する残差 ei = Yi − b0 − b1 Xi を OLS 残差と言う..
.
1
8
n
∑
10
OLS 残差 ei は
ei = 0
n
∑
ei Xi = 0
2
2
4
y
6
i=1
.
0
i=1
を満たす.
0
2
4
6
8
10
x
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
Oct 28, 2014
12 / 20
単回帰モデルへの仮定
単回帰モデルに以下の仮定をする
1
説明変数 Xi は非確率的 (確定的)
Yi を観測するときに, Xi は与えられている
ex) 消費をするときには所得が与えられている
2
誤差項の期待値はゼロ E[i ] = 0
3
誤差項の分散は一定 (均一分散性)
E[Yi ] = β0 + β1 Xi
V [i ] = σ 2
4
誤差項は互いに無相関 (無相関性)
Cov[i , i0 ] = 0,
5
i 6= i0
誤差項は正規分布に従う (正規性)
i は i.i.d. で正規分布 N (0, σ 2 ) に従う
iid
i ∼ N (0, σ 2 )
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
Oct 28, 2014
13 / 20
OLSE の最適性
OLSE
データに対して最もあてはまりのよい推定量
残差 2 乗和最小化の解
OLSE b0 , b1 はよい推定量か？
20.5
2.90
2.95
20.3
20.4
log(Electric Demand)
3.10
3.05
log(Copper Demand)
3.00
6000
4000
2000
0
Consumption(US dollar)
8000
3.15
20.6
3.20
10000
OLSE b0 , b1 が真の値 β0 , β1 にどれくらい近いか？
⇓
実はかなりよい推定量であるということが知られている
0
2000
4000
6000
8000
Income(US dollar)
H. Hara (Niigata U.)
10000
2.3
2.4
2.5
2.6
log(GDP)
単回帰モデルと最小二乗法
2.7
12.95
13.00
13.05
13.10
13.15
13.20
log(GDP)
Oct 28, 2014
14 / 20
OLSE の統計的性質
性質 1. 不偏性
OLSE は不偏推定量である
E[b0 ] = β0 ,
E[b1 ] = β1
.
OLSE は平均的には真の値をとる
そこそこ真の値と近い値をとることが期待できる
単回帰モデルの OLSE の不偏性の証明はおぼえましょう
.
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
Oct 28, 2014
15 / 20
いくつかの公式 (重要)
1
2
E[Yi ] = E[β0 + β1 Xi + i ]
= E[β0 ] + E[β1 Xi ] + E[i ]
= β0 + β1 Xi
∑n
¯
¯
¯
i=1 (Xi − X) = nX − nX = 0
∑
¯= 1
Xi
X
n i=1
n
3
∑n
i=1 (Xi
¯ 2 = ∑n Xi (Xi − X)
¯ − ∑n X(X
¯ i − X)
¯
− X)
i=1
i=1
∑n
¯
=
Xi (Xi − X)
∑
¯= 1
X
Xi
n i=1
i=1
n
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
Oct 28, 2014
16 / 20
b1 の不偏性について
b1 は
∑n
b1 =
(Y − Y )(Xi −
i=1
∑n i
¯ 2
i=1 (Xi − X)
∑n
=
=
¯
i − X) −
i=1 Yi (X∑
n
i=1 (Xi
∑n
¯
Yi (Xi − X)
∑i=1
n
2
¯
i=1 (Xi − X)
¯
¯
X)
∑n
−
¯ (Xi − X)
¯
i=1 Y
¯ 2
X)
のように変形できる
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
Oct 28, 2014
17 / 20
b1 の不偏性について
E[b1 ] は
[ ∑n
¯ ]
i=1 Yi (Xi − X)
∑
E[b1 ] = E
n
¯ 2
i=1 (Xi − X)
∑n
¯
i=1 E[Yi ](Xi − X)
= ∑
n
2
¯
i=1 (Xi − X)
∑n
¯
(β0 + β1 Xi )(Xi − X)
= i=1 ∑n
¯ 2
i=1 (Xi − X)
∑
¯ + β1 ∑n Xi (Xi − X)
¯
β0 ni=1 (Xi − X)
i=1
∑n
=
¯ 2
i=1 (Xi − X)
∑
¯ 2
β1 ni=1 (Xi − X)
∑
=
n
¯ 2
i=1 (Xi − X)
= β1
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
Oct 28, 2014
18 / 20
b0 の不偏性について
¯
b0 は b0 = Y¯ − b1 X
E[b0 ] は
¯
E[b0 ] = E[Y¯ − b1 X]
¯ 1]
= E[Y¯ ] − E[Xb
¯
= E[Y¯ ] − XE[b
1]
¯ 1 ] − XE[b
¯
= E[β0 + Xβ
1]
¯ 1 − Xβ
¯ 1
= β0 + Xβ
= β0
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
Oct 28, 2014
19 / 20
OLSE の統計的性質 2
性質 2
b0 , b1 の分散 V [b0 ], V [b1 ] は
∑n
(
V [b0 ] =
n
∑n
2
i=1 Xi
i=1 (Xi
)
¯ 2
− X)
σ2
σ2
¯ 2
i=1 (Xi − X)
V [b1 ] = ∑n
.
iid
i ∼ N (0, σ 2 ) であることと, 先週の分散の公式を駆使して,
地道に計算すると出てくる
(定数) × (誤差分散σ 2 )
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
.
Oct 28, 2014
20 / 20

Download Report