スライド

平成 27 年度計量経済学 I
第 4 回「単回帰モデルと最小二乗法」
原尚幸
.
.
新潟大・経済
http://www.econ.niigata-u.ac.jp/˜hara/ecm1/
[email protected]
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
May 11, 2015
1 / 25
はじめに
計量経済分析の目的
計量経済分析の目的
特定の経済変数の変動のメカニズムを実測値 (データ) を用いた定量
的手法によって解明すること .
変動の要因となる経済変数は何か？
要因となる変数とどのような関係にあるか？
.
Y : 興味ある経済変数
X : Y の変動の要因と考えられる変数
Y の変動は X のどのような関数で表わされるか？
.
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
May 11, 2015
2 / 25
はじめに
ケインズ消費関数の実証
ケインズの消費理論
ケインズの消費理論
1
消費 (Y) と可処分所得 (X) は比例的である
2
所得が増加したときに, 消費の量は所得ほどは増加しない .
所得が増加するにつれ , そのうちで消費に当てる割合は減少する.
3
貯蓄率が増加する.
.
興味
この理論は正しいのか？
消費は所得のどのような関数で表されるのか？
.
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
May 11, 2015
3 / 25
はじめに
ケインズ消費関数の実証
ケインズの消費関数
ケインズの消費関数
Y = β0 + β1 X
消費 (Y ) は所得 (X) の一次関数 (直線)
β0 : 所得 (X) が 0 円のときの消費
⇒ 基礎消費という
β1 : 所得 (X) が 1 単位増加したときの消費 (Y ) の増加分
⇒ 限界消費性向という
所得のうち消費にあてる割合
Y
β0
=
+ β1
X
X
⇒ 平均消費性向という
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
May 11, 2015
4 / 25
はじめに
ケインズ消費関数の実証
ケインズの理論と消費関数の関係
ケインズの消費関数
Y = β0 + β1 X
ケインズの理論との関係
1
消費 (Y) と可処分所得 (X) は比例的
⇔ β1 > 0
2
所得が増加するときに, 消費は所得ほど増加しない
⇔ β1 < 1
3
所得が増加するにつれ平均消費性向は減少
⇔ β0 > 0 ⇔ 基礎消費 > 0
.
β0
Y
=
+ β1
X
X
.
.
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
May 11, 2015
5 / 25
はじめに
ケインズ消費関数の実証
ケインズの理論の実証分析
ケインズの消費関数
Y = β0 + β1 X
β0 > 0, 0 < β1 < 1
興味
この理論が本当に成立しているのか？
β0 , β1 はどのような値か？
将来の消費はどのように推移することが予想できるか？
これらをデータを用いて実証してみたい
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
May 11, 2015
6 / 25
はじめに
ケインズ消費関数の実証
Y と X の関係は直線的
250000
しかも比例的
完全に直線的ではない
多少の誤差が存在
200000
Consumption(Billion JP Yen)
300000
ケインズの消費モデル
300000
350000
400000
450000
500000
550000
Disposable Income(Billion JP Yen)
所得以外の消費の変動要因
計測誤差 etc...
誤差を u とすれば ,
1980 年∼2009 年における日本の
実質民間消費支出 (縦軸)
Y = β0 + β1 X + u
実質国民可処分所得 (横軸)
単位：10 億円
出典：2009 年国民経済計算
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
May 11, 2015
7 / 25
はじめに
ケインズ消費関数の実証
Y と X の関係は直線的
250000
しかも比例的
完全に直線的ではない
多少の誤差が存在
200000
Consumption(Billion JP Yen)
300000
ケインズの消費モデル
300000
350000
400000
450000
500000
550000
Disposable Income(Billion JP Yen)
所得以外の消費の変動要因
計測誤差 etc...
誤差を u とすれば ,
1980 年∼2009 年における日本の
実質民間消費支出 (縦軸)
Y = β0 + β1 X + u
実質国民可処分所得 (横軸)
単位：10 億円
出典：2009 年国民経済計算
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
May 11, 2015
7 / 25
はじめに
ケインズ消費関数の実証
ケインズの消費モデル
250000
Xi : i 年目の所得
ui : i 年目の誤差
i = 1 : 1980 年
i = 2 : 1981 年
..
.
200000
Consumption(Billion JP Yen)
300000
Yi : i 年目の消費
300000
350000
400000
450000
500000
550000
Disposable Income(Billion JP Yen)
i = 30 : 2009 年
Yi と Xi の関係は
Yi = β0 + β1 Xi + ui ,
1980 年∼2009 年における日本の
実質民間消費支出 (縦軸)
i = 1, 2, . . . , 30
実質国民可処分所得 (横軸)
単位：10 億円
直線 + 誤差
出典：2009 年国民経済計算
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
May 11, 2015
8 / 25
はじめに
ケインズ消費関数の実証
ケインズの消費モデル
250000
i = 1, 2, . . . , 30
β0 と β1 は未知
.. ,
手元にある情報は
200000
Consumption(Billion JP Yen)
300000
ケインズの消費モデル
.
Yi = β0 + β1 Xi + ui ,
300000
350000
400000
450000
500000
550000
Disposable Income(Billion JP Yen)
1980 年∼2009 年における日本の
実質民間消費支出 (縦軸)
実質国民可処分所得 (横軸)
単位：10 億円
(X1 , Y1 ), (X2 , Y2 ), . . . , (X30 , Y30 ).
目的
データから β0 と β1 を推定した上で , ケイ
ンズ理論を検証したい .
出典：2009 年国民経済計算
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
May 11, 2015
9 / 25
はじめに
ケインズ消費関数の実証
ケインズの消費モデル
250000
i = 1, 2, . . . , 30
β0 と β1 は未知
.. ,
手元にある情報は
200000
Consumption(Billion JP Yen)
300000
ケインズの消費モデル
.
Yi = β0 + β1 Xi + ui ,
300000
350000
400000
450000
500000
550000
Disposable Income(Billion JP Yen)
1980 年∼2009 年における日本の
実質民間消費支出 (縦軸)
実質国民可処分所得 (横軸)
単位：10 億円
(X1 , Y1 ), (X2 , Y2 ), . . . , (X30 , Y30 ).
目的
データから β0 と β1 を推定した上で , ケイ
ンズ理論を検証したい .
出典：2009 年国民経済計算
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
May 11, 2015
9 / 25
はじめに
ケインズ消費関数の実証
ケインズの消費モデル
250000
i = 1, 2, . . . , 30
β0 と β1 は未知
.. ,
手元にある情報は
200000
Consumption(Billion JP Yen)
300000
ケインズの消費モデル
.
Yi = β0 + β1 Xi + ui ,
300000
350000
400000
450000
500000
550000
Disposable Income(Billion JP Yen)
1980 年∼2009 年における日本の
実質民間消費支出 (縦軸)
実質国民可処分所得 (横軸)
単位：10 億円
(X1 , Y1 ), (X2 , Y2 ), . . . , (X30 , Y30 ).
目的
データから β0 と β1 を推定した上で , ケイ
ンズ理論を検証したい .
出典：2009 年国民経済計算
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
May 11, 2015
9 / 25
単回帰モデル
単回帰モデル
単回帰モデル
n 個のデータ (X1 , Y1 ), (X2 , Y2 ), . . . , (Xn , Yn ) が与えられているときに,
Yi の変動を Xi の一次式 + 誤差であらわした以下のモデル
Yi = β0 + β1 Xi + ui ,
i = 1, 2, . . . , n
.
を単回帰モデルという
i : 時点, 個人, 企業などを表す添字 (i 番目の∼, 第 i∼)
Yi : 被説明変数 (従属変数)
Xi : 説明変数 (独立変数)
Yi の変動を Xi で説明
ui : 誤差項
.
Xi 以外の変数の影響による変動
観測誤差
確率変数とする
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
May 11, 2015
10 / 25
単回帰モデル
単回帰モデル
単回帰モデル
n 個のデータ (X1 , Y1 ), (X2 , Y2 ), . . . , (Xn , Yn ) が与えられているときに,
Yi の変動を Xi の一次式 + 誤差であらわした以下のモデル
Yi = β0 + β1 Xi + ui ,
i = 1, 2, . . . , n
.
を単回帰モデルという
β0 : 定数項 (切片)
β1 : 傾き
β0 , β1 は未知のパラメータ
β0 , β1 は回帰係数とも言う
β0 + β1 X : 母回帰直線 (真の直線)
b0 , b1 : β0 , β1 の推定量
b0 + b1 X : 推定直線
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
.
May 11, 2015
10 / 25
単回帰モデル
単回帰モデルの性質
単回帰モデル
Yi = β0 + β1 Xi + ui ,
i = 1, 2, . . . , n
モデルの性質
直線に誤差が加法的に (足し算の形で ) のったモデル
β1 が正 ⇒ Yi と Xi は比例的
β1 が負 ⇒ Yi と Xi は反比例的
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
May 11, 2015
11 / 25
最小二乗法
問題
問題
β0 , β1 をデータ (Y1 , X1 ), . . . , (Xn , Yn ) の関数 (推定量) b0 , b1 で
.
それぞれ推定したい
⇒ どのように推定すればよいか？
⇓
.
10000
戦略
6000
4000
2000
が , もっともデータにあてはまるよう
な b0 , b1 を β0 , β1 の推定量としては
どうか？
0
Y = b 0 + b1 X
Consumption(US dollar)
8000
推定直線
0
2000
4000
6000
8000
10000
Income(US dollar)
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
May 11, 2015
12 / 25
最小二乗法
問題
問題
β0 , β1 をデータ (Y1 , X1 ), . . . , (Xn , Yn ) の関数 (推定量) b0 , b1 で
.
それぞれ推定したい
⇒ どのように推定すればよいか？
⇓
.
10000
戦略
6000
4000
2000
が , もっともデータにあてはまるよう
な b0 , b1 を β0 , β1 の推定量としては
どうか？
0
Y = b 0 + b1 X
Consumption(US dollar)
8000
推定直線
0
2000
4000
6000
8000
10000
Income(US dollar)
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
May 11, 2015
12 / 25
最小二乗法
あてはまりのよい推定量
データは真の直線の周りを分布する.
データは真の直線によくあてはまるように分布しているはず .
逆にデータから直線を推定するならば , データによくあてはまる直線
で推定してやればよいのではないだろうか？
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
May 11, 2015
13 / 25
最小二乗法
あてはめ値と残差
あてはめ値：Yˆi := b0 + b1 Xi
10
直線上の×印
※ 誤差と残差の違いに注意
残差が小さい → あてはまりがよい
H. Hara (Niigata U.)
6
y
0
Yi = β0 + β1 Xi + ui
= b0 + b1 Xi + ei
2
4
オレンジの点線
推定量と実測値 Yi の距離
誤差 ui の推定量
8
残差 ei： ei := Yi − (b0 + b1 Xi )
単回帰モデルと最小二乗法
0
2
4
6
8
10
x
May 11, 2015
14 / 25
最小二乗法
あてはめ値と残差
あてはめ値：Yˆi := b0 + b1 Xi
10
直線上の×印
※ 誤差と残差の違いに注意
残差が小さい → あてはまりがよい
H. Hara (Niigata U.)
6
y
0
Yi = β0 + β1 Xi + ui
= b0 + b1 Xi + ei
2
4
オレンジの点線
推定量と実測値 Yi の距離
誤差 ui の推定量
8
残差 ei： ei := Yi − (b0 + b1 Xi )
単回帰モデルと最小二乗法
0
2
4
6
8
10
x
May 11, 2015
14 / 25
最小二乗法
あてはめ値と残差
あてはめ値：Yˆi := b0 + b1 Xi
10
直線上の×印
※ 誤差と残差の違いに注意
残差が小さい → あてはまりがよい
H. Hara (Niigata U.)
6
y
0
Yi = β0 + β1 Xi + ui
= b0 + b1 Xi + ei
2
4
オレンジの点線
推定量と実測値 Yi の距離
誤差 ui の推定量
8
残差 ei： ei := Yi − (b0 + b1 Xi )
単回帰モデルと最小二乗法
0
2
4
6
8
10
x
May 11, 2015
14 / 25
最小二乗法
最小二乗法
最小二乗法 (Ordinary Least Squares)
残差二乗和
Se2 :=
n
∑
i=1
e2i =
n
∑
(Yi − b0 − b1 Xi )2
i=1
を最小にする b0 , b1 を用いて β0 , β1 を推定する手続きのことを
最小二乗法 (OLS 法) と言う.
また結果得られる推定量 b0 , b1 を最小二乗推定量 (OLS estimator :
OLSE) と言う
.
OLSE はどうやって求めればよいか？
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
May 11, 2015
15 / 25
最小二乗法
凸関数の最小化
凸関数 f (x)：図のような関数
凸関数の最小化
⇒ f (x) の微分が 0 になる点
5
微分 ⇔ 接線の傾き
e2i =
i=1
3
y
n
∑
(Yi − b0 − b1 Xi )2
i=1
2
n
∑
1
Se2 :=
4
残差二乗和
0
も b0 , b1 に関する凸関数
−1
Se2 の最小化
⇒ Se2 の b0 , b1 に関する (偏) 微分を
0 にする b0 , b1 を求めればよい
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
0
1
2
3
x
May 11, 2015
16 / 25
最小二乗法
凸関数の最小化
凸関数 f (x)：図のような関数
凸関数の最小化
⇒ f (x) の微分が 0 になる点
5
微分 ⇔ 接線の傾き
e2i =
i=1
3
y
n
∑
(Yi − b0 − b1 Xi )2
i=1
2
n
∑
1
Se2 :=
4
残差二乗和
0
も b0 , b1 に関する凸関数
−1
Se2 の最小化
⇒ Se2 の b0 , b1 に関する (偏) 微分を
0 にする b0 , b1 を求めればよい
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
0
1
2
3
x
May 11, 2015
16 / 25
最小二乗法
正規方程式
正規方程式
OLSE b0 , b1 は
∑
∂Se2
= −2
(Yi − b0 − b1 Xi ) = 0,
∂b0
n
∂Se2
∂b1
= −2
i=1
n
∑
(Yi − b0 − b1 Xi )Xi = 0,
i=1
すなわち,
n
∑
(Yi − b0 − b1 Xi ) = 0,
i=1
n
∑
(Yi − b0 − b1 Xi )Xi = 0
i=1
.
の解で与えられる. この連立方程式を正規方程式と呼ぶ
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
May 11, 2015
17 / 25
最小二乗法
正規方程式の解 = OLSE
正規方程式
n
∑
(Yi − b0 − b1 Xi ) = 0,
n
∑
(Yi − b0 − b1 Xi )Xi = 0
i=1
i=1
2 変数 b0 , b1 の連立一次方程式
n
n
∑
1∑
¯= 1
Yi , X
Xi とする
Y¯ =
n
n
i=1
i=1
そのとき正規方程式の解, すなわち OLSE は
∑n
¯ i
(Xi − X)Y
¯
¯
b0 = Y − b1 X, b1 = ∑i=1
n
¯ 2
i=1 (Xi − X)
以降, β0 , β1 の OLSE を b0 , b1 とあらわすことにする.
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
May 11, 2015
18 / 25
最小二乗法
演習
演習
正規方程式
n
∑
(Yi − b0 − b1 Xi ) = 0,
n
∑
(Yi − b0 − b1 Xi )Xi = 0
i=1
i=1
の解が
¯
b0 = Y¯ − b1 X,
∑n
¯ i
(Xi − X)Y
b1 = ∑i=1
n
¯ 2
i=1 (Xi − X)
となることを確認せよ.
.
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
May 11, 2015
19 / 25
最小二乗法
ヒント
以下の式が成り立つことを用いよ.
これらの式は , 来週以降の議論でも用いるので ,
後で各自で証明してみよ.
1∑
1∑
¯
(Yi − Y¯ )Xi =
Yi Xi − Y¯ X
n
n
n
1
n
H. Hara (Niigata U.)
i=1
n
∑
i=1
n
¯ 2= 1
(Xi − X)
n
i=1
n
∑
¯2
Xi2 − X
i=1
単回帰モデルと最小二乗法
May 11, 2015
20 / 25
最小二乗法
解答例
最初の正規方程式を n で割ると ,
1∑
1∑
1∑
1∑
(Yi − b0 − b1 Xi ) =
Yi −
b0 −
b 1 Xi
n
n
n
n
n
i=1
n
n
n
i=1
i=1
i=1
¯ =0
= Y¯ − b0 − b1 X
となることより,
¯
b0 = Y¯ − b1 X.
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
May 11, 2015
21 / 25
最小二乗法
解答例
後の正規方程式を n で割ると ,
1∑
(Yi − b0 − b1 Xi )Xi
n
n
i=1
1∑
1∑
1∑
=
Yi Xi −
b0 X i −
b1 Xi2
n
n
n
n
n
n
i=1
i=1
i=1
n
n
1∑ 2
1∑
¯
Yi Xi − b0 X − b1
Xi = 0.
=
n
n
i=1
H. Hara (Niigata U.)
i=1
単回帰モデルと最小二乗法
May 11, 2015
22 / 25
最小二乗法
解答例
¯ を代入して
b0 = Y¯ − b1 X
∑
1∑
¯ − b1 1
Yi Xi − b0 X
Xi2
n
n
n
n
i=1
i=1
n
n
1∑
1∑ 2
¯
¯
¯
=
Yi Xi − (Y − b1 X)X − b1
Xi
n
n
i=1
i=1
( n
)
n
∑
1
1∑
¯ − b1
¯ 2 = 0.
=
Yi Xi − Y¯ X
Xi2 − X
n
n
i=1
i=1
となることより, ヒントを用いると ,
∑n
¯ i
(Xi − X)Y
b1 = ∑i=1
n
¯ 2
i=1 (Xi − X)
を得る.
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
May 11, 2015
23 / 25
最小二乗法
OLS 残差
OLS 残差
OLSE に対する残差 ei = Yi − b0 − b1 Xi を OLS 残差と言う..
1
8
n
∑
.
10
正規方程式より, OLS 残差 ei は
ei = 0
n
∑
ei Xi = 0
2
2
4
y
6
i=1
.
0
i=1
を満たす.
0
2
4
6
8
10
x
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
May 11, 2015
24 / 25
最小二乗法
まとめ
計量経済分析の目的：
経済変数の変動のメカニズムを定量的に解明すること .
単回帰モデル
Yi = β0 + β1 Xi + ui ,
i = 1, 2, . . . , n
最小二乗法 (OLS 法)：
残差二乗和の最小化の意味で最もデータにあてはまりのよい推定量
によって回帰係数 β0 , β1 を推定する方法.
正規方程式 (線形連立方程式) の解として求めることができる.
Excel などを用いれば計算は容易
用語
被説明変数, 説明変数, 誤差項
切片, 傾き, 母回帰直線, 推定直線
あてはめ値, 残差, OLS 残差
正規方程式
H. Hara (Niigata U.)
単回帰モデルと最小二乗法
May 11, 2015
25 / 25

Download Report