エコノメトリックス
第2回
2011年前期
中村さやか
今日やること
Ch. ２ The Simple Regression Model
2.1 Definition
2.2 Deriving the Ordinary Least Squares
Estimates
2.1 Definition
ある母集団に基づく二つの変数yとｘについて
• ｙをｘによって説明する
または
• ｘが変化するとｙがどう変化するか説明する
３つの疑問
１．他の要因もｙに影響を与えるのではないか？
２．ｙとｘの関係は？ ｙはｘのどんな関数？
３．ｘがｙに与える因果関係を表せているか？
他の要因を全て一定にするという要件を満たしているか？
2.1 Definition
線形単回帰モデル
simple (two-variable / bivariate) linear regression model
y=β0+β1x+u
ｙ：説明される変数
ｘ：説明する変数
u: x以外にｙに影響を与える全ての要因
unobserved（観察されない）の頭文字をとってu
β0：定数項 (intercept parameter, constant term)
β1：勾配パラメータ (slope parameter)
2.1 Definition
y=β0+β1x+u
y：説明される変数
x：説明する変数
被説明変数
(explained variable)
説明変数
(explanatory varable)
従属変数
(dependent variable)
regressand
独立変数
(independent variable)
regressor
u: 誤差項(error term) または 攪乱項(disturbance term)
2.1 Definition
線形単回帰モデル(y=β0+β1x+u)の例
• y: 収穫高, x: 肥料の量
• y：賃金, x: 教育年数
留意点：
１．このモデルではｘの値に関わらずｘが１増えるとｙがβ1増える
と仮定しているが、この仮定は必ずしも現実的ではない
⇒この仮定はゆるめることができる （２．４節参照）
２．このモデルを推定しても、ｘからｙへの因果関係を測定できる
とは限らない （２．５節参照）
2.1 Definition
線形単回帰モデル(y=β0+β1x+u)の重要な仮定
１．E(u)=0
• 一般性を失うことなく仮定できる
２．E(u|x)=E(u)
• uの期待値はxに依存しない
• uはｘについて平均独立 (u is mean-independent of x)
1と2より、 E(u|x)=0
(zero conditional mean assumption)
2.1 Definition
y=β0+β1x+u
１．ｙが賃金、ｘが教育年数、uが生まれつきの能力とする
E(u|x)=E(u) が成り立っていると仮定
⇒中卒・高卒・大卒で生まれつきの能力の平均は変わらない
⇒もし能力の高い人ほど教育年数が長いなら矛盾
２．ｙが収穫高、ｘが肥料の量、uが畑のもともとの（肥料を与え
る前の）土壌の良さとする
E(u|x)=E(u) が成り立っていると仮定
⇒肥料をたくさん与えられた畑とそうでない畑のもともとの土
壌の良さの平均値は変わらない
⇒もし土壌の良い畑ほどたくさん肥料が与えられるなら矛盾
2.1 Definition
E(u|x)=0 (zero conditional mean assumption)
⇒E(y|x)=E(β0+β1x+u|x)=β0+β1x+E(u|x)
⇒E(y|x)=β0+β1x
母集団回帰関数 (population regression function)
yの平均値がｘとともにどう変化するかを表している
y=
β0 + β1x
systematic
part
+u
unsystematic
part
Copyright © 2009 SouthWestern/Cengage Learning
2.2 Deriving the Ordinary Least Squares Estimates
データを使ってパラメータの値（切片と傾き）を推定する
母集団から観察数ｎの標本を無作為抽出:
{(xi, yi): i=1, …, n}
母集団について y=β0+β1x+u を仮定
⇒ yi=β0+β1xi+ui
i=1, …, n
例：
yi=ある年1年間の世帯iの貯蓄
xi=ある年1年間の世帯iの所得
n=15
Copyright © 2009 South-Western/Cengage Learning
2.2 Deriving the Ordinary Least Squares Estimates
2.1の仮定：
E(u)=0 (2.5, 2.10)
E(u|x)=E(u) (2.6)
仮定(2.6)より Cov(x,u)=0 (2.11)
• ｘの値がわかってもそれがuの期待値を変化させないならば、
ｘとuは相関していないはず
（Appendix B, p736, Property CE.5 参照）
E(u)=0 (2.10)
⇔ E(y-β0-β1x)=0 (2.12)
Cov(x,u)=0 (2.11) ⇔ E[x(y-β0-β1x)]=0 (2.13)
2.2 Deriving the Ordinary Least Squares Estimates
E(y-β0-β1x)=0 (2.12) E[x(y-β0-β1x)]=0 (2.13)
期待値がゼロ → 標本での平均値がゼロ
1 n
(2.12) ( yi ˆ0 ˆ1 xi ) 0 (2.14)
n i 1
1 n
(2.13) xi ( yi ˆ0 ˆ1 xi ) 0 (2.15)
n i 1
(2.14) ˆ0 y ˆ1 x (2.17)
(2.17）→β１の推定値を得られればβ0の推定値も得られる
2.2 Deriving the Ordinary Least Squares Estimates
1 n
xi ( yi ˆ0 ˆ1 xi ) 0
n i 1
ˆ0 y ˆ1 x
(2.15)
n
(2.17)を (2.15)に代入すると
x (y
i 1
i
i
(2.17)
( y ˆ1 x ) ˆ1 xi ) 0
n
n
もし
xi ( xi x ) が０でなければ、
i 1
ˆ1
x (y
i 1
n
i
y)
i
x)
i
x (x
i 1
i
n
1 n
( xi x )( yi y )
( xi x )( yi y )
S xy
n 1 i 1
i 1
2
n
n
1
Sx
2
2
(
x
x
)
(
x
x
)
i
i
n
1
i 1
i 1
まず上式によって 1を推定し、次に (2.17)より 0を推定する
n
x (x
i 1
i
i
x ) 0 になる例
（ xの標本分散がゼロ）
Copyright © 2009 South-Western/Cengage Learning
2.2 Deriving the Ordinary Least Squares Estimates
別の導出法
yˆ ˆ ˆ x
(ｙの予測値 /fitted value for y )
uˆi yi yˆ i yi ˆ0 ˆ1 xi (残差/residual )
i
0
1 i
残差の二乗和 ( sum of squared residuals )は
n
n
ˆ ˆ x ) 2
ˆ
u
(
y
i i 0 1i
2
i 1
i 1
残差の二乗和を最小化 する ˆ0と ˆ1を求めると、
上式を ˆ と ˆ でそれぞれ微分すると ゼロになることが
0
1
最適化の必要条件なの で
n
n
i 1
i 1
2 ( yi ˆ0 ˆ1 xi ) 0 2 xi ( yi ˆ0 ˆ1 xi ) 0
これは (2.14)( 2.15)と同値
Copyright © 2009 South-Western/Cengage Learning
2.2 Deriving the Ordinary Least Squares Estimates
• (2.14)(2.15)による推定法を最小二乗法 (ordinary least
squares, OLS)という
• 名前の由来： 残差の二乗和を最小にする推定値
Q:
• なぜ残差の二乗和を最小化するのか？
• 例えば残差の絶対値の和を最小化してはどうか？
A:
• 残差の絶対値を最小化する推定法もある（9.4参照）
• 最小二乗法の利点：推定法がシンプルなので統計理論が応
用しやすく、不偏性、一致性等の優れた性質がある
2.2 Deriving the Ordinary Least Squares
Estimates
E(y|x)=β0+β1x
yˆi ˆ0 ˆ1 xi
母集団回帰関数
(population regression
function, PRF)
標本回帰関数
(sample regression
function, SRF)
OLS回帰直線
(OLS regression line)
• 不変・観察できない
• サンプルが違えば推定さ
れるパラメタの値も違う
salary: 社長の年収
($1000)
roe: return on equity
自己資本利益率
Copyright © 2009 South-Western/Cengage Learning
2.2 Deriving the Ordinary Least Squares Estimates
yˆi ˆ0 ˆ1 xi
切片はｘが０のときのｙの予測値を示す
→ あまり意味がないことが多い
yˆ
ˆ
1
x
yˆ ˆ1x
ｘが変化したらｙがどれだけ変化するかを示す
© Copyright 2024 ExpyDoc
