2001年度経済統計処理講義内容

第3章重回帰分析
ｰ計量経済学ｰ
第1節 3変数のケースの最小2乗法
１
２
３
４
3変数のケース
回帰線が原点を通るケース
重相関係数
自由度修正済み決定係数
第2節 t検定
１検定の問題
第3節重回帰に関連する諸概念
１偏相関係数
第4節 4変数以上のケース
１ 4変数のケース（偏微分を利用）
２多変数のケース（行列を利用）
• 第2章で考えた、独立変数が１つの場合の単純
回帰分析では、経済モデルを分析する上で不十
分なことがある。
（例）消費関数において、
Y＝a+bX +cW
↑
↑
↑
消費所得資産
というように、説明変数を所得１つだけでなく、
資産などを含む複数考えることがある。
このような、説明変数が複数の回帰モデルを重
回帰モデルという。
第1節 3変数のケースの最小２乗法
１ 3変数のケース
• 単回帰モデル
Y  a  bX
– aˆ , bˆ の推定
– 決定係数R2
– 個々の係数について
ｔ検定
• 重回帰モデル
Y  a  bX  cW
– aˆ, bˆ, cˆ の推定
– 決定係数R2(ただし
問題あり)
– 個々の係数について
ｔ検定
＜3変数の場合のパラメータ推定値＞
3変数の場合には回帰直線ではなく回帰平面となる。
このとき、最小2乗法は空間上にある各点との垂直方向
の距離(これが残差となる)の2乗和が最小になるように
回帰平面 Y=a+bX+cW を描くことである。
Y
W
×
×
×
×
回帰平面 Y=a+bX+cW
X
パラメータ推定値は次のようになる。
ただし
aˆ  Y  bˆX  cˆW
S x2  x12    xn2
S xy S  S xwS wy
ˆ
b 2
S x S  ( S xw ) 2
S y2  y12    yn2
2
w
2
w
cˆ 
S w2  w12    wn2
S wy S x2  S xwS xy
S xy  x1 y1    xn yn
S x2 S w2  ( S xw ) 2
S xw  x1w1    xn wn
S wy  w1 y1    wn yn
これは残差2乗和を aˆ, bˆ, cˆ で偏微分し、それらを0とおい
たものを整理する。（別紙参照）
これから正規方程式といわれる次のような連立方程式
が得られる。
 Y  naˆ  bˆ X  cˆW
 XY  aˆ  X  bˆ X  cˆ XW
WY  aˆ W  bˆ XW  cˆW
2
2
これを解いたものがパラメータ推定値
２回帰線が原点を通るケース
Y = ｂX + ｃW+u
という、回帰平面が原点を通るモデルを考える。
このときの残差2乗和Gは
G  (Y1  bˆX1  cˆW1 )2   (Yn  bˆX n  cˆWn )2
となるので、これを最小にするような bˆ, cˆ をもとめる。（具体
的には bˆ, cˆ で偏微分したものを0とおく）すると、次のような
正規方程式が得られる。
 XY  bˆ X  cˆ XW
WY  bˆ XW  cˆW
2
2
この方程式を解くと
bˆ 
2
W
  XY  WY  XW
 X W   XW 
X
WY   XY  XW
ˆc   
 X W   XW 
2
2
2
2
2
2
2
となる。これは(3-9)式(テキスト98ページ)と同じものである。
３重相関係数
• 決定係数は単純回帰の場合同様、次のように定義され
る。
R2 

回帰平面によって説明される変動
全変動
 (Yˆ  Y ) 2
i
 (Y  Y )
2
i
この式を変形すると次のように表すことができる。
（別紙参照）
R 
2
bˆS xy  cˆS wy
S y2
• 重相関係数はこの平方根をとった
R
bˆS xy  cˆS wy
S y2
であり、重回帰の場合には + の値しかとらない。
• 決定係数は説明変数の数を増やせば増やすほど、（そ
の説明変数が非説明変数に関係なくても）その値が1に
近づく
• ex2-5に次のデータを加えて重回帰分析をやってみよう。
1983
4
1984
4
1985
1
1986
3
1987
6
1988
6
1989
5
1990
6
1991
6
1992
2
1993
4
1994
5
1995
6
1996
6
1997
5
1998
6
このデータは阪神タイガースのセリーグでの順位
1999
6
2000
6
2001
6
2002
4
４自由度修正済み決定係数
• 決定係数に、説明変数の数を考慮して修正を加えたもの。
R 2  1
残差の分散
Yの分散
e12    en2
残差の分散 
nk
k: 変数の数
(Y1  Y ) 2    (Yn  Y ) 2
Yの分散 
n 1
• 自由度修正済み決定係数と決定係数には、次のような関係
がある。
R 2  1
n 1
(1  R 2 )
nk
＜自由度修正済み決定係数の性質と使い方＞
• 自由度修正済み決定係数 R は負の値をとることもある。
2
(例) n=4, R2=0.5 のとき
• 自由度修正済み決定係数は、説明変数の数が異なる複
•
数のモデルで、どちらのモデルが回帰のあてはまりが良
いかを判断するときなどに用いられる。
たとえば消費関数において、
Y（消費）  a  bX（所得）
Y（消費）  a  bX（所得）  cW（資産）
のいずれのモデルが良いかを判断するためには、決定係
数ではなく、自由度修正済み決定係数が有効である。
第2節ｔ検定
１検定の問題
• 自由度修正済み決定係数は、あくまでモデル全体のあて
•
はまりを示す指標である。個々の変数がモデルにおいて
意味を持つかどうかは、t検定が利用される。
標準誤差はそれぞれ次のようになる。
1 ( X ) 2 S w2  (W ) 2 S x2  2 XW S xw
s s { 
}
2 2
2
n
S x S w  ( S xw )
2
aˆ
2
S w2
2
s  2 2
s
S x S w  ( S xw ) 2
2
bˆ
S x2
2
s  2 2
s
S x S w  ( S xw ) 2
2
cˆ
ただし
e12    en2
s 
n3
2
たとえば「XがYに影響を及ぼしているか」を検定するため
には、H0: b=0 という帰無仮説を設定し、t検定をおこな
えば良い。
この場合の検定統計量は
bˆ  b
tbˆ 
sbˆ
bˆ
となるが、帰無仮説が正しいと設定して tbˆ 
の値を求
sbˆ
める。
この値と、自由度n-3のt0.95とを比較すれば良い。
第3節重回帰に関連する諸概念
１偏相関係数
相関が高い
X
Y
強い影響
W
YとXとの間の関係は「見せかけの相関」である。
YとXとの相関が本当はどの程度かを見るためには、他の
変数の影響を除いた偏相関係数で見る必要がある。
• YをWに対して回帰する。すると、
Y1  aˆ  cˆW1  u1

Yn  aˆ  cˆWn  un
Wの影響をとり除いた部分
Wの影響による部分
となる。同様にXをWに回帰すると、
X 1  aˆ  cˆW1  v1

Yn  aˆ  cˆWn  vn
Wの影響による部分
となる。
Wの影響をとり除いた部分
• この2つの残差u1,･･･,unと v1,･･･,vnの相関係数が偏相
関係数である。偏相関係数は次のようになる。
rYX・ W 
u1v1    unvn
(u12    un2 )(v12    vn2 )
• 偏相関係数はまた、各変数間の相関係数を用いて次の
ように表せる。（証明は付録(5)参照）
rYX・ W 
rYX  rYW rXW
2
2
1  rYW
1  rXW
rYX: YとXの相関係数
rYW: YとWの相関係数
rXW: XとWの相関係数
第4節 4変数以上のケース
１ 4変数のケース（偏微分を利用）
4変数の場合、Y=a+bX+cW+dZというモデルになるが、
パラメータ推定値は、残差2乗和を最小にする。
残差2乗和Gは
G  (Y1  aˆ  bˆX1  cˆW1  dˆZ1 )2   (Yn  aˆ  bˆX n  cˆWn  dˆZn )2
となるので、これを aˆ, bˆ, cˆ, dˆ で偏微分したものを0とおくこ
とによって、次のような正規方程式が得られる。
 Y  naˆ  bˆ X  cˆW  dˆ  Z
 XY  aˆ  X  bˆ X  cˆ XW  dˆ  XZ
WY  aˆ W  bˆ XW  cˆW  dˆ WZ
 ZY  aˆ  Z  bˆ XZ  cˆWZ  dˆ  Z
2
2
2
２多変数のケース（行列を利用）
一般的なモデルとして、説明変数がm個のモデルを考える。
すなわち、 Y=a+b1X1+ ･･･ +bmXmというモデルである。
このモデルに撹乱項uを加えて、n年分を書くと次のように
なる。
Y1  a  b1 X 11    bm X m1  u1

Yn  a  b1 X 1n    bm X mn  un
ここで、次のように行列とベクトルを定義する。
1 X 11  X m1 
 Y1 


 
X  

 Y  
1 X
Y 
 X mn 
1n

 n
a
 
 b1 
p 

 
b 
 m
 u1 
 
u  
u 
 n
よって、行列とベクトルを用いてあらわすと
Y  Xp  u
と表される。
パラメータ推定値、残差のベクトルを次のように表す。
 aˆ 
 ˆ 
 b1 
pˆ   

 
 bˆ 
 m
すると、
Y  Xpˆ  e
となる。
 e1 
 
e  
e 
 n
残差2乗和Gは
G  ee
となるので、
G  (Y  Xpˆ )(Y  Xpˆ )
を最小にする pˆ を求める。 pˆ で偏微分して整理すると、正
規方程式は
XY  XXpˆ  0
これを pˆ について解いたものがパラメータ推定値であり、
pˆ  (XX) 1 XY
である。

Download Report