浅野S14 - Info Shako

統計II S14
多変数回帰、直交条件
1
多変数回帰
例１：消費と所得・資産
C:消費支出、I:所得、W:資産
C = +I+W + 
(,の意味
：資産(W)一定、所得が１単位増加すると消費は増加
他の条件(資産)一定の時、所得増の消費への純粋効果（限界効果）
：資産の限界効果
限界効果は所得、資産のレベルに関わらず一定と仮定
Y =  + X1 + X2 + 
2
例 2 所得と年齢
若い間は年齢とともに所得は上昇
五十代半ばでピークに達し、それ以降は下降。
二次式！
限界効果は一定ではない！
Y =  + X + X2 + 
所得
*
*
*
*
20 才
*
*
*
* *
*
*
*
*
* *
*
*
*
*
*
*
*
*
年齢
50 才
3
例 3 マンションの家賃
（都心からの距離と広さ、交差項）
家賃(R)、都心からの距離(Km)、広さ(Sq)
候補1：R = +Km+Sq+
広さSqの限界効果は都心からの距離にかかわらず一定
実際には距離とともに広さあたりの家賃増は下がる！
候補：R =  + Km + Sq + Km  Sq+ 
(3-1-3)
交差項(Interaction term)
広さの限界効果：  R/  Sq = +Km
限界効果は距離とともに変化。
の符号はマイナス
4
Y = b0 + b1X1 + b2X2 + ...+ e
3 変数回帰
平面のあてはめ
Y
X2
*
*
*
*
*
*
*
* *
*
*
*
*
* *
*
*
*
*
*
*
*
*
*
*
*
*
*
*
* *
*
*
*
 = a+bX1+cX2
Y
*
*
*
*
*
*
*
X1
5
二変数回帰（最小二乗）の行列表示
(1)
Yi = a + bXi + ei, i = 1,..,n
(2)
 Y1   a+bX1 +e1  a   X1 
 e1  1  X1   e1 
 Y   a+bX +e  a   X 
 e  1  X   e 
2
2
 2  
     2  b   2     a+  2  b+  2 
 :  
 :  : 
 :  :  :   : 
:
  
    
      
Y
a+bX
+e
X
a
   n
n
n
 n 
en  1  X n  en 
(3)
 Y1 
 X1 
 e1 
1
Y 
X 
e 
1
a


2
2
Y   , 1   , x   , b   , e   2 
 : 
 : 
:
:
b
 
 
 

1
 Yn 
X n 
e n 
a 
Y = 1a + xb + e = [1 | x]   + e = [1 | x]
b
 b1 
 b  + e = Xb + e,
 2
X = [1 | x]= [X1 | X2]
6
X：n行2列の行列
x：n次元ベクトル
説明変数からなる行列をXで表す。
Xの二つの列に添字を付けてX1,X2と表記。
二変数回帰モデルの行列表示：
Y  Xb  e   X1
 b1 
X2     e
b2 
行列とベクトルはY, X, b等太字で表す。
ベクトルaは常に列ベクトルを表し、
行ベクトルはaの転置(a’)として表記。
7
最小二乗法の幾何学、射影
最小二乗法： iei2を最小化
基準をベクトルで表す。
残差ベクトル e = Y  Xb = Y  X1b1  X2b2
残差二乗和 iei2 = e’e
最小二乗法：(b1,b2)を調節し、e’eを最小にする手続き。
射影
e'e：ベクトルeの長さの二乗
最小二乗基準：係数(b1,b2)を選び
ベクトルYとX1b1+X2b2の距離を最小化 射影！
X1, X2の一次結合、
8
図：最も簡単な射影の例
n=2, k=1のケース
Xの定数倍XbとYの距離（ |Y – Xb| ）を最小化。
・Xbの取り得る値は点線で表されたXの延長上
係数bを１とすれば残差は(ｱ) 、
異なったbの値に対する残差は(ｲ)。
・Yとの距離を最小にする残差は？
答：YからXの延長上へおろした垂線
残差eとXbが直交
XbはYの推定値（あてはめ値）、eはあてはめの誤差
射影としての最小二乗法（n=2,k=1)
e=Y-Xb
Y
(ｱ)
(ｲ)
X
 =Xb
Y
9
ˆ ： YをXの張る平面上に射影したベクトル（Xb）
Y
最小二乗法の条件： Yˆ とeが直交
(Xとeが直交するようbを決定）
ベクトル a, b
(a,b) = |a| |b|cos、
・直交するなら内積はゼロ
また
・(a,b) = a'b = b'a
Xとeの直交条件は行列表示では
X'e = 0、 X'(Y-Xb) = 0
10
k=2, n=3 図 3-4 b は二次元ベクトル。
LM Y OP
Y  MY P ,
MNY PQ
1
2
LM X
 MX
MN X
11
X  X1| X 2
3
X12
X 22
31 X 32
21
OP
PP
Q
Xb：三次元ベクトルX1, X2の一次結合
（X1, X2の張る二次元平面上のベクトル）
YとXbとの距離が最小 <―>
XbはベクトルYからこの平面に降ろした垂線の先
ˆ : Yの [X1, X2]の張る二次元平面への射影
Y
・ Xbは残差eと直交
・ eが垂線ならX1とX2の両方と直交
11
射影としての最小二乗法 (n=3,k=2)
Y
e=Y-Xb
X2
 =Xb
Y
X1
12
最小二乗の条件：Xの二つの列とeが直交
（X1'e = 0 かつ、X2'e = 0）
直交条件の行列表示
 X 'e   X ' 
 
 1  =  1  e = X'e  0  0
 X 'e   X '
0
 
 2   2 
X'(Y-Xb) = 0
bは直交条件、X'e = 0を満たすように決まり、(3-3-3)が成立。
X'Y = X'Xb
回帰の正規方程式
X'Y：二次元ベクトル、X'X：２x２正方行列
正規方程式:bの二個の要素についての線形の連立方程式。
解： X'Xに逆行列が存在すれば、
b = (X'X)-1X'Y
一般のn,kについても（X'Xの逆行列が存在すれば）解は同じ。
13

Download Report