第 21 回多変量線形回帰モデル

第 21 回多変量線形回帰モデル
村澤康友
2014 年 12 月 22 日
目次
多変量線形回帰モデル
1
1.1
多変量線形回帰モデル . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
1.2
一般化線形回帰モデル . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
1.3
分散共分散行列の推定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
SUR モデル
3
2.1
SUR モデル . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3
2.2
多変量線形回帰モデル . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3
2.3
一般化線形回帰モデル . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3
1
2
1 多変量線形回帰モデル
1.1 多変量線形回帰モデル
(Y , X) を大きさ n の (T + k) 変量データとする．
定義 1. yi の xi 上への多変量線形回帰モデルは
E(yi |xi ) = Πxi
例 1. 需要体系．
1.2 一般化線形回帰モデル
次のような yi の xi 上への T 変量線形回帰モデルを仮定する．
E(yi |xi ) = Πxi
var(yi |xi ) = Σ
(Y , X) が無作為標本なら
E(yi |X) = Πxi
var(yi |X) = Σ
1
すなわち i = 1, . . . , n について
E(yi,1 |X) = π1′ xi
..
.
E(yi,T |X) = πT′ xi
また t = 1, . . . , T について
E(y1,t |X) = x′1 πt
..
.
E(yn,t |X) = x′n πt
次のベクトルを定義する．

y.,t

y1,t


:=  ... 
yn,t
すると t = 1, . . . , T について
E(y.,t |X) = Xπt
var(y.,t |X) = σt2 In
すなわち y.,t について古典的線形回帰モデルとなる．次のベクトルを定義する．


y.,1


y :=  ...  ,


π1
 
π :=  ... 
y.,T
すると
πT


X
O


..
E(y|X) = 
π
.
O
X
 2

σ1 In . . . σ1,T In

.. 
..
var(y|X) =  ...
.
. 
2
σT,1 In . . . σT In
すなわち y について一般化線形回帰モデルとなる．
注 1. ただしこの場合は GLS 推定量と OLS 推定量が一致する（証明は省略）．
1.3 分散共分散行列の推定
ˆ とする．残差ベクトルは
Σ は T × T なので n が大きければ推定できる．Π の OLS 推定量を Π
ˆ i
ei := yi − Πx
Σ の推定量は
∑
ˆ := 1
ei e′i
Σ
n i=1
n
2
2 SUR モデル
2.1 SUR モデル
定義 2. yi に関する見かけ上無関係な回帰（seemingly unrelated regressions, SUR) モデルは
E(yi,1 |xi ) = x′i,1 β1
..
.
E(yi,T |xi ) = x′i,T βT
ただし xi,1 , . . . , xi,T は xi の部分ベクトル．
2.2 多変量線形回帰モデル
SUR モデルを T 変量線形回帰モデルとして書くと
E(yi,1 |xi ) = π1′ xi
..
.
E(yi,T |xi ) = πT′ xi
ただし π1 , . . . , πT のいくつかの成分は 0．
2.3 一般化線形回帰モデル
yi に次の SUR モデルを仮定する．
E(yi,1 |xi ) = x′i,1 β1
..
.
E(yi,T |xi ) = x′i,T βT
var(yi |xi ) = Σ
(Y , X) が無作為標本なら，i = 1, . . . , n について
E(yi,1 |X) = x′i,1 β1
..
.
E(yi,T |X) = x′i,T βT
var(yi |X) = Σ
また t = 1, . . . , T について
E(y1,t |X) = x′1,t βt
..
.
E(yn,t |X) = x′n,t βt
var(y.,t |X) = σt2 In
3
すなわち y.,t について古典的線形回帰モデルとなる．次のベクトルを定義する．


β1
 
β :=  ... 
βT
すると


X1
O


..
E(y|X) = 
β
.
O
XT
 2

σ1 In . . . σ1,T In

.. 
..
var(y|X) =  ...
.
. 
σT,1 In . . . σT2 In
すなわち y について一般化線形回帰モデルとなる．
注 2. この場合は GLS 推定量と OLS 推定量が異なる．
4

Download Report