L NMOQP = F HG I KJ F HG I KJ

2014/5/6
一変数回帰モデルの最小二乗法
最も簡単な回帰モデル
説明変数が常に定数(１)。
Yi:母集団（平均）から無作為抽出されたi番目の標本。
S4_2 計量経済学
Yi = i = 1 + i,
(3-3-5)
i = 1,..,n
X = 1 (和ベクトル)
K変数回帰
b = (X'X)-1X'Y = (1'1)1'Y = iYi/n = Y
n個の標本。母集団平均()を標本平均( Y )で推定。
1
2
二変数回帰モデルの最小二乗法
X = [1 | x]
OP LM n
Q MN X
L1' O
L11'
X’X= [1 | x]’[1 | x] = M P [1 | x] = M
N x 'Q
Nx'1
 X2
(X’X)-1 =  i i
  i X i
X’Y = [1 | x]’Y =
1' x
=
x' x
i
i
OP
PQ
 i Xi 。
 i X2i
b=
b2 = (niXiYi  iXiiYi)/(niXi2(iXi)2)
LM1' OP Y = LM1' Y'OP =   Y 
N x 'Q N x ' Y Q   X Y 
i
  i X i2  i X i    i Yi 
2
2


 /{n i X i  ( i X i ) }
n   i XiYi 
 i X i
1
2
 i X i 
2
2
 / {n i X i  ( i X i ) }
n 
i
LMb PO =
Nb Q
i
=
i i
3
F X Y  X  YI / F X  X I
GH n
JK GH n JK
i
i
2
i
2
= SXY/SX2
4
1
2014/5/6
3.4 Ｋ変数回帰の代数
係数ベクトル
(RM-2)
b = (X'X)-1X'Y = AY
A kxn行列
(RM-3)
A = Q-1X'
(RM-2) (kxn行列)Aを左からYに掛けると
係数ベクトルb

AはYを一次変換して係数ベクトルを作るオペ
レータ
3.4.1 回帰に関連した行列
ˆ +e
Y＝ Y
ˆ = Xbと最小二乗誤差（残差）eに分解。
あてはめ値 Y
ˆ 、残差e
係数ベクトルb、あてはめのベクトル Y
全てYの要素の一次結合。
（回帰係数の分布及び回帰結果の統計的検定について
重要な結果が導かれる。）
回帰(Regression)に関連した行列(Matrix)
(RM-1)
Q = X'X
5
あてはめのベクトル
ˆ = Xb = NY
(RM-4)
Y
次の関係も成立
(RM-8)
(Q-1)' = Q-1
(RM-9)
AX = (Q-1X')X = Q-1Q = I
N: nxn行列
(RM-5)
(RM-4)
N = XA = XQ-1X'
Nを左からYに掛けると
あてはめのベクトル（射影ベクトル）

Nは射影ベクトルを作るオペレータ
残差ベクトルe
(RM-6)
(RM-7)
(RM-6)

6
ˆ = IY - NY = (I - N)Y = MY
e = Y -Y
M (nxn)行列
M = I - N = I - XQ-1X'
Mを左からYに掛けると残差ベクトル（Yと射影ベクトルの差）
= (Q-1X')(XQ-1) = Q-1QQ-1 = Q-1
= A'X' = (XQ-1')X' = XQ-1X' = N
= (XA)XA = X(AX)A = XIA = XA = N
(RM-10)
(RM-11)
(RM-12)
AA'
N'
NN
(RM-13)
(RM-14)
M'
= I - N' = I - N = M
MM = (I - N)(I - N) = I - N - N + NN = M
(RM-15)
(RM-16)
(RM-17)
NX
MX
MN
= (XA)X = X(AX) = XI = X
= (I - N)X = X - NX = X - X = 0
= NM = 0
Mは射影の残差ベクトルを作るオペレータ。
7
8
2
2014/5/6
(RM-12) NN＝N (RM-14) MM＝M
ベキ等行列(idempotent matrix)。
Y
e=MY
Nのベキ等性の解釈：
X2
N：射影ベクトルを作るオペレータ
射影ベクトルNY。（図3-5(ｱ)参照）（射影はXの列の張る平面上）
この射影ベクトルをもう一度Xの張る平面に射影
結果は射影ベクトルそのもの（図3-5(ｲ)参照）
射影を二回繰り返す
＝ Nオペレータを二回Yに適用する
Nを二回続けてYに掛ける(NNY)
どんなYについてもNNY=NYが成立。よってNN=N！
X2
NY
NY
X1
X1
(ｱ) YをXに射影、Y ==> NY
(ｲ) NYをもう一度Xに射影、NY ==> N(NY) =NY
9
10
Mのベキ等性の解釈：
Y
M：残差ベクトルを作るオペレータ
残差ベクトル e =MY。（ (ウ)参照）（残差はXの列の張る平面と直交）
残差ベクトルをもう一度Xの張る平面に射影した残差
結果は残差ベクトル（(エ)参照）
e=MY
e = Me
X2
X2
NY
Yに残差オペレータ（M）を二回適用
＝ Mオペレータを二回Yに作用
Mを二回続けてYに掛ける(MMY)
どんなYについてもMMY=MYが成立。よってMM=M！
X1
(ウ) Y を X に射影、Y ==> 残差 e=MY
11
Ne=0
X1
(エ) e をもう一度 X に射影、残差 Me=e
12
3
2014/5/6
MN = 0, NM = 0
MM = M(IN) = M+MN = M
⇔ MN=0
NN = N(IM) = NNM = N ⇔ NM=0
直観は？
ベクトル Y を NM の右からかける。
NMY = N(MY) = 0
MY は残差ベクトル e
Ne=0
残差ベクトルを X の張る平面に射影してもゼロベクトル。
[練習問題 1]
図を描いて再確認
[練習問題 2]
MN=0 についても射影の概念を使って直観的説明を試みよ。
13
4

Download Report