2014 年 10 月 22 日
第 7 回 OLS の幾何学（3.3–3.4）
村澤康友
目次
1
OLS と射影
2
残差回帰（p. 65）
11
3
適合度（p. 67）
16
2
1
1 OLS と射影
線形回帰モデル
大きさ n の (1 + k) 変量データを (y, X) とする．
y の X 上への線形回帰モデルは
E(y|X) = Xβ
実現値として y, Xβ ∈ Rn ．
2
OLS
OLS 問題は
min
β
(y − Xβ)′ (y − Xβ)
ユークリッド・ノルムを用いると
min
β
∥y − Xβ∥2
3
OLS 推定量
β の OLS 推定量を b とする．
1 階の条件は
−X ′ 2(y − Xb) = 0
したがって
b = (X ′ X)−1 X ′ y
4
残差ベクトルの性質（p. 58）
残差ベクトルを e := y − Xb とする．
定理 1. X ⊥ e．
証明：1 階の条件より X ′ e = 0．
5
系 1 (ピタゴラスの定理).
∥y∥2 = ∥Xb∥2 + ∥e∥2
証明：前定理より
∥y∥2 := y ′ y
= (Xb + e)′ (Xb + e)
= (b′ X ′ + e′ )(Xb + e)
= b′ X ′ Xb + b′ X ′ e + e′ Xb + e′ e
= (Xb)′ (Xb) + e′ e
6
OLS と射影（p. 58）
X の列空間を M ，その直交補空間を M ⊥ とする．
• Xb は y の M 上への射影
• e は y の M ⊥ 上への射影
7
OLS の幾何学（p. 58）
M’
I-P
P
y
e
Xb
X
8
M
P := X(X ′ X)−1 X ′ とすると，
Xb = X(X ′ X)−1 X ′ y
= Py
e := y − Xb
= y − Py
= (In − P )y
P は y を M 上に，In − P は y を M ⊥ 上に射影．
9
射影行列（p. 63）
P , In − P を射影行列という．
定義 1. A′ = A なら A は対称という．
定義 2. A2 = A なら A はべき等という．
定理 2. 射影行列は対称でべき等．
注：射影されたベクトルをもう一度射影しても変わらない．
すなわち P (P y) = P y ．
10
2 残差回帰（p. 65）
y の X 上への線形回帰モデルを次のように書く．
E(y|X) = X1 β1 + X2 β2
β1 のみに関心がある．
(β1 , β2 ) の OLS 推定量を (b1 , b2 ) とする．
残差の定義より
y = X1 b1 + X2 b2 + e
11
X2 の列空間への射影行列は
P2 := X2 (X2′ X2 )−1 X2′
y, X1 の射影残差は
y ∗ := (In − P2 )y
X1∗ := (In − P2 )X1
12
補題 1.
y ∗ = X1∗ b1 + e
証明：
y ∗ := (In − P2 )y
= (In − P2 )(X1 b1 + X2 b2 + e)
= (In − P2 )X1 b1 + (In − P2 )X2 b2 + (In − P2 )e
= (In − P2 )X1 b1 + e
13
補題 2. X1∗ ⊥ e．
証明：
X1∗ ′ e = X1′ (In − P2 )e
= X1′ e
=0
14
定理 3 (残差回帰).
b1 =
(
)
∗′
∗ −1
X1 X1
∗′ ∗
X1 y
証明：補題より
∗′ ∗
X1 y
=
=
=
∗′
X1 (X1∗ b1 + e)
∗′
∗
∗′
X1 X1 b1 + X1 e
X1∗ ′ X1∗ b1
15
3 適合度（p. 67）
y の X 上への線形回帰モデル：
E(y|X) = ıα + Xβ
(α, β) の OLS 推定量を (a, b) とする．
残差の定義より
y = ıa + Xb + e
ı の列空間への射影行列は
P := ı(ı′ ı)−1 ı′
16
y の射影残差は
y∗ = y − P y
ı′ y
=y−ı
n

y1 − y¯
 .. 
= . 
yn − y¯
17
X の射影残差は
X∗ = X − P X
ı′ X
=X −ı
n
 ′
¯′
x1 − x


.
..
=

¯′
x′n − x
18
先の補題より
y∗ = X ∗ b + e
ただし X ∗ ⊥ e．
ピタゴラスの定理より
∥y ∗ ∥2 = ∥X ∗ b∥2 + ∥e∥2
19
決定係数（p. 68）
定義 3. 決定係数は
′
e
e
2
R := 1 − ∗ ′ ∗
y y
注：説明変数を増やせば R2 は大きくなる．
定義 4. 自由度修正済み決定係数は
′
e
e/(n − k)
2
¯
R := 1 − ∗ ′ ∗
y y /(n − 1)
20
注：(y, X) を無作為標本とすると，
(
E
∗′ ∗
y y
n−1
)
= var(yi )
古典的線形回帰モデルなら
(
E
′
ee
n−k
)
= var(ui )
¯ 2 は 1 − var(ui )/ var(yi ) の推定量．
したがって R
21
今日のキーワード
射影，射影行列，対称行列，べき等行列，残差回帰，決定係
数，自由度修正済み決定係数
22