第 7 回 OLS の幾何学村澤康友 2014 年 5 月 28 日目次 1 OLS と射影 1 2 残差回帰 3 3 適合度 4 3.1 決定係数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 3.2 自由度修正済み決定係数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1 OLS と射影大きさ n の (1 + k) 変量データを (y, X) とする．X ′ X は非特異とする．y の X 上への線形回帰モデルは E(y|X) = Xβ 実現値として y, Xβ ∈ Rn ．OLS 問題は min (y − Xβ)′ (y − Xβ) and β ∈ Rk β ユークリッド・ノルムを用いると min ∥y − Xβ∥ and β ∈ Rk β β の OLS 推定量を b とする．1 階の条件より X ′ (y − Xb) = 0 したがって b = (X ′ X)−1 X ′ y 残差ベクトルを e := y − Xb とする．定理 1. X ⊥ e． 1 M’ I-P P y e Xb M X 図1 OLS と射影証明. 1 階の条件より X ′ e = 0．系 1 (ピタゴラスの定理). ∥y∥2 = ∥Xb∥2 + ∥e∥2 証明. 前定理より ∥y∥2 := y ′ y = (Xb + e)′ (Xb + e) = (b′ X ′ + e′ )(Xb + e) = b′ X ′ Xb + b′ X ′ e + e′ Xb + e′ e = (Xb)′ (Xb) + e′ e 注 1. X の列空間を M ，その直交補空間を M ⊥ とすると，Xb は y の M 上への，e は y の M ⊥ 上への射影となっている．P := X(X ′ X)−1 X ′ とすると Xb = X(X ′ X)−1 X ′ y = Py e := y − Xb = y − Py = (In − P )y したがって P は y を M 上に，In − P は y を M ⊥ 上に射影する（図 1）．練習 1. P , In − P が対称べき等であることを示しなさい． 2 練習 2. 以下の式が成り立つことを示しなさい． 1. P X = X ， 2. P e = 0， 3. (In − P )X = O， 4. (In − P )e = e． 2 残差回帰 y の X 上への線形回帰モデルを次のように書く． E(y|X) = X1 β1 + X2 β2 β1 のみに関心がある．(β1 , β2 ) の OLS 推定量を (b1 , b2 ) とする．X2 の列空間への射影行列は P2 := X2 (X2′ X2 )−1 X2′ y, X1 の射影残差は y ∗ := (In − P2 )y X1∗ := (In − P2 )X1 補題 1. y ∗ = X1∗ b1 + e 証明. 残差の定義より y = X1 b1 + X2 b2 + e したがって y ∗ := (In − P2 )y = (In − P2 )(X1 b1 + X2 b2 + e) = (In − P2 )X1 b1 + (In − P2 )X2 b2 + (In − P2 )e = (In − P2 )X1 b1 + e 補題 2. X1∗ ⊥ e．証明. X1∗ ′ e = X1′ (In − P2 )e = X1′ e =0 定理 2 (残差回帰). ( )−1 ∗ ′ ∗ b1 = X1∗ ′ X1∗ X1 y 3 証明. 補題より X1∗ ′ y ∗ = X1∗ ′ (X1∗ b1 + e) = X1∗ ′ X1∗ b1 + X1∗ ′ e = X1∗ ′ X1∗ b1 注 2. X ′ X より X1∗ ′ X1∗ の方がサイズが小さいので逆行列の計算が容易．X がダミー変数を多く含む場合に用いる．例 1. x2 := ı とすると， P2 = ı(ı′ ı)−1 ı′ = ıı′ n したがって y ∗ = y − P2 y ı′ y =y−ı n  y1 − y¯   =  ...  yn − y¯ X1∗ = X1 − P2 X1 ı′ X1 = X1 − ı n  ′ ¯′ x1 − x   .. =  . ¯′ x′n − x 3 適合度 3.1 決定係数次のような y の X 上への線形回帰モデルを考える． E(y|X) = ıα + Xβ (α, β) の OLS 推定量を (a, b) とする．残差の定義より y = ıa + Xb + e ı の列空間への射影行列は P := ı(ı′ ı)−1 ı′ y, X の射影残差は y ∗ := (In − P )y X ∗ := (In − P )X 4 先の補題より y∗ = X ∗ b + e ただし X ∗ ⊥ e．したがってピタゴラスの定理より ∥y ∗ ∥2 = ∥X ∗ b∥2 + ∥e∥2 定義 1. 決定係数は R2 := 1 − e′ e y∗ ′ y∗ 注 3. 説明変数を増やせば R2 は大きくなる． 3.2 自由度修正済み決定係数定義 2. 自由度修正済み決定係数は ′ ¯ 2 := 1 − e e/(n − k) R ∗ y ′ y ∗ /(n − 1) 注 4. (y, X) を無作為標本とすると， ( E 古典的線形回帰モデルなら ( E y∗ ′ y∗ n−1 e′ e n−k ) = σy2 ) = σu2 ¯ 2 は 1 − σu2 /σy2 の推定量となっている．ただししたがって R ( 2) ¯ =1−E E R ( e′ e/(n − k) y ∗ ′ y ∗ /(n − 1) E(e′ e/(n − k)) ̸= 1 − E(y ∗ ′ y ∗ /(n − 1)) σ2 = 1 − u2 σy 5 )