2014/5/13 3.4.2 残差による回帰 (Residual Regression) S5_1 計量経済学回帰結果 (RR-1) Y = Xb + e = X1b1 + X2b2 + e, b  • 残差回帰（回帰係数の部分ベクトル）別名：FWL（Frisch,Waugh,Lovell)定理 b =  1  , X =[X1 | X2] b 2  • チェック：2変数回帰 • 応用例：分散の分解と決定係数 • 自由度修正済み決定係数 X1:(nxk1), X2: (nxk2) b1: (k1x1), b2: (k2x1) 注意：X’e = k1+k2 = k  X1 '   X1 ' e  0   X ' e   X ' e    0   2   2    1 残差回帰 2 b2を以下の3ステップで求める。 ~ X1へ回帰し残差を作るオペレータステップ1：YをX1に回帰し残差ベクトル Y を求める。（この回帰はYのX1への補助回帰と呼ばれる。）ステップ2：X2をX1に（補助）回帰し残差行列 X 2 を求める。 ~ ステップ3：ステップ1のYの残差 Y を (RR-2) M1 = I  X1(X1'X1)-1X1' X2とYの補助回帰からの残差行列とベクトルを(~)を付けて表す。ステップ2のX2の残差 X 2 に回帰。 FWL定理 (RR-3) (FWL-1) ステップ3の係数ベクトルはb2、 ~ ~ X 2 = M1X2, Y = M1Y (FWL-2) ステップ3の残差はeと同じ 3 4 1 2014/5/13 (RR-4) ~ X 2 とeに注目 ~ Y = M1(X1b1 + X2b2 + e) (RR-6) ' e X 2 = M1X1b1 + M1X2b2 + M1e = X2'e = M 1X 2b 2 + e =0 ~ X 2 と e とは直交 ~ ~ ⇒ b2 は Y を X 2 に回帰した時の「正規方程式」の解 (最後の等号はM1X1= 0, M1e = e より成立) M1e = (IX1(X1’X1)-1X1’)e = e  0 (RR-5) ~ Y = (M1X2)'e = X2'M1e ⇒ 回帰係数の部分ベクトル b2 は残差回帰で得られる。（FWL-1）証明了！ ~ ~ = X 2 b2 + e ~ e： Y を X 2 に回帰した時の残差かつ、Y を X に回帰した残差。 (FWL-2)も成立する！ 5 6 残差回帰の例、二変数回帰モデル b2はYの一次結合 (RR-7) 定数項をX1（和ベクトル）、ベクトルxをX2として残差回帰 ~ ' ~ 1 ~ ' ~ b2 = [ X 2 X 2 ] X 2 Y 1 x1  : x  2 X  1 x    X1 : :    1 xn  = ~ ~ [X'2 X 2 ]1 ( M1X 2 )' M1Y = ~ ~ [X'2 X 2 ]1 X 2 ' M1 ' M1Y (RR-8) ~ ~ [X'2 X 2 ]1 X 2 ' M1Y x : (nx1) ベクトル = X2  M1 = I - 1(1'1)-11' = I - 1(n-1)1' = I - (11')/n M1:ベクトルを平均から測るオペレータ  x1  1  x1  x   x  1 x  x  2      M1x = (I – (11’)/n)x = x – 1(1’x)/n = x – 1 x = x 2  :  :   :        xn  1  xn  x  ~ ' ~ 1 ~ = [X 2 X 2 ] X 2 ' Y 7 8 2 2014/5/13 ~ ~ 残差ベクトル Y, X 2 3.4.3 分散の分解と決定係数  X1  X   Y1  Y         Y2  Y  , X   X2  X  Y 2  :   :       Yn  Y   X n  X  ~ ~ ~ Ｋ変数回帰で定数項（切片）が含まれているケース Yi = b1 + Xi2b2+Xi3b3 + .. + Xikbk + ei, i = 1,..,n X = [X1|X2] = [1|X2] (定数項(1)をX1、その他全ての説明変数をX2) ~ = ( X 2 ' X 2 )-1 X 2 ' Y b2 (3-4-1) = i(Xi  X )(Yi  Y )/i(Xi  X )2 ~  b2 + e Y = Y  1 Y = ( Yˆ -1 Y ) + e = X 2  はY, X2の標本平均からの偏差  ,X Y 2 2 変数回帰の係数 b と一致。  e ˆ -1 Y )  e, X (Y 2 9 10 総変動(TSS)を  'Y  を二つに分解 Yの総変動(TSS)= i(Yi  Y ) = Y 2 (3-4-2) 説明された変動 i(Yi - Y )2 +  'Y  =Y =  'X  b = ( Y 1 Y)’( Y 1 Y)) (ESS = b 2 ' X 2 2 2 残差変動 (RSS = e'e) に分解Ｋ変数回帰の決定係数  'X  b b2’ + e’e b2 ' X 2 2 2 (3-4-3) R2 = 1 - RSS/TSS = ESS/TSS ˆ -1 Y )’( Y ˆ -1 Y ) + e’e = (Y 11 12 3 2014/5/13 2 自由度修正済み決定係数 ( R ) 0  R2  1 R2=1なら説明変数の追加により残差二乗和は必ず減少。 RSSはゼロ(残差ベクトルeはゼロ) 決定係数を「改善」したいならｋを増やせばよい。 YはXで完全に説明される R2=ゼロ TSS = RSS kの増加による決定係数の上昇を  は常に一定で Y Y i 「割り引いた」あてはまりの尺度定数項以外の回帰係数b2は全てゼロ (3-4-4) YはXの線形関数で全く説明できない R2  1 RSS (n-1) (n-1)  1  (1  R 2 ) TSS (n-k) (n-k) R2の平方根は重相関係数と呼ばれる。  の相関係数の二乗と一致。 R2はYと Y 13 14 R2 2 ・ R はｋが2以上の時には必ずR2より小さくなる。・RSSが同じならkの増加とともに小さくなる。・R2が小さい時はマイナスになる場合もある。・R2, R 2 はあてはまりを測る尺度として便利だがこれらの値を基準にモデルを選択すべきという理論的根拠は特にない。 15 4