第 6 回回帰と相関村澤康友 2014 年 10 月 20 日目次回帰係数と相関係数 1 1.1 標準化した変数の回帰 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 逆回帰 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 決定係数と重相関係数 3 2.1 決定係数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2.2 重相関係数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1 2 1 回帰係数と相関係数 1.1 標準化した変数の回帰 2 変量データを ((y1 , x1 ), . . . , (yn , xn )) とする．以下の統計量を定義する． x ¯ := 1∑ xi n i=1 y¯ := 1∑ yi n i=1 n n σ ˆx2 := 1∑ (xi − x ¯)2 n i=1 σ ˆy2 := 1∑ (yi − y¯)2 n i=1 n n 1∑ := (xi − x ¯)(yi − y¯) n i=1 n σ ˆxy ρˆxy := yi の xi 上への単回帰モデルは σ ˆxy σ ˆx σ ˆy E(yi |xi ) = α + βxi 1 β の OLS 推定量は ∑n (x − x ¯)(yi − y¯) ∑n i b = i=1 ¯ )2 i=1 (xi − x σ ˆxy = 2 σ ˆx 平均が 0，分散が 1 となるように各変数を標準化する．すなわち i = 1, . . . , n について xi − x ¯ σ ˆx yi − y¯ yi∗ := σ ˆy x∗i := yi∗ を x∗i に回帰したときの回帰係数を OLS で求めると， ∑n x∗i yi∗ ∗ b = ∑i=1 n ∗2 i=1 xi n 1∑ ∗ ∗ = x y n i=1 i i = ρˆxy 1.2 逆回帰 yi の xi 上への単回帰モデルは E(yi |xi ) = α + βxi β の OLS 推定量は ∑n (x − x ¯)(yi − y¯) ∑n i b = i=1 ¯ )2 i=1 (xi − x σ ˆxy = 2 σ ˆx xi の yi 上への単回帰モデルは E(xi |yi ) = γ + δyi δ の OLS 推定量は ∑n (y − y¯)(xi − x ¯) i=1 ∑n i 2 (y − y ¯ ) i i=1 σ ˆyx = 2 σ ˆy d= したがって bd = 2 σ ˆxy σ ˆx2 σ ˆy2 = ρˆ2xy すなわち一般に bd ̸= 1（図 1）． 2 4 -4 -2 x 0 2 4 2 0 -4 -2 y -4 -2 0 2 4 -4 x 0 y 図1 回帰と逆回帰 2 決定係数と重相関係数 2.1 決定係数 yi の xi 上への単回帰モデルは -2 E(yi |xi ) = α + βxi 回帰予測を yˆi := a∗ + b∗ xi ，残差を ei := yi − yˆi とする．定理 1. n ∑ ei = 0 i=1 n ∑ xi ei = 0 i=1 証明. OLS 問題は min a,b n ∑ (yi − a − bxi )2 i=1 and a, b ∈ R 3 2 4 1 階の条件より n ∑ (yi − a∗ − b∗ xi ) = 0 i=1 n ∑ xi (yi − a∗ − b∗ xi ) = 0 i=1 定義 1. (y1 , . . . , yn ) の総変動は TSS := n ∑ (yi − y¯)2 i=1 定義 2. (y1 , . . . , yn ) の回帰変動は ESS := n ∑ (ˆ yi − y¯)2 i=1 定義 3. (y1 , . . . , yn ) の残差変動（残差 2 乗和）は RSS := n ∑ e2i i=1 定理 2. TSS = ESS + RSS 証明. 総変動は TSS := n ∑ (yi − y¯)2 i=1 n ∑ = [(ˆ yi − y¯) + ei ]2 i=1 = n ∑ [ (ˆ yi − y¯)2 + 2(ˆ yi − y¯)ei + e2i ] i=1 n n n ∑ ∑ ∑ = (ˆ yi − y¯)2 + 2 (ˆ yi − y¯)ei + e2i i=1 i=1 i=1 前定理より n n ∑ ∑ (ˆ yi − y¯)ei = [(a∗ + b∗ xi ) − (a∗ + b∗ x ¯)]ei i=1 i=1 = b∗ n ∑ (xi − x ¯)ei i=1 = b∗ n ∑ xi ei − b∗ x ¯ i=1 n ∑ i=1 =0 4 ei 注 1. 重回帰の場合も同様．定義 4. 回帰の決定係数は R2 := ESS TSS 注 2. 前定理より R2 = 1 − RSS TSS 2.2 重相関係数定義 5. yi と yˆi の相関係数を，yi と xi の重相関係数という．注 3. 重回帰で yi と (xi,1 , . . . , xi,k ) の関係の強さを測る．単回帰なら重相関係数＝相関係数．定理 3. 決定係数は重相関係数の 2 乗．証明. (ˆ y1 , . . . , yˆn ) の平均は 1∑ 1∑ ∗ yˆi = (a + b∗ xi ) n i=1 n i=1 n n = a∗ + b∗ x ¯ = y¯ ((y1 , yˆ1 ), . . . , (yn , yˆn )) の共分散は 1∑ 1∑ (yi − y¯)(ˆ yi − y¯) = [(ˆ yi − y¯) + ei ](ˆ yi − y¯) n i=1 n i=1 n n = 1∑ 1∑ (ˆ yi − y¯)2 + ei (ˆ yi − y¯) n i=1 n i=1 = 1∑ (ˆ yi − y¯)2 n i=1 n n n ((y1 , yˆ1 ), . . . , (yn , yˆn )) の相関係数は ∑n ∑n yi − y¯) yi − y¯)2 (1/n) i=1 (yi − y¯)(ˆ (1/n) i=1 (ˆ √ √ √ √ = ∑n ∑ ∑ ∑n n n (1/n) i=1 (yi − y¯)2 (1/n) i=1 (ˆ yi − y¯)2 (1/n) i=1 (yi − y¯)2 (1/n) i=1 (ˆ yi − y¯)2 √∑ n (ˆ yi − y¯)2 = ∑i=1 n ¯)2 i=1 (yi − y √ ESS = TSS 5