決定係数

回帰分析
直線の当てはまりの程度
1
最小二乗法による推定値
yi    xi  ei
において
n
 ei

i 1
と
2

を最小化するように
を求めることを最小二乗法という。
2
 の推定値
ˆ 
n
n
i 1
i 1
ˆ x
y


 i  i
n
n

y
i 1
n
i
n
 ˆ
x
i 1
n
i
 y  ˆx
3
 の推定値
ˆ 
n
n
n
i 1
i 1
i 1
n xi yi    xi   yi 


n x     xi 
i 1
 i 1

n
n
2
2
i
n

  x y   nx y
i 1
n
i
i
 x  nx
i 1
2
i
2
4
偏差の積の総和
xとyのそれぞれの平均からの偏差を
掛け合わせた値の総和をSxyと表す
n
S xy    xi  x  yi  y 
i 1
5
問題
以下の式の右辺を整理しなさい。
n
S xy    xi  x  yi  y 
i 1
n
   xi yi   nx y
i 1
6
Sxx と Syy
同様にxとyの偏差の二乗和をSxx,Syyと表す。
S xx    xi  x    x   nx
n
2
i 1
n
i 1
2
i
2
S yy    yi  y     y   ny
n
i 1
2
n
i 1
2
i
2
7
Sxx Sxy Syyをつかって  と  を表現
ˆ

S xy
S xx
̂  y 
S xy
S xx
x
8
残差平方和（RSS ）
ここで、,によって推定された直線上の値と観測値
のy軸上の差を残差と呼ぶ。残差の二乗和を残差平
方和と呼びRSSと表す。
n
RSS  
i 1

ˆ
ˆ
yi    xi

2
RSSを展開・整理（１）
n


 

RSS   yi  ˆ  ˆxi
i 1
n
2
  yi  y  ˆx  ˆxi
i 1

2
RSSを展開・整理（２）
n


   yi  y   ̂  xi  x 
i 1
n
2
n
2
2
ˆ
   yi  y      xi  x 
2
i 1
2
ˆ
 2
i 1
n
  y
i 1
i
 y xi  x 
RSSを展開・整理（３）
2
ˆ
ˆ
RSS  S yy   S xx  2S xy
ここで
ˆ 
S xy
S xx
を代入
RSSを展開・整理（４）
 S xy
RSS  S yy  
 S xx
2
S xy

 S xx  2
S xy
S xx

問題
S xy
RSS

S

yy
上の式を整理しなさい
S xx
2
13
S yy
S
2
xy
S xx
を総平方和といい、TSSと表す
を説明された平方和といい、ESSと表す
RSS  TSS  ESS
TSS  RSS  ESS
14
ESSとTSSの比
ここで「説明された平方和（ESS）」と「総平方和の
比（TSS）をとる。
2
xy
S xy
ESS S 1


TSS S xx S yy
S yy
15
R2 決定係数
ここで「説明された平方和（ESS）」と「総平方和
（TSS）」の比を決定係数と呼びR2であらわす。
ESS
R 
TSS
2
決定係数は直線の当てはまりの尺度を示す指標
として利用される。
16

Download Report