決定係数

統計学講義 第11回
相関係数、回帰直線
決定係数
決定係数
Coefficient of Determination:
被説明変数yが説明変数xからどの程度決
定されるかを判断する数値基準。
Xが yを決定する強弱の度合いを測る係数。
復習:最小2乗残差
ei  yi  yˆ i  yi  a  bxi
n
1
e   ei  y  a  bx  0
n i 1
1
1
2
S ee   (ei  e )   ei2
n
n
1
  ( y i  a  bx i ) 2
n
y
yˆ  a  bxi
x
決定係数の意味
y
( xi , yi )
( yi  yˆ )
yˆ  a  bxi
( yi  y )
( yˆ  y )
y
xi
x
Yの平均偏差の分解
yi  y  ( yi  yˆ i )  ( yˆ i  y)  ei  ( yˆ i  y)
上の式を2乗して和をとると、交差項
 e ( yˆ  y)  0
i
i
となるので、 yi の平均値からの偏差2乗和は
2
2
2
ˆ
(
y

y
)

e

(
y

y
)
 i
i  i
Yの全変動に対する比
( y
i
 y)  e  ( yˆ i  y)
2
2
i
2
(Yの全変動)=(残差平方和)+(回帰変動)
式の両方にYの全変動で割ると、Yの全変
動に対する比として、
1
e
2
i
 ( y  y)
i
( yˆ  y )


 ( y  y)
2
i
2
i
2
決定係数は回帰式で説明される比重
 ( yˆ i  y )
e
2
2
i
S ee
R 
 1
 1
2
2
S yy
 ( yi  y )
 ( yi  y )
2
n
e
2
i
i 1
n
e  (y
i 1
i 1
n
i 1
i 1
2
2
2
e
/
(
y

y
)

0
;
R
 1 i  i
 0,
n
n
2
i
n
 y) ,
2
i
n
 e /  ( y  y)
i 1
2
i
i
2
 1; R  0
2
i
残差分散が小さければ、決定係数は大きくなり、回帰
直線のあてはまりはよいことになる。
決定係数の取りうる数値の範囲
0  R 1
2
決定係数
0
決定係数
1
決定係数は1に近いほど、推計値 yˆi は実際値 yi との
当てはまりがよいことになり、回帰モデルの説明力は高い。
決定係数の計算式
2
e
 i
S ee
2
R  1
 1
  xy
2
S yy
 ( yi  y )
2
S ee : 最小2乗残差の分散
: yの分散
ei : 最小2乗残差
S yy
2変数に限り、決定係数は相関係数の2乗となる
証明:
相関係数、共分散と回帰係数 b
の関係
正の相関
正の傾き
 xy  0  S xy  0  b  0
無相関
 xy  0  S xy  0  b  0
負の相関
負の傾き
 xy  0  S xy  0  b  0
相関係数、回帰係数 bと決定係
数の関係
b   xy 

2
xy
Sy
Sx
See
2
 1
R
S yy
2変数の場合に限り、相関係数の2乗は決定係
数である。
次回の予習:pp.64~75