重回帰分析の例

重回帰分析の例
情報科学基礎実験 I 担当
佐藤康臣
以下のデータの重回帰分析を行い，重相関係数，決定係数，回帰式を求める．
x1
x2
y
1
1
6
2
1
7
3
2
10
2
3
11
1. 回帰式を求める
X=
1
1
1
1
x11
x12
x13
x14
y=
1
Xt X = 1
1
1 1
2 3
1 2
1
2
3
1
1
1
1
1
2
3
2
x21
1
x22
1
=
x23
1
x24
1
y1
6
y2
7
y3 = 10
y4
11
1
1
2
3
8
18
15
1
1
2
3
1 1 1 1
Xt = 1 2 3 2
1 1 2 3
1∗1+1∗1+1∗1+1∗1
= 1∗1+2∗1+3∗1+2∗1
1∗1+1∗1+2∗1+3∗1
4
= 8
7
1
2
3
2
1∗1+1∗2+1∗3+1∗2 1∗1+1∗1+1∗2+1∗3
1∗1+2∗2+3∗3+2∗2 1∗1+2∗1+3∗2+2∗3
1∗1+1∗2+2∗3+3∗2 1∗1+1∗1+2∗2+3∗2
7
15
15
1 1 1 1
xt y = 1 2 3 2
1 1 2 3
6
7
10
11
1 ∗ 6 + 1 ∗ 7 + 1 ∗ 10 + 1 ∗ 11
34
= 1 ∗ 6 + 2 ∗ 7 + 3 ∗ 10 + 2 ∗ 11 = 72
1 ∗ 6 + 1 ∗ 7 + 2 ∗ 10 + 3 ∗ 11
66
X t X b = X t yなので
4 8
7
8 18 15
7 15 15
b1
34
b2 = 72
b3
66
つまり
4b1 + 8b2 + 7b3 = 34
(1)
8b1 + 18b2 + 15b3 = 72
(2)
7b1 + 15b2 + 15b3 = 66
(3)
を解いて，b1 , b2 , b3 を求める．
枢軸選択付き Gauss の消去法で解く.
まずは前進消去を行う．
b1 の係数についてmax{|4|,|8|,|7|}=8 なので，(1)式と(2)式を入れ替える(枢軸選択).
8b1 + 18b2 + 15b3 = 72
4b1 + 8b2 + 7b3 = 34
7b1 + 15b2 + 15b3 = 66
(4)
(5)
(6)
4
5 式 − 4 式 ∗ を計算すると
8
8 − 18 ∗
4
4
4
b + 7 − 15 ∗ b3 = 34 − 72 ∗
8 2
8
8
1
−b2 − b3 = −2
2
7
6 式 − 4 式 ∗ 8を計算すると
15 − 18 ∗
7
7
7
b2 + 15 − 15 ∗ b3 = 66 − 72 ∗
8
8
8
3
15
− b2 + b3 = 3
4
8
(4)(5)(6)式は以下の(7)(8)(9)式に変形された.
8b1 + 18b2 + 15b3 = 72
(7)
1
−b2 − b3 = −2
2
(8)
3
15
− b2 + b3 = 3
4
8
(9)
3
b2 の係数についてmax{|−1|,|− 4|}=1 なので，枢軸の入れ替えはなし．
3
9 式 − 8 式 ∗ 4を計算すると
15
1 3
3
− − ∗ b3 = 3 − −2 ∗
8
2 4
4
9
9
b3 =
4
2
(7)(8)(9)式は以下の(10)(11)(12)式に変形された.
8b1 + 18b2 + 15b3 = 72
(10)
1
−b2 − b3 = −2
2
(11)
9
9
b =
4 3 2
(12)
ここで前進消去は終了．
次に後退代入を行う．
1 9
∗ =2
9 2
4
1
1
b2 =
∗ {−2 − (− ) ∗ 2} = 1
−1
2
b3 =
b1 =
1
∗ 72 − 18 ∗ 1 + 15 ∗ 2
8
=3
よって回帰式は
y = b2 x1 + b3 x2 + b1 = x1 + 2x2 + 3
となる．
2. 決定係数，重相関係数を求める．
y = Xb =
SE =
4
i=1(yi
1
1
1
1
1
2
3
2
1
1
2
3
4
i=1(yi
1∗3+1∗1+1∗2
1∗3+2∗1+1∗2
=
1∗3+3∗1+2∗2
1∗3+2∗1+3∗2
− yi )2 = (6 − 6)2 + (7 − 7)2 + (10 − 10)2 + (11 − 11)2 =0
y=
Sy =
3
1 =
2
− yi )2 = (6 −
17 2
)
2
1
17
6 + 7 + 10 + 11 =
4
2
+ (7 −
17 2
) +(10
2
R2 = 1 −
−
17 2
) +(11
2
−
SE
0
=1−
=1
Sy
17
R=
R2 = 1
重相関係数は 1.
R2 ∗ 100 = 1 ∗ 100 = 100%
決定係数は 100%
17 2
) =17
2
6
7
10
11

Download Report