データ解析 http://coconut.sys.eng.shizuoka.ac.jp/data/ 静岡大学工学部安藤和敏 2005.10.26 2-2 １変数を多変数から予測する重回帰分析重回帰分析のデータ個体変数番号 x 変数 u 変数 v 変数 w … 変数 y 1 x1 u1 v1 w1 … y1 2 x2 u2 v2 w2 … y2 … wi … yi … … … un … … xn vi … … n … … ui … … xi … … i vn wn … yn 重回帰分析のデータの例社員 No 1 2 3 4 5 6 7 社交性 7 4 6 5 6 6 4 給与評勤勉性企画力判断力価 6 7 8 10 5 5 4 4 8 4 4 8 5 5 5 8 6 4 5 6 5 6 6 7 4 6 6 8 重回帰分析の目的（の一つ）与えられたデータに「最もよくあてはまる」方程式説明変数回帰方程式 y  a  bx  cu　 dv  ew   を求めること．目的変数切片回帰係数偏回帰係数「最もよくあてはまる」方程式ってどういうこと？重回帰分析のデータ（説明変数が２個の場合）個体番号変数 x 変数 u 変数 y 1 x1 u1 y1 2 x2 u2 y2 … … … … i xi ui yi … … … … n xn un yn 重回帰分析のデータ（説明変数が２個の場合）番号 1 2 3 4 5 6 7 8 9 10 11 12 身長(x) 体重(u) 靴サイズ(y) 162 44 24.0 165 48 24.5 168 53 25.5 160 45 22.5 158 45 23.0 153 43 22.0 158 45 23.0 168 50 24.0 157 52 23.0 154 42 23.0 170 48 25.0 157 45 23.5 (cm) (kg) (cm) データの３次元プロット説明変数が２個の場合の重回帰分析与えられたデータに「最もよくあてはまる」平面回帰方程式 y  a  bx  cu　(1) を求めること．目的変数切片回帰係数説明変数「最もよくあてはまる平面」ってどういうこと？平面のあてはめ（１）平面のあてはめ（２）平面のあてはめ（３）残差  i  yi  (a  bxi  cui ) 残差平方和 Q Q n 2  i 1 i n y i 1 i     (a  bxi  cui ) 2 Qを a,b ,cを変数にもつ3変数関数として見て， Q(a,b,c)を最小にする a,b,cが，データに「最もよくあてはまる」平面を与えると考える．このようにしてa,b,cを求める方法を最小２乗法と呼ぶ．どのようにしてQ(a,b,c)を最小にする a,b,cをもとめるのかを見ていく．一般に多変数関数の極値（最大値，最小値）を求めるには，各変数で偏微分して０と置いた方程式系を解けばよい  Q n    2yi  (a  bxi  cui )  0,   a i 1  n  Q    2 xi yi  (a  bxi  cui )  0,   b i 1  n  Q     2ui yi  (a  bxi  cui )  0  c i 1 連立方程式を解く（１） n  yi  (a  bxi  cui )  0,  i 1 n   xi yi  (a  bxi  cui )  0,  i 1 n  ui yi  (a  bxi  cui )  0  i 1 連立方程式を解く（２） n  yi  (a  bxi  cui )  0 i 1 y  a  bx  cu 連立方程式を解く（３） n i1 xi yi  (a  bxi  cui )            n x y  ( y  b x  c u  bx  cu ) i i i i i 1 n x ( y  y )  b ( x  x )  c ( u  u ) i i i i i 1 n x ( y  y )  b ( x  x )  c ( u  u ) i i i i 1 n ( x  x ) ( y  y )  b ( x  x )  c ( u i i i i i 1 2 nsxy  bnsx  cnsxu   u ) 連立方程式を解く（４） n i1 ui yi  (a  bxi  cui )            n u y  ( y  b x  c u  bx  cu ) i i i i i 1 n u ( y  y )  b ( x  x )  c ( u  u ) i i i i i 1 n u ( y  y )  b ( x  x )  c ( u  u ) i i i i 1 n ( u  u ) ( y  y )  b ( x  x )  c ( u i i i i i 1 2 nsuy  bnsxu  cnsu   u ) 連立方程式を解く（５） 2 0  sxy  bsx  csxu , 2 0  suy  bsxu  csu  s x2   s xu s xu  b  s xy    s    2 su  c   uy  連立方程式の解 2  sx 1 s xu  s xy  ,    2 su   suy  a  y  bx  cu b c      s xu 多重共線性（１）  s x2 det   s xu s xu   0  2 su  のときは，のときは，方程式  s x2   s xu s xu  b  s xy    2 c   s  su     uy  の解は一意に定まらない．なにが起こっているのか？多重共線性（３）  s x2 det  s xu s xu  2 2 2  0  s s  s  0  x u xu 2 su   2 rxu  2 s xu 2 2 s x su 1 であるから，xとuの間には，x = αu + βという関係がある．したがって，xかuのうちのどちらか一方をモデルから取り除いてもyを説明できる．多重共線性（３）  s x2 det   s xu s xu  ≒ 0  2 su  のときも，同様のことが言える．重回帰分析のパス図 y  a  bx  cu x b y u c ε 残差平方和の別表現（２）（つづき）      n n n 2 2 2 2 2  i 1 ( yi  y )  b ( x  x )  c ( u  u ) i 1 i i 1 i n n  2b i 1 ( yi  y )(xi  x )  2c i 1 ( yi  y )(ui  u ) n  2bc i 1 ( xi  x )(ui  u )  ns2y  b 2 nsx2  c 2 nsu2  2nbsxy  2ncsuy  2nbcsxu  残差平方和の別表現（３）（つづき）  ns2y  b 2 nsx2  c 2 nsu2  2nbsxy  2ncsuy  2nbcsxu 2  s s xu  b 2 x  nsy  nb c   2 nbs  2 ncs  xy uy   2  s xu su  c   s xy  2  nsy  nb c    2nbsxy  2ncsuy  suy  2 s    sx xy 2 2  nsy  nb c    nsy  nb c   s xu  suy  s xu  b 2  c  su    残差平方和の別表現（４） 2  sx 2 2 s  s y  b c   s xu  2 sy 2  bsx 2  csu s xu  b  2  c  su     2bcsxu つまり 2 sy  2 s  bs x 2 2  cs u  2bcs xu  (3) 残差平方和の別表現（１） Q n 2  i 1 i  n i 1 yi  (a  bxi  cui ) 2  yi  y  y  (a  bxi  cui )  yi  y  a  bx  (a  bxi  cui )  ( yi  y )  b( xi  x )  c(ui  u ) n i 1 n i 1 n i 1 2 2 2 本日のまとめ • 説明変数が２個の場合の重回帰分析のモデルを理解した． • 説明変数が２個の場合の最小２乗法の考え方，及び，回帰方程式の求め方を理解した． • Excelを用いて重回帰分析を行う方法を理解した． • 次の式 2 sy  2 s  bs x 2 2  cs u の導出法を理解した．  2bcs xu  (3)