回帰分析基本編（諏訪用）モデル作成入出力（U, y) の実データから対象特性の数式モデル作成構造時間線形静的 static 回帰分析対象 U 入力 ? Black box 動的 dynamic 自己回帰法 AR model MA model ARMA model y 出力 Neural network 非線形 GMDH Group method of data handling 回帰分析の教材 Volterra series expression http://www.rs.kagu.tus.ac.jp/~ohnari/sim/sim.html 031004 041111 1 掃き出し法 Sweep out method 2 逆行列の計算法 3 ２元連立方程式の求解行操作 '031004 4 ２元連立方程式の求解数式画面 A B 《初期行列》 1 2 2 3 C 方程式の各要素 5 12 -4 -5 D E 1 0 F 単位行列 0 1 《１回目の掃き出し》 3 =B12/$B$12 =C12/$B$12 =D12/$B$12 =E12/$B$12 =F12/$B$12 (第１行)/2 4 =B13-$B$13*B16 =C13-$B$13*C16 =D13-$B$13*D16 =E13-$B$13*E16 =F13-$B$13*F16 (第２行)－3×(第３行) 《２回目の掃き出し》方程式の解初期行列の逆行列 5 =B16-$C$16*B21 =C16-$C$16*C21 =D16-$C$16*D21 =E16-$C$16*E21 =F16-$C$16*F21 (第３行)－2.5×(第６行) 6 =B17/$C$17 =C17/$C$17 =D17/$C$17 =E17/$C$17 =F17/$C$17 (第４行)/(－11.5) EXCEL使用時のコマンド絶対/相対番地（式/「絶対/相対」)： $A$1→A$1→$A1→A1 Windows：F4 Mac：コマンド+T 数式表現ツール/オプション/表示-ウインドウオプション中の数式を選択回帰分析ルーチンの利用ツール/分析ツール/回帰分析 5 ３元連立方程式の求解（課題）表計算ソフト上で掃き出し法を用いて以下の方程式を解け。計算の結果もビジュアルなものにして提出すること。 { 誕生日が偶数の人３Ｘ＋５Ｙ＋２Ｚ＝１９－Ｘ＋２Ｙ＋４Ｚ＝１５１０Ｘ－８Ｙ＋Ｚ＝－３ { 誕生日が奇数の人３Ｘ－Ｙ＋３Ｚ＝１１５Ｘ＋２Ｙ－３Ｚ＝９－２Ｘ－３Ｙ＋Ｚ＝－１３解答 X=1 Y=2 Z=3 解答経過は別に掲載 '030908 oldppt 6 回帰分析とは統計学の源流：優生学 Darwin の弟子 F. Galton は優生学の問題を統計学の方法で取り扱い，回帰分析・相関分析の基礎を築いた。 1）回帰曲線ゴルトンは｢親の背の高さは子供に遺伝するか」を実証的に調べた。 x に対する y の回帰曲線 x: 独立変数，説明変数 y: 従属変数，目的変数回帰（regression) y は y に帰っていった｡ 7 回帰分析とは式と仮定 8 正規方程式 9 単回帰分析(1) 残差平方和 Sr = Σ( yi – ym ) '031003 10 単回帰分析(2) Sr a＾＾b Sr '031003 11 多重回帰分析の主要点・A行列/正規方程式のデータセットの仕方・掃き出しを重ねたときのA行列の変化の数式表現 041016 12 掃き出し法による重回帰分析の筋道 (なまの平方和・積和行列)（k+2行，k+2列） 13 １回掃き出した結果 A. 平方和・積和行列平均値平方和偏差積和 14 ２回掃き出した結果 A.. 15 ３回掃き出した結果 A… 16 ４回掃き出した結果 A…. 偏相関係数算出用の逆行列を求めるために，k+2行, k+2列まで掃き出す 17 回帰分析式での説明 (1) 031028 18 回帰分析式での説明 (2) 031028 19 回帰分析式での説明 (3) 031028 20 回帰分析式での説明 (4) 031028 21 回帰分析式での説明 (5) 031028 22 t 検定と変数減少法 041017 23 回帰分析の出題（規定問題）理論上，y = x1 + x2 で表される現象を，実験・観測した。データから，最小２乗法による近似モデルを２種類作る。 (a) 独立変数として，x1 , x2 の２つを選び，推定式 y = b0 + b1x1 + b2x2 の各係数 bi を回帰分析により同定する。 (b) (a)で得た x1, x2 の中で有意性の高い変数を１つ選び，(a)と同様の回帰分析を行う。変数減少後の推定式 y = b0 + bixi 031018 24 規定問題データ No. 1 2 3 4 5 6 7 8 9 10 11 12 13 X1 0.1 1.2 2.3 2.8 1.0 2.0 3.3 1.3 2.1 2.8 3.3 2.8 1.0 X2 0.1 0.0 0.2 0.1 -1.2 -1.1 -1.0 0.8 1.1 0.8 0.5 -0.2 2.5 Y 0.1 1.3 2.5 3.2 0.1 1.0 2.0 2.0 3.0 3.9 3.2 2.8 4.0 合計 26.0 2.6 29.1 031023 奇数日　偶数日〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇各人の誕生日の奇偶に応じてデータを選択のこと。規定問題の評価：（散布図），（計算），（考察） 25 規定問題の考察手順(1) （1）散布図（ y vs. x1 と y vs. x2 ）を描き，直感でそれぞれの勾配を求める。 (a) あらかじめ x2 vs. x1 の散布図を描いておく。データは， x1 = 0, = 1, = 2, = 3 ...., x2 = 0, = 1, = 2, = 3 ....の近傍でばらついている。各変数の値が近いものは，それぞれ１つのグループにする。 031023 26 散布図 x2 vs x1 031023 27 規定問題の考察手順(1) (b) 各散布図上（ y vs. x1 と y vs. x2 ）で，パラメータ（隠れている変数）x2 ( x1 ) のグループごとに勾配線を目視で定規で引く。 (c) それらの直線の勾配をまとめて（平均を取るなり，目の子で引くなり），一つの直感的な勾配を求め，その勾配の直線を散布図上の任意の場所に引く（切片が不明のため）。 031023 28 散布図 y vs x1 031023 29 散布図 y vs x2 031023 30 規定問題の考察手順(2)(4) （2）各種統計量を算出すること。｜相関係数｜≦１，｜自己相関係数｜＝１（3）得られた回帰直線を散布図上に描き，直感的勾配と比較する。（4）各変数の t 検定を行う。すなわち，｜t｜値（絶対値）の一番小さい値が t 分布表の値 t(自由度，0.05)より小さければ，その変数を削除して再度回帰分析をする。 031023 31 規定問題の考察手順(4)(5）（4つづき）規定問題では，この条件が成立しなくても，変数減少法の勉強のために｜t｜値の小さいほうの変数を強制的に削除して分析する。（5）変数減少の結果，回帰係数の推定値である勾配を図上に描き，その勾配を，変数減少前の回帰係数や直感的勾配と比較する。 031024 32 回帰.All Data データの入力規定問題解答例の前半 No. 1 2 3 4 5 6 7 8 9 10 11 12 13 計 Ave. 計の入力 X1 0.1 1.2 2.3 2.8 1 2 3.3 1.3 2.1 2.8 3.3 2.8 1 26 2 X2 0.1 0 0.2 0.1 -1.2 -1.1 -1 0.8 1.1 0.8 0.5 -0.2 2.5 2.6 0.2 Y 0.1 1.3 2.5 3.2 0.1 1 2 2 3 3.9 3.2 2.8 4 29.1 2.238 A行列(なまの平方和・積和行列) 0 13 26 2.6 1 26 64.14 3.23 2 2.6 3.23 12.74 3 29.1 67.2 16.67 A.行列(平方和・積和行列) 0 1 2 0.2 1 0 12.14 -1.97 2 0 -1.97 12.22 3 0 9 10.85 S.1 S.2 A..行列 0 1 0 0.525 1 0 1 -0.16 2 0 0 11.9 3 0 0 12.31 X1^2 0.01 1.44 5.29 7.84 1 4 10.89 1.69 4.41 7.84 10.89 7.84 1 64.14 4.934 29.1 67.2 16.67 85.49 X2^2 0.01 0 0.04 0.01 1.44 1.21 1 0.64 1.21 0.64 0.25 0.04 6.25 12.74 0.98 Y*Y X1*X2 0.01 0.01 1.69 0 6.25 0.46 10.24 0.28 0.01 -1.2 1 -2.2 4 -3.3 4 1.04 9 2.31 15.21 2.24 10.24 1.65 7.84 -0.56 16 2.5 85.49 3.23 6.576 0.248 正規方程式 1 0 0 0 X1*Y 0.01 1.56 5.75 8.96 0.1 2 6.6 2.6 6.3 10.92 10.56 7.84 4 67.2 5.169 X2*Y 0.01 0 0.5 0.32 -0.12 -1.1 -2 1.6 3.3 3.12 1.6 -0.56 10 16.67 1.282 規定問題の計算結果の数値はHP にある。各自計算後チェックのこと。記号 0 1 0 0 0 0 1 0 0 0 0 1 2.238 9 10.85 20.35 S.3 0.077 -2 -0.2 -2.24 0 1 0 0 0 0 1 0 0 0 0 1 0.756 0.741 12.31 13.68 0.406 -0.16 -0.52 -0.76 -0.16 0.082 0.162 -0.74 0 0 1 0 0 0 0 1 S1. S2. S3. 33 規定問題解答例の後半回帰.All Data A...行列 0 1 2 3 1 0 0 0 A....行列 0 1 K+2行, k+2列 2 まで掃き出す 3 1 0 0 0 0 1 2 3 回帰係数→b^　0 0 0.213 1 0 0.909 0 1 1.034 0 0 0.944 0 1 0 0 単相関行列 1 -0.16 -0.16 1 0.573 0.688 r.1 r.2 SR Sr VR Vr R R^2 変動回帰不偏平方和 --- 0 0 0 1 0.478 0.033 0.19 -0.23 0.573 0.688 1 r.3 残差平方和回帰不偏分散残差不偏分散重相関寄与率 0.977 0.954 b^0 b^1 b^2 Sr 平方和・積和行列の逆行列 0.033 0.19 -0.23 0.96 1.01 -0.96 1.01 1.218 -1.1 -0.96 -1.1 1.059 p.1 p.2 p.3 偏相関行列 -1 -0.93 -0.93 -1 0.955 0.965 ρ.1 ρ.2 19.41 0.944 9.703 0.094 t1 t2 041111 0 0 1 0 正規方程式の係数行列の逆行列 c.0 c.1 c.2 0.43 -0.17 -0.04 0 -0.17 0.085 0.014 0 -0.04 0.014 0.084 0 -0.21 -0.91 -1.03 1 c0. c1. c2. p1. p2. p3. 0.955 0.965 -1 ρ.3 r1. r2. r3. Sij ρ1. ρ2. ρ3. pij rij= S i i・S j j ρi j ＝ - p i i・p j j 10.18 11.62 回帰式 Y= 0.213 ＋ 0.909 X1 ＋ 1.034 X2 34 K+2行, k+2列まで掃き出す偏相関係数算出用の逆行列を求めるため。回帰係数が得られた後に１回余分に掃き出す 031023 35 規定問題解答まとめ表（書式）学籍番号：　氏名：　誕生日は　奇数・偶数回帰分析解答まとめ表変数減少結果統計諸量平均値 031104 重回帰分析単回帰分析対応行列 x1 x２ x３( =y ) A. A. A. 平方和 S11 S21,S22 S31,S32,S32 A. A. A. 回帰係数 b0 b1 b2 A... A... A... 回帰変動平方和残差平方和回帰不偏分散残差不偏分散 SR Sr　VR Vr　単相関 r11 r21, r22 r31, r32, r32, 重相関寄与率 R　R2　RR = r3i = ρ3i, 逆行列（t値用の）ｃ11 ｃ21, ｃ22 A... A... t値 t1　( t1R) t2 ( t2R) 逆行列（偏相関用の） p11 p21, p22 p31, p32, p33 偏相関 ρ11 ρ21, ρ22　ρ31,ρ32,ρ33 ρii ρ3i, ρ33　変数減少後の偏相関 A... A....　(pij) A....または(qij) A.... ↓ρ33 重回帰と変数減少後の単回帰とを合わせて記入し，共通する部分と違うところを数値的に見比べること。左のシートを Copy&paste するとExcel のシートが得られる。 36 規定問題解答まとめ（奇数・偶数）有効桁数多過ぎる 031104 37 規定問題解答まとめ（奇数・偶数） 031104 変数減少結果 38 JMPの出力 031020 規定問題を回転表示 39 回帰分析の応用回帰分析の応用は別ファイルにまとめた。以下のシートは，回帰分析応用の課題も含んでいる。 40 回帰分析結果の吟味(1) 031023 41 回帰分析結果の吟味(2) 031023 42 回帰分析結果の評価 031023 43 回帰分析の参考書 031020 44 回帰分析のKey words 回帰分析：線形・static モデル構造（多項式） vs 係数値モデルの評価: 標本/母集団，散布図構造（変数選択）: 仮説，散布図，経験・知識標本: 係数の有意性，散布図，統計量，t 値，残差平方和，単相関，偏相関，多重共線性母集団: 重相関，FPE，AIC，Cross validation，散布図，経験・知識，Teaching data/checking data 031221 45