回帰分析（Regression Analysis) 最小２乗法決定係数   ＸとYの線形関係変数ｘと変数ｙの線形関係を把握するために、一つの固定した傾き  と切片  をとり、その直線を ① y    x とおいてみる。Ｘ：独立変数（説明変数）. Y：従属変数（被説明変数）. 最小２乗法パラメータ（Parameter, 未知の係数）  、が定まれば、この直線が定まり、ｘからｙ  が決定される仕組みが明らかになる。  と  を決める方法として、最小２乗法（ Least Squares Method ）による当てはめを考えよう。推計の誤差式①のｘに第 i 番のデータの値を yi* とする。 * 理論値 ② xi を代入したときのｙ yi    xi ｎ個データ ( xi , yi )(i  1,2,  , n)について、ｎ個の誤差が式③によって得られる。実際値 ③ yi    xi   i 誤差 ④ i  yi  y  yi  (  xi ) * i  yi    xi 誤差の２乗和(Sum of Squares of Errors) ⑤ SSE  n  i 1 n 2 i   ( yi    xi )  Q 2 i 1 を最小にするような  と  の値を求める。この方法を最小2乗法といい、その推定値を最小２乗推定値という。誤差を最小にする方法  SSEはと  の２変数関数の２次式であるので、最小を求めるために、  でそれぞれ偏微分して０とおくと、正規方程式  Q  2 ( yi    xi )  0  Q  2 xi ( yi    xi )  0  となる。極値の判定関数f(x)において、 ` `` f (a)  0, f (a)  o ならば f(x)はx=aで極小となりならば f (a)  0, f (a)  o ` `` f(x)はx=aで極大となる連立方程式の解を解く ⑥ n y i 1 i n x y i 1 i i n  n    xi i 1 n n    xi    x i 1 i 1 2 i 回帰係数の計算式式⑥を  ,  の２元連立方程式として解くと、,  の最小２乗推定値は ⑦ b ⑧ n xi yi   xi  yi n x  ( xi ) 2 i a  y  bx 2  S xy S xx 最小２乗残差回帰直線を用いてｘに x i を代入したときの直線の予測値 y ˆi ⑨ yˆ i  a  bxi と実際値の yi との差 ⑩ ei  yi  yˆ i  yi  a  bxi 作成する。これを最小２乗残差という。最小２乗残差の平均値と分散残差 ei は理論的誤差  i の実現値と見なして、ｎ個のデータを用いてｘとｙの線形関係をよく把握したものである。残差の平均と分散は ⑪ ⑫ 1 n e   ei  y  a  bx  0 n i 1 1 1 2 2 S ee   (ei  e )   ei n n