回帰分析 1 1.1 単回帰モデル２次元データ (Xi , Yi ) (i = 1, . . . , n) に対して、単回帰モデルを想定する： Yi = α + βXi + ui (i = 1, . . . , n) ここに、Xi を説明変数、Yi を被説明変数、α と β を回帰係数、ui を誤差項と呼ぶ。回帰係数は未知、誤差項は観測不能とする。次の仮定を置く： 1. 説明変数 X1 , . . . , Xn は確率変数（random variable, r.v.) ではない; 2. 誤差項 u1 , . . . , un は互いに独立に同一の正規分布 N (0, σ 2 ) に従う。仮定の 2. を詳しく見てゆくと： • 誤差項の平均はゼロである。即ち E(ui ) = 0. この仮定は、データが直線の周りに実現することを意味している。 • 誤差項の分散は一定である。 V(ui ) = E(u2i ) = σ 2 (i = 1, . . . , n). この仮定はデータのばらつき具合が観測年によって変化することがないことを意味している。 • 誤差項同士は独立。従って、無相関。 C(ui , uj ) = E(ui uj ) = 0 (i ̸= j) この仮定は、例えばある観測年に特異なこと（ex:オイルショック）が起きて誤差項に大きな値が出たとしてもその影響は次の年に残らないことを意味する。 • 誤差項は正規分布 N (0, σ 2 ) に従う。従って、各 ui が 0 ± σ の範囲に落ちる確率は 68.3%、 0 ± 2σ の範囲に落ちる確率は 95.4%である。などが分かる。また、 Y1 , . . . , Yn は互いに独立であり、Yi ∼ N (α + βXi , σ 2 ) である。 1.2 OLSE 回帰係数 α，β の推定量として最も基礎的なものは次に定義する最小２乗推定量 (ordinary least squares estimator, OLSE) である。 1 定義. 次の量（残差２乗和） f (a, b) = n ∑ {Yi − (a + bXi )}2 i=1 ˆ と書き、これを (α, β) の OLSE と定義する。を最小にする (a, b) を (ˆ α, β) 定理 1. OLSE は次式で与えられる: ∑n ∑ ¯ i − Y¯ ) ¯ i − Y¯ ) (Xi − X)(Y (1/n) ni=1 (Xi − X)(Y Sxy i=1 ˆ ¯ ∑n ∑ ˆ = Y¯ − βˆX. β= = ≡ 2, α n 2 2 ¯ ¯ S (X − X) (1/n) (X − X) i i x i=1 i=1 証明は省略する。これにより、データを発生させた直線 Y = α + βX は ˆ Y =α ˆ + βX で推定できる。この直線を推定回帰式と言う。例 (CO2 排出量). エクセルの分析ツールの出力より、推定回帰式 Y = 584.9 + 1.10X が得られる。X が１単位増加すると (GNP が１兆円増えると)、Y は 1.10 単位増加する (CO2 は 110 万トン増加する)。X に GNP の値を入れることにより、Y の値を予測することができる。理論上の Yi の値（ノイズを取り除いた後の Yi の値）は ˆ i Yˆi = α ˆ + βX と書ける。これを予測値と言う。予測値と実測値との差を残差と言う。 ei = Yi − Yˆi . 例 (CO2 排出量). 予測値と残差の値は分析ツールで出力されるので授業で確認した。 OLSE は回帰係数の不偏推定量である。βˆ についてこのことを確認する (ˆ α についても同様のことが成り立つ)。初めに公式を２つ確認する。 ∑n ¯ 公式. 1. i=1 (Xi − X) = 0 （証明) n ∑ i=1 2. ∑n i=1 (Xi ¯ = (Xi − X) n ∑ ¯= Xi − nX i=1 n ∑ i=1 ∑ ∑ 1∑ Xi − n Xi = Xi − Xi = 0 n n n n i=1 i=1 i=1 ¯ i − Y¯ ) = ∑n (Xi − X)Y ¯ i. − X)(Y i=1 (証明) n n n n ∑ ∑ ∑ ∑ ¯ ¯ ¯ ¯ ¯ ¯ i. (Xi − X)(Yi − Y ) = (Xi − X)Yi − Y (Xi − X) = (Xi − X)Y i=1 i=1 |i=1 {z =0 2 } i=1 早速、不偏性を確認する：A = βˆ = = = ∑n i=1 (Xi ¯ 2 と置くと、 − X) ∑ 1 ∑ ¯ i − Y¯ ) = 1 ¯ i (公式) (Xi − X)(Y (Xi − X)Y A A n n i=1 i=1 n 1 ∑ ¯ (Xi − X)(α + βXi + ui ) (単回帰モデルの定義) A i=1             n n n   ∑ ∑ ∑ 1 ¯ ¯ ¯ + (Xi − X)ui α (Xi − X) +β × (Xi − X)Xi   A  i=1 i=1 i=1     | {z } | {z }     ∑ n ¯ 2 i=1 (Xi −X) =A(公式より） =0 n n ∑ ¯ 1 ∑ (Xi − X) ¯ = β+ (Xi − X)ui = β + ui A A i=1 = β+ n ∑ i=1 ¯ wi ui (wi = (Xi − X)/A と置いた） i=1 よって、 βˆ = β + |{z} |{z} 推定量推定対象 n ∑ wi ui i=1 | {z } 推定誤差成る関係式を得た。両辺の期待値を取ると、 } { n n ∑ ∑ ˆ wi ui = β + wi E {ui } = β E(β) = β + E | {z } i=1 i=1 =0 となり1 、 ˆ =β E(β) であることが分かる。即ち、OLSE βˆ は β の不偏推定量である。次に分散を計算する： ˆ = E{(βˆ − β)2 } V(β) { n } ∑ = E ( wi ui )2   i=1 n  ∑ ∑ wi2 u2i + wi wj u i u j = E   i=1 = n ∑ i=1 = σ2 i̸=j wi2 E(u2i ) + | {z } n ∑ =V(ui )=σ 2 ∑ i̸=j wi wj E(ui uj ) | {z } =0 wi2 = σ 2 /A i=1 1 wi を期待値記号の外側に出せるのは、wi が確率変数でないからである。冒頭の仮定 1. を思い出そう。そこでは、 X1 , . . . , Xn が確率変数でないことが仮定されていた。wi は X1 , . . . , Xn にしか依存しないから、やはり確率変数でないのである。従って、期待値記号の外側に出せる 3 最後の等号は各自で確認のこと。よって、 ˆ = βˆの標準偏差 = ˆ = σ 2 /A, D(β) V(β) √ σ 2 /A √ が得られた。このことから、βˆ は大体 β ± 2 σ 2 /A の範囲に 95%の確率で値を取ることが分かる。さて、βˆ は、正規分布に従う確率変数 u1 , . . . , un の１次結合（加重和）の形をしている。正規分布に従う確率変数の１次結合は正規分布に従うから（基礎統計を思い出そう）、βˆ も正規分布に従う： βˆ ∼ N (β, σ 2 /A). 分散が大きいときは推定精度が悪い。σ 2 が大のとき (誤差項のばらつきが大きいとき) と、A が小さいとき（ごく狭い範囲でしか X が観測されていない）は分散が大きい。次回は σ 2 の推定方法や回帰モデルにおける検定について解説する。 4