平成 26 年度 計量経済学 I 第 8 回 「重回帰モデルと最小二乗法」 . 原 尚幸 . 新潟大・経済 http://www.econ.niigata-u.ac.jp/˜hara/ecm1/ [email protected] H. Hara (Niigata U.) 重回帰モデルと最小二乗法 Nov 25, 2014 1 / 25 単回帰モデル 単回帰モデル Yi = β0 + β1 Xi + i , i = 1, . . . , n 説明変数が Xi のみ. Yi の変動に関わる他の要因は誤差として扱った. 一般には説明変数が複数あるモデルも考えられるだろう. H. Hara (Niigata U.) 重回帰モデルと最小二乗法 Nov 25, 2014 2 / 25 説明変数が複数のモデル 例：日本酒需要のモデル Yi : i 年の日本酒の需要 Xi1 : i 年の日本酒の価格 Xi2 : i 年のワインの価格 Yi は Xi1 と反比例 Yi は Xi2 とは比例 以下でモデル化 Yi = β0 + β1 Xi1 + β2 Xi2 + i , i = 1, . . . , n β1 < 0 β2 > 0 このようなモデルをデータから推定して理論の実証はできないか？ H. Hara (Niigata U.) 重回帰モデルと最小二乗法 Nov 25, 2014 3 / 25 重回帰モデル Yi = β0 + β1 Xi1 + · · · + βK−1 Xi,K−1 + i , i = 1, . . . , n K − 1 個の説明変数があるモデル K = 2 のとき単回帰モデル Xik : i 番目の観測の k 番目の説明変数 β0 : 定数項, β1 , . . . , βK−1 : (母) 回帰係数 未知パラメータ β0 + β1 Xi1 + · · · + βK−1 Xi,K−1 : 母回帰関数 H. Hara (Niigata U.) 重回帰モデルと最小二乗法 Nov 25, 2014 4 / 25 重回帰モデルの性質 重回帰モデル Yi = β0 + β1 Xi1 + · · · + βK−1 Xi,K−1 + i , i = 1, . . . , n モデルの性質 Xi1 , . . . , Xi,K−1 の 1 次式に誤差が加法的にのったモデル βk が正 ⇒ Yi と Xik は比例的 βk が負 ⇒ Yi と Xik は反比例的 H. Hara (Niigata U.) 重回帰モデルと最小二乗法 Nov 25, 2014 5 / 25 問題 問題 回帰係数 β0 , . . . , βK−1 をデータ (Yi , Xi1 , Xi2 , . . . , Xi,K−1 ), i = 1, . . . , n の関数 b0 , . . . , bK−1 でそれぞれ推定したい . 単回帰モデル同様に, あてはまりが最もよくなるようなモデル を推定値とする 単回帰モデルの最小二乗法の重回帰モデルへの一般化を考える . H. Hara (Niigata U.) 重回帰モデルと最小二乗法 Nov 25, 2014 6 / 25 あてはめ値と残差 重回帰モデル Yi = β0 + β1 Xi1 + · · · + βK−1 Xi,K−1 + i , i = 1, . . . , n あてはめ値：Yˆi := b0 + b1 Xi1 + · · · + bK−1 Xi,K−1 Yi の推定量 残差 : ei := Yi − (b0 + b1 Xi1 + · · · + bK−1 Xi,K−1 ) 推定量と観測値 Yi の距離 誤差 i の推定量 Yi = β0 + β1 Xi + · · · + βK−1 Xi,K−1 + i = b0 + b1 Xi1 + · · · + bK−1 Xi,K−1 + ei ※ 誤差と残差の違いに注意 H. Hara (Niigata U.) 重回帰モデルと最小二乗法 Nov 25, 2014 7 / 25 最小二乗法 最小二乗法 (Ordinary Least Squares) 残差二乗和 Se2 := n ∑ i=1 e2i = n ∑ (Yi − b0 − b1 Xi1 − · · · − bK−1 Xi,K−1 )2 i=1 を b0 , b1 , . . . , bK−1 について最小化するによって推定量を求める 手続きのことを最小二乗法 (OLS 法) と言う. また結果得られる推定量 b0 , . . . , bK−1 を最小二乗推定量. (OLS estimator : OLSE) と言う OLSE はどうやって求めればよいか？ 微分 = 0 ⇒ 正規方程式 H. Hara (Niigata U.) 重回帰モデルと最小二乗法 Nov 25, 2014 8 / 25 正規方程式 正規方程式 OLSE b0 , . . . , bK−1 は ∑ ∂Se2 = −2 (Yi − b0 − b1 Xi1 − · · · − bK−1 Xi,K−1 ) = 0, ∂b0 n ∂Se2 ∂bk = −2 i=1 n ∑ (Yi − b0 − b1 Xi1 − · · · − bK−1 Xi,K−1 )Xik = 0, i=1 k = 1, . . . , K − 1 すなわち, n ∑ i=1 ei = 0, n ∑ ei Xik = 0, k = 1, . . . , K − 1 i=1 . の解で与えられる. この連立方程式を正規方程式と呼ぶ H. Hara (Niigata U.) 重回帰モデルと最小二乗法 Nov 25, 2014 9 / 25 正規方程式の解 = OLSE 正規方程式 n ∑ i=1 ei = 0, n ∑ ei Xik = 0, k = 1, . . . , K − 1 i=1 単回帰モデル K = 2 の場合と異なり, 一般の重回帰モデルの OLSE は形が複雑 OLSE はソフト ウエアが計算してくれる ここでは OLSE が正規方程式の解として得られるという 事実まで理解すればよい H. Hara (Niigata U.) 重回帰モデルと最小二乗法 Nov 25, 2014 10 / 25 重回帰モデルへの仮定 Yi = β0 + β1 Xi1 + · · · + βK−1 Xi,K−1 + i , i = 1, . . . , n 1 説明変数 Xik , k = 1, . . . , K − 1 は非確率的 (確定的) 2 誤差項の期待値はゼロ E[i ] = 0 Yi を観測するときに, Xik は与えられている E[Yi ] = β0 + β1 Xi1 + · · · + βK−1 Xi,K−1 3 誤差項の分散は一定 (均一分散性) V [i ] = σ 2 4 誤差項は互いに無相関 (無相関性) Cov[i , i0 ] = 0, 5 i 6= i0 誤差項は正規分布に従う (正規性) i は i.i.d. で正規分布 N (0, σ 2 ) に従う iid i ∼ N (0, σ 2 ) H. Hara (Niigata U.) 重回帰モデルと最小二乗法 Nov 25, 2014 11 / 25 OLSE の統計的性質 性質 1. 不偏性 OLSE は不偏推定量である E[b0 ] = β0 , E[b1 ] = β1 , . . . , E[bK−1 ] = βK−1 . OLSE の期待値が真の値 ⇔ OLSE は平均的には真の値をとる そこそこ真の値と近い値をとることが期待できる . 証明は現段階では難しいので , まずはこの事実を覚える H. Hara (Niigata U.) 重回帰モデルと最小二乗法 Nov 25, 2014 12 / 25 OLSE の統計的性質 性質 2. OLSE の分散 OLSE の分散は , ある説明変数の関数 ck を用いて V [b0 ] = c20 σ 2 , . . . , V [b1 ] = c21 σ 2 . . . , V [bK−1 ] = c2K−1 σ 2 と書ける. . 誤差分散に比例 ck , k = 0, . . . , K − 1 の形は一般には複雑 これもソフト ウエアが計算してくれるので , 式の詳細は気にしなくてよい H. Hara (Niigata U.) 重回帰モデルと最小二乗法 . Nov 25, 2014 13 / 25 OLSE の統計的性質 3 性質 3. 線形不偏性 OLSE は線形不偏推定量 . Yi , i = 1, . . . , n に関する 1 次式 ⇒ 線形推定量 . OLSE は不偏 ⇒ OLSE は線形不偏推定量 これもまずは事実を覚える H. Hara (Niigata U.) 重回帰モデルと最小二乗法 Nov 25, 2014 14 / 25 OLSE の統計的性質 4 性質 4. 正規性 . OLSE は正規分布にしたがう . Yi ∼ N (β0 + β1 Xi1 + · · · + βK−1 Xi,K−1 , σ 2 ), i = 1, . . . , n OLSE は線形不偏推定量 正規分布にしたがう確率変数の一次式は正規分布にしたがう (正規分布の再生性) 正規分布は平均と分散が決まると定まる . Yi , i = 1, . . . , n の一次式 不偏性から E[bk ] = βk , k = 0, . . . , K − 1 V [bk ] = c2k σ 2 bk ∼ N (βk , c2k σ 2 ), k = 0, . . . , K − 1 一般に bk , k = 0, . . . , K − 1 は互いに独立ではない H. Hara (Niigata U.) 重回帰モデルと最小二乗法 Nov 25, 2014 15 / 25 ガウス・マルコフの定理 ガウス・マルコフの定理 重回帰モデルへの仮定 1 説明変数 Xi は非確率的 (確定的) 2 誤差項の期待値はゼロ ：E[i ] = 0 3 誤差項の分散は一定 (均一分散性)：V [i ] = σ 2 誤差項は互いに無相関 (無相関性)：Cov[i , i0 ] = 0, i 6= i0 . が成立しているとき, OLSE b0 , b1 は線形不偏推定量の中で分散が最小で ある. 4 最良線形不偏推定量 (Best Linear Unbiased Estimator : BLUE) と言う i が正規分布であることに依存しない i が独立で E[i ] = 0, V [i ] = σ 2 であれば , 正規分布でなくても OLSE は BLUE H. Hara (Niigata U.) 重回帰モデルと最小二乗法 . Nov 25, 2014 16 / 25 最小分散不偏推定量 i に正規分布を仮定すると, OLSE は不偏推定量の中で分散が最小 (最小分散不偏推定量) つまり OLSE は統計的に非常に好ましい推定量 結論 β0 , . . . , βK−1 の推定には OLSE を使いましょう H. Hara (Niigata U.) 重回帰モデルと最小二乗法 Nov 25, 2014 17 / 25 誤差分散 σ 2 の推定 iid i ∼ N (0, σ 2 ) σ 2 の推定を考える 残差 ei は誤差 i の推定量 Yi = β0 + β1 Xi1 + · · · + βK−1 Xi,K−1 + i = b0 + b1 Xi1 + · · · + bK−1 Xi,K−1 + ei Yi = β0 + β1 Xi1 + · · · + βK−1 Xi,K−1 + i = b0 + b1 Xi1 + · · · + bK−1 Xi,K−1 + ei 誤差分散 σ 2 を OLS 残差 ei の分散で推定することを考える ∑ Se2 := ni=1 e2i ： 残差二乗和 H. Hara (Niigata U.) 重回帰モデルと最小二乗法 Nov 25, 2014 18 / 25 誤差分散 σ 2 の不偏推定 iid 誤差項の正規性の仮定 ∼ N (0, σ 2 ) の下で Se2 ∼ χ2 (n − K), σ2 OLSE b0 , b1 , . . . , bK−1と独立 Se2 ∼ χ2 (n − K), OLSE b0 , b1 , . . . , bK−1と独立 σ2 [ 2] [ ] Se Se2 ⇒E =n−K ⇔E = σ2 σ2 n−K ⇓ S 2 := Se2 は σ 2 の不偏推定量 n−K S 2 : 不偏分散 S 2 は σ 2 の最小分散不偏推定量 誤差分散 σ 2 は不偏分散 S 2 で推定しましょう H. Hara (Niigata U.) 重回帰モデルと最小二乗法 Nov 25, 2014 19 / 25 OLSE の分散の不偏推定 bk , k = 0, . . . , K − 1 の分散は V [bk ] = c2k σ 2 σ 2 を不偏分散 S 2 でおきかえれば V [bk ] の不偏推定量 Vˆ [bk ] = c2k S 2 E[Vˆ [bk ]] = E[c2k S 2 ] = c2k E[S 2 ] = c2k σ 2 H. Hara (Niigata U.) 重回帰モデルと最小二乗法 Nov 25, 2014 20 / 25 標準誤差 OLSE の分散 V [bk ] = c2k σ 2 ⇒ Vˆ [bk ] = c2k S 2 OLSE の標準偏差 ck σ : bk の標準偏差 ck S : ck σ の推定量 ⇒ bk の標準誤差 注意 : 標準誤差は標準偏差の不偏推定量ではない H. Hara (Niigata U.) 重回帰モデルと最小二乗法 Nov 25, 2014 21 / 25 回帰係数の区間推定 OLSE bk は誤差項 i の正規性の仮定の下で , bk ∼ N (βk , c2k σ 2 ) ⇔ bk − βk ∼ N (0, 1) ck σ Se2 (n − K)S 2 = は bk , k = 0, . . . , K − 1 と独立に σ2 σ2 Se2 (n − K)S 2 = ∼ χ2 (n − K) σ2 σ2 t 分布の定義より, bk − βk 1 bk − βk ·√ = ∼ t(n − K) 2 (n−K)S ck σ ck S σ 2 (n−K) H. Hara (Niigata U.) 重回帰モデルと最小二乗法 Nov 25, 2014 22 / 25 回帰係数の区間推定 t0.025 (n − K)： t(n − K) の上側 2.5 %点 ( ) bk − βk P ≤ t0.025 (n − K) = 0.95 = 95% ck S 0.4 0.3 0.2 f (x) 0.1 0.0 −t0.025 = t0.975 H. Hara (Niigata U.) 0 2 重回帰モデルと最小二乗法 t0.025 4 Nov 25, 2014 23 / 25 回帰係数の区間推定 t0.025 (n − K)： t(n − K) の上側 2.5 %点 ( ) bk − βk P ≤ t0.025 (n − K) = 0.95 = 95% ck S 括弧の中身について bk − βk c S ≤ t0.025 (n − K) k ⇔ −t0.025 (n − K) ≤ βk − bk ≤ t0.025 (n − K) ck S ⇔ −ck S · t0.025 (n − K) ≤ βk − bk ≤ ck S · t0.025 (n − K) ⇔ bk − ck S · t0.025 (n − K) ≤ βk ≤ bk + ck S · t0.025 (n − K) H. Hara (Niigata U.) 重回帰モデルと最小二乗法 Nov 25, 2014 24 / 25 回帰係数の区間推定 Lk := bk − ck S · t0.025 (n − K), Uk := bk + ck S · t0.025 (n − K) としたとき ( ) bk − βk P ≤ t0.025 (n − K) ck S = P (Lk ≤ βk ≤ Uk ) = 0.95 = 95% 真の回帰係数 βk が , 区間 [Lk , Uk ] に入る確率が 95% Lk , Uk はデータから計算が可能 Ik = [Lk , Uk ] は βk の 95% 信頼区間 H. Hara (Niigata U.) 重回帰モデルと最小二乗法 Nov 25, 2014 25 / 25
© Copyright 2024 ExpyDoc
