Reitaku University 計量経済学入門 B05：回帰モデルの評価/AIC によるモデル選択清水千弘本日の学習目標: ・・推定された回帰モデルを評価する(t 検定・F 検定・尤度比検定) AIC におけるモデル選択講義の内容: 回帰モデルを実際に推定した場合に，どのようなモデルを選択したらいいのか? ・採択された説明変数について評価する／説明変数として採択した変数は，統計的に有意な変数であるのか? →t 検定・F 検定・尤度比検定・モデル全体を評価する／説明力の高いモデルはどれか? →自由度調整済み決定係数・Mallow’s CP・AIC 回帰モデルにおける検定 (t 検定) 推定された回帰係数と標準誤差を用いて，t 統計量を求めることが出来る。t 統計量は，次のように定義される。 βˆ j－β j tj = s .e. βˆ j ( ) このように計算された t 統計量は，自由度 n-k の t 分布 t(n-k)に従うため，１つの回帰係数に関する仮説 H 0 : β j = a について，検定することが出来る。 →t 分布表の読み方を習得しよう! (F 検定) 重回帰分析の場合は，説明変数が複数個あるため，複数の回帰係数についての仮説の検定を同時に行いたい場合がある。説明変数が二つ(X2 , X3)の場合について考えると，「X2 , X3 ともに Y に対して影響がない」という帰無仮説は， H 0 : β 2 = 0　かつ　β 3 = 0 一方，「少なくともどちらかの影響がある」という対立仮説は， H 1 : β 2 ≠0　または　β 3 ≠0 となる。帰無仮説が複数の制約式からなる場合は，個々の回帰係数に関する t 検定だけでは不十分であり，F 検定を行う必要がある。F 検定は，次の手順によって行う。手順１． H0 が正しいとして，X2 , X3 ともに含まない形で，重回帰方程式を推定し，残差平方和 S0 を求める。手順２． H0 が成立しないものとして，H1 のもとで X2 , X3 含めて重回帰方程式を推定し，残差平方和 S1 を求める。手順３． [email protected](LabalatoryB309) 1 Reitaku University 次の式に基づき F 統計量を求め，検定を行う。 F= (S 0－S1 ) / p S1 / (n－k ) また，p は，H0 に含まれる式の数である。この統計量は，帰無仮説のもとで，自由度(p,n－k)の F 分布 F(p, n－k)に従う。検定の臨界値は，F(p, n－k)の有意水準αに対応するパーセント点，Fα(p, n－k)と比較し， F> Fα(p, n－k) → 帰無仮説を棄却それ以外では，帰無仮説は採択される。 →F値が小さくなるのは， S 0 ≈S1 の場合である。つまり，X2 , X3 を入れた場合とそうでない場合とで，２つのモデルの当てはまりのよさの差が小さいことを意味する。 (尤度比検定) F 検定の場合と同様に，複数の回帰係数を同時に検定したい場合，つまり，帰無仮説・対立仮説が， H 0 : β 2 = 0 かつ　β 3 = 0 ， H 1 : β 2 ≠0　または　β 3 ≠0 として与えられる場合の検定方法として，尤度比検定(likelihood ratio test)と呼ばれる方法を利用することも出来る。尤度比検定は，次の手順によって行うことが出来る。手順１． H0 が正しいとして，X2 , X3 ともに含まない形で，重回帰方程式を推定し，対数最大尤度 lnL0 を求める。手順２． H0 が成立しないものとして，H1 のもとで X2 , X3 含めて重回帰方程式を推定し，対数最大尤度 lnL1 を求める。手順３．次の式に基づき統計量を求め，検定を行う。 χ 2 = 2(ln L1－ln L0 ) このように計算された統計量は，帰無仮説のもとで漸近的に(n が十分に大きければ近似的に)自由度 p の χ 2 分布 χ 2 ( p ) に従うことが知られている。また，p は，H0 に含まれる式の数である。検定における臨界値は， χ 2 ( p ) の有意水準αに対応するパーセント点 χ α 2 ( p ) を比較し， χ 2 > χ α 2 ( p) → 帰無仮説を棄却それ以外では，帰無仮説は採択される。 → χ 2 が小さくなるのは， X2 , X3 を入れた場合とそうでない場合とで，２つのモデルの当てはまりのよさの差が小さいことを意味する。なぜ尤度比検定を行うのか? 尤度比検定は，漸近的にしか成立しないものの，線形回帰モデル以外の複雑なモデルや帰無仮説が非線形の場合でも利用することが出来る。BOX-COX モデルなどでも利用することが出来るため，幅広く利用されている。実際の計算では，対数最大尤度を直接に計算できない場合があるため，次のように計算する。 n ˆ 2 ) = － (∑ei 2 / n) ln L* (βˆ 1 ,βˆ 2 , ,βˆ k , σ 2 [email protected](LabalatoryB309) 2 Reitaku University モデル選択とモデルの当てはまりの良さ (自由度調整済み決定係数) 複数のモデルの候補の中から，１つのモデルを選択することが必要となる。この場合，もっとも利用される統計量として，自由度調整済み決定係数と呼ばれる指標がある。自由度調整済み決定係数は，次のように計算される。  Y i の全変動:  Yi  Y ( 2 = ∑(Yˆi－Y )2 + ∑eˆ 2 として， X 2 , X 3 , , X k で説明できる部分 Yˆi  Y 2 とされなかった ) 部分 ∑eˆ 2 に分割される。このような性質に着目し，決定係数は，次のように定義される。 2 R = 1－ ∑ei 2 ∑(Yi－Y )2 ∑(Yˆi－Y ) 2 = ∑(Yi－Y )2 となる。しかし，このように計算される決定係数は，説明変数の数が増加するに従い大きくなってしまう。その場合には，モデルに不要な変数までもモデルのなかに含めてしまう可能性がある。そのため，説明変数の増加を調整し，モデルを評価する指標として，自由度調整済決定係数と呼ばれる指標がある。自由度調整済決定係数は，説明変数の数の違いを考慮したものであり，Yi の変動と残差の平方和を自由度で割った値として計算される。 R 2 = 1－ ∑ei 2 / (n－k ) ∑(Yi－Y )2 / (n－1) このように計算されるため，k が増加したとしても R 2 は，必ずしも増加するとは限らないことがわかる。 (AIC によるモデル選択) 重回帰分析のモデル選択において，自由度調整済み決定係数では，説明変数の増加に伴うペナルティの与え方が十分ではないことが指摘されている。その場合には，説明変数が，多く採択されすぎてしまうこととなってしまう。そこで，モデルを評価する指標としては，赤池の情報量基準(AIC:Akaike Information Criterion),シュバルツのベイズ情報量基準(BIC:Schwarz Bayes Information Criterion)，または Mallow’s Cp と呼ばれる基準がある。ここで，lnL を対数最大尤度とすると( υ は，モデルに含まれる未知パラメータの数)， AIC = －2 ln L + 2 υ BIC = －2 ln L + υ ln n を最小にするようにモデルを選択する。しかし，AIC および BIC は，理論的な裏付けがないといった批判は残されてきた。AIC,BIC は，回帰モデル以外のモデル選択にも利用可能であり，AIC は，真のモデルと推定されているモデルの距離を表す，カルバック・ライブラー情報量(Kullback-Leibler information)を使って説明することが出来る。 AIC の計算は， AIC = －2 ln L + 2k = n ln (∑ei 2 / n) + 2k として，計算できる。 [email protected](LabalatoryB309) 3