5.仮説検定

Advanced Econometrics (Hiroki Kawai)
2014 spring
仮説検定（chap5、chap14）
仮説検定の方法論(p-148)
Ⅴ
0
仮説検定：H0(null hypothesis),H1(alternative hypothesis)
nest 入れ子モデル、nonnest 非入れ子モデル→encompasing 拡張モデル
Neyman-Pearson 法：有意水準 size of the test α(Type1error の確率)、検定力 power of the
test 1-β(Type2error の確率)、consistent 検定力→0 問題点(2 つ p-152)
１
LSE における検定：２つの方法 (p-153)
線形制約 Rβ=q, R(J×K), β(K×1), q(J×1)
制約の数Ｊ ※非線形制約 c(β)=q
例 ①βi=0 ②βi=βj ③βi+βj=1
E(Rb)=Rβ, V(Rb) = E(R(b－β)(b－β)’R’) =RV(b)R’ =σ2R(X’X)-1R’
CLT よりε～N(0,σ2I)とすると b～N(β,σ2(X’X)-1)だから
R(b－β)=Rb－q～N[0,σ2R(X’X)-1R’]
Rb～N[Rβ,σ2R(X’X)-1R’],
利用する分
利用する
有限
検定
検定量
布
推定値
標本
採択 0≦(Rb-q)’Var(Rb)(Rb-q)
制約なし b
大
Wald 検定
≦棄却
F(J, n-K)
Lagrange 乗数検定採択 0≦λ’Var(λ)λ≦棄却
または
制約あり bR
小
(Score 検定)
採択 0≦g'Var(g)g≦棄却
χ2(J)=J・F
Fit based 検定
(尤度比（LR）検定)
採択 0≦(eR'eR-e'e)/s2≦棄却
採択 0≦2(lnL-lnLR)≦棄却
中
ｂ、ｂR
1.1 Wald 検定（線形制約の直接テスト）
H0:βi=βi0 →Wald distance Wi=(bi－βi0)/sbi～t(n－K) 例 5.1, 5.2
H0:Rβ=q →差 m=Rb－q ～N[0,σ2R(X’X)-1R’] →Wald 検定量 W=m’Var(m|X)-1m～χ2(J)
∵H0 が真の時 E(m|X)=RE(b|X)－q=0、Var(m|X)=RVar(b|X)R’=σ2R(X’X)-1R
Wald 検定量 (Rb－q)’ [σ2R(X’X)-1R’]-1(Rb－q)～χ2(J)
回帰残差 e について e’e/σ2～χ2(n－K)だから
F=
(Rb  q)'[R ( X' X) 1 R ' ] 1 (Rb  q) / J
=(Rb－q)’ [s2R(X’X)-1R’]-1(Rb－q)/J～F(J,n-K)
e' e /( n  K )
(qˆ  q) 2
(qˆ  q) 2
例) J=1 のとき R=(r1,…,rK), q=q なので F=


Var(qˆ ) r Var(b)r
(k 1 rk bk  q) 2
K
  r r Cov(b , b )
j
k
j k
j
t=( qˆ －q)/se( qˆ )～t(n－K)でも検定できる
例) H0:βi=0 のとき R=(0,…,0,1,0,…,0), q=0 なので F=bi2/var(bi)～F(1,n-K)
t=bi/se(bi)～t(n－K)でも検定できる
1.2 回帰のあてはまりに基づく検定
制約つき最小２乗法 L=(y－XbR)’(y－XbR)＋2λ’(RbR－q)とおくと
L b =－2X’y＋2(X’X)bR+2R’λ=0, L λ=2(RbR－q)=0 より
bR=b－(X’X)-1R’λ→RbR=Rb－R(X’X)-1R’λ=q→λ=[R(X’X)-1R’]-1(Rb－q)
bR=b－(X’X)-1R’[R(X’X)-1R’]-1(Rb－q)=b－Cm
eR=y－XbR=y－Xb－X(bR－b)=e－X(bR－b) → eR’eR=e’e+(bR－b)’X’X(bR－b)> e’e
→ Loss of Fit：eR’eR－e’e = m’C’X’XCm=(Rb－q)’[R(X’X)-1R’]-1(Rb－q) 証明せよ
13
k
Advanced Econometrics (Hiroki Kawai)
2014 spring
Loss of Fit 検定量：e’ReR と e’e の差にもとづく検定量
(e 'R e R  e' e) / J
( R 2  RR2 ) / J

～F(J,n－K)
F=
e' e /(n  K )
(1  R 2 ) /( n  K )
J・F＝(eR’eR－e’e)/s2=(Rb－q)’[s2R(X’X)-1R’]-1(Rb－q)～χ2(J)
※ラグランジュ乗数(LM)検定：Ho:λ=0 の Wald 検定量 p-184
LM=λ’{Var(λ)}-1λ=(Rb－q)’G’(σ2G)-1G(Rb－q)=(Rb－q)’G(Rb－q)/σ2～χ2(J)
∵ G=[R(X’X)-1R’]-1 とおくとλ=G(Rb－q)、Var(λ)=GRσ2(X’X)-1R’G=σ2G
1.3 Nonnormal Disturbances and Large Sample (p-167)
a
「b～N(β,
2
n
Q 1 ), Q=plim(X’X/n)」と「plim s2=σ2, s2=e’e/(n－K)」より
①正規検定：τk=(bk－βk)/
AVar (bk ) ～N(0,1)
②Wald 検定：W=(Rb－q)’ [RAVar(b)R’]-1(Rb－q)
D
＝(Rb－q)’ [s2R(X’X)-1R’]-1(Rb－q)=JF→χ2(J) （∵JF の極限分布 p-854）
1.4 非線形制約 C(β)=q の検定 (p-171)
Z=

c(b)  q
 c(b) 
 c(b) 
,W=(c(b)－q)’{Var(c)}-1(c(b)－q)～χ2(J),Var[c(b)]≒ 
 Var[b]

Var[c(b)]
 b 
 b 
2 その他のトピック
2.1 非入れ子(Nonnested)モデル間の選択 p-174
Ho:y=Xβ+εo
H1:y=Zγ+ε1 X=(W,X1) Z=(W,Z1)
(1)Encompassing Model
y=X1β1+Z1γ1+Wδ+ε Ho:β1=0、H1:γ1=0
問題点：H0 と H1 を峻別できない
拡張モデルにおける多重共線性
(2)J 検定 Davidson & MacKinnon(1981)
y=(1－λ)Xβ+λZγ+ε H0:λ=0
手順：y=Zγを推定 → y=X(1－λ)β+λ(Z ˆ )を推定しλ＝0 をｚ検定する
例 5.7 消費関数
H0 も H1 も棄却された
2.2 特定化テスト
Ramsey’s RESET test
p-177
H0 か H1 のどちらかは正しいモデル→H1 はより一般的なモデル（明示しない）
Ho:y=Xβ+ε
H1:y=Xβ+higher order power of X+ε
2
3
手順：y=Xβ+εを推定 → y=Xβ+γ yˆ +δ yˆ +εを推定しγ＝δ＝0 を Wald 検定する
問題点：非建設的、検定力が不明、同じｂを使うのが不適切
例 5.8 モンテカルロ実験 RESET テストで不適切なモデルを判別できる！
2.3 モデル選択の方法
p-178
(1) simple-to-general (bias あり) ＜ general-to-simple(bias なし) Hendry(1995)
(2) Fit measure によるモデル選択：R2, AIC, BIC
(3) classical model selection の欠点：Hansen(2005)
(4)Bayesian model averaging：例 5.9
14
Advanced Econometrics (Hiroki Kawai)
2014 spring
3 MLE における検定 (chap 14, p-564)
3.1 Likelihood Ratio(LR) Test (p-566)
(1)定義： MLE と RMLE より尤度の相対比に基づいて検定する(証明は蓑谷 p-436)
尤度比λ=
L=
a
LR
→LR=－2lnλ=2[lnLU－lnLR]～χ2(J)
LU

1
(2 2 ) n / 2
lnL=const－
(2)実際：σ2=
e
εε
2 2
1
2
でσ2 を既知としてεi に MLE 残差 ei を代入すると
a
2
e’e だから LR=(eR’eR－e’e)/σ2 ← JF=(eR’eR－e’e)/s2～χ2(J)と同じ！
ˆ = e’e/n を L に代入すると L= (2e)
2
n / 2
(ˆ )
2 n / 2
 2e 


 n 
n / 2
(ee) n / 2
LR=const･(eR’eR)-n/2 だから LR=－2(lnLU－lnLR) =n(lneR’eR－lne’e)



1
LR= n ln1  e R e R  e e  = n ln
ln(1+Z)=Z－ 12 Z2＋…より


ee


 1  (eR e R  ee) / eR e R 
LR≒ n(eR e R  ee)  n  eR e R  ee 
2
ee
ee

or  n ln1  eR e R  e e   n(e R e R  e e)  n  e R eR  e e 

eR e R 
e R e R
2  e R e R 

(3)限界：①単純な検定には利用できない ②異なる確率分布間の比較はできない
2
2
3.2 Wald(W) Test (p-567)
(1)定義：制約なし MLE を用いて制約式 Rβ=q を検定する、計算容易+制約少 p-569→多用
bML～N(β,I-1(β))ならびに RbML－q～N(0,R I-1(β)R’)より
a
W=(RbML－q)’[R I-1(β)R’]-1(RbML－q)～χ2(J)
I-1(β)=σ2(X’X)-1 より
a
W=(RbML－q)’ [σ2R(X’X)-1R’]-1(RbML－q)=(eR’eR-e’e)/σ2 ～χ2(J) ←LR 検定量と同じ！
(2)限界：①検定力が劣る ②制約のおき方に依存(not invariant) p-569
3.3 Score Test, Lagrange Multiplier(LM) Test
(p-569)
(1)定義：RMLE をもちいて g(θR)=0 を検定する
LM=g’(θR)I-1(θR)g(θR)～χ2(J)
制約つき最適化 max lnL(θ) st c(θ)=q の１階の条件(g－C’λ=0)より g=C’λなので
LM=λ’[CI-1C’]λ～χ2(J) のようにラグランジュ乗数を用いてあらわせる(蓑谷 p-441)。
CI-1C’=σ2R(X’X)-1R’, λ=[σ2R(X’X)-1R’]-1(Rb－q)だから(蓑谷 p-451)
LM=(Rb－q)’ [σ2R(X’X)-1R’]-1(Rb－q) = (eR’eR－e’e)/σ2 ← LR 検定量と同じ！
(2) 実際：I＝-E(H)=Σgig’i=G’G (BHHH/OPG estimator p-562)で近似すると
LM=g’I-1g=iG[G’G]-1G’i=nRi2 Ri2:1 を score gRi で回帰した重相関係数
3.4 3 つの検定統計量の関係
①LR, W, LM はσがわかっているときや大標本では一致するが(蓑谷 p-448)、有限標本にお
いては LM≦LR≦W となる(蓑谷 p-449)
②計算が容易：W(bU のみ)＞LR(bR のみ)＞LM(bU, bR 両方)
③ 理論的には LR 検定が優位： invariance(Ruud p-397), most powerful
test(Neyman-Pearson Lemma, Ruud p-406)
蓑谷「計量経済学の理論と応用」日本評論社
Ruud PA(2000) An Introduction to Classical Econometric Theory, Cambridge UP
15

Download Report