第 13 回回帰係数の F 検定

第 13 回回帰係数の F 検定
村澤康友
2014 年 7 月 16 日
目次
1
F 分布
1
2
回帰係数の F 検定
1
2.1
検定問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
2.2
F 統計量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
2.3
F値 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
p値
3
3
1 F 分布
定義 1. X ∼ χ2 (m) と Y ∼ χ2 (n) が独立のとき (X/m)/(Y /n) の分布を自由度 (m, n) の F 分布という．
注 1. F(m, n) と書く．
注 2. 累積確率は F 分布表を参照．
注 3. t ∼ t(n) なら t2 ∼ F(1, n)．F ∼ F(m, n) なら 1/F ∼ F(n, m)．F ∼ F(m, ∞) なら mF ∼ χ2 (m)．
2 回帰係数の F 検定
2.1 検定問題
大きさ n の (1 + k) 変量データを (y, X) とする．y の X 上への古典的正規線形回帰モデルは
(
)
y|X ∼ N Xβ, σ 2 In
β に対する r 個の制約の両側検定問題を考える．すなわち
H0 : Rβ = c, σ 2 > 0 vs
ただし R ∈ Rr×k ．例えば R := Ik なら Rβ = β.
1
H1 : Rβ ̸= c, σ 2 > 0
2.2 F 統計量
β の OLS 推定量を b とする．すでに見たように
)
(
b|X ∼ N β, σ 2 (X ′ X)−1
したがって
(
)
Rb|X ∼ N Rβ, σ 2 R(X ′ X)−1 R′
または
]−1/2
[ 2
σ R(X ′ X)−1 R′
(Rb − Rβ)|X ∼ N(0, Ir )
または
[
]−1
(Rb − Rβ)′ σ 2 R(X ′ X)−1 R′
(Rb − Rβ)|X ∼ χ2 (r)
σ 2 の不偏推定量を s2 とする．
定理 1.
[
]−1
(Rb − Rβ)′ s2 R(X ′ X)−1 R′
(Rb − Rβ)
|X ∼ F(r, n − k)
r
証明. 変形すると
[
]−1
[
]−1
(Rb − Rβ)′ s2 R(X ′ X)−1 R′
(Rb − Rβ)
(Rb − Rβ)′ σ 2 R(X ′ X)−1 R′
(Rb − Rβ)/r
=
2
2
r
s /σ
分子は χ2 (r) を r で割ったもの．すでに見たように
e′ e
|X ∼ χ2 (n − k)
σ2
したがって分母は χ2 (n − k) を n − k で割ったもの．また X を所与として，b と e は独立なので分子と分母
は独立．
系 1.
[
]−1
(Rb − Rβ)′ s2 R(X ′ X)−1 R′
(Rb − Rβ)
∼ F(r, n − k)
r
定義 2. H0 : Rβ = c を検定する F 統計量は
[
]−1
(Rb − c)
(Rb − c)′ s2 R(X ′ X)−1 R′
F :=
r
注 4. H0 の下で F ∼ F(r, n − k)．F 分布表より棄却域を定める．
2.3 F 値
定義 3. 定数項以外の回帰係数をすべて 0 とした H0 を検定する F 統計量の値を F 値という．
2
0.4
0.3
0.4
dnorm (x)
c.v.
0.0
0.1
0.2
0.3
0.2
0.0
0.1
dnorm (x)
c.v.
t
-4
-2
0
2
4
t
-4
-2
x
0
2
4
x
図1
検定統計量と p 値
注 5. このとき
]−1
[
b
b′ s2 (X∗′ X∗ )−1
F :=
k−1
b′ X∗′ X∗ b
=
(k − 1)s2
b′ X∗′ X∗ b
=
(k − 1)e′ e/(n − k)
n − k b′ X∗′ X∗ b/y∗′ y∗
=
k−1
e′ e/y∗′ y∗
n − k R2
=
k − 1 1 − R2
すなわち R2 が大きければ F 値も大きい．
3 p値
定義 4. H0 の下で検定統計量が実現値以上になる確率を p 値という．
例 1. 有意水準 α の検定を考える．検定統計量を T ，棄却域を [tα , ∞)，T の実現値を t とする．このとき
t ≥ tα ⇐⇒ Pr[T ≥ t|H0 ] ≤ Pr[T ≥ tα |H0 ]
⇐⇒ p ≤ α
したがって p ≤ α なら H0 は棄却（図 1）．
3

Download Report