第 12 回回帰係数の t 検定

第 12 回回帰係数の t 検定
村澤康友
2014 年 11 月 12 日
目次
仮説検定
1
1.1
統計的仮説 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
1.2
検定問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
1.3
検定の手順 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
1.4
検定の性質 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3
2
t 分布
3
3
回帰係数の t 検定
3
3.1
検定問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3
3.2
t 統計量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3
3.3
標準誤差と t 値
4
1
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1 仮説検定
1.1 統計的仮説
定義 1. 母集団分布に関する仮説を統計的仮説という．
注 1. 母数に関する仮説と言ってもよい．
定義 2. ただ 1 つの分布を許容する仮説を単純仮説という．
注 2. ただ 1 点の母数を許容する仮説と言ってもよい．
例 1. Bin(1, 1/2)，N(0, 1) など．
定義 3. 複数の分布を許容する仮説を複合仮説という．
(
)
例 2. Bin(1, p) で p ≥ 1/2，N 0, σ 2 （σ 2 は任意），平均が 0（分布の型は任意）など．
1
1.2 検定問題
定義 4. 統計的仮説の真偽を標本から判定することを検定という．
定義 5. 仮説を偽と判定することを，仮説を棄却するという．
定義 6. 仮説を偽とは言えないと判定することを，仮説を採択するという．
注 3. 偽とする証拠が不十分という判定であり，積極的に真と断定するのではない．
定義 7. とりあえず真と想定する仮説を帰無仮説という．
注 4. H0 と表す．
定義 8. 帰無仮説を棄却するとき代わりに採択する仮説を対立仮説という．
注 5. H1 と表す．
注 6. 検定問題では必ず H0 と H1 を設定する．例えば母数空間を Θ とすると，
H0 : θ ∈ Θ0
vs H1 : θ ∈ Θ1
ただし Θ0 , Θ1 ⊂ Θ, Θ0 ∪ Θ1 = Θ．標本の実現値が H0 と矛盾するなら H0 を棄却して H1 を採択，矛盾しな
ければ H0 を採択する．
定義 9. 片側検定問題は
H0 : θ ≤ (≥)θ0
vs H1 : θ > (<)θ0
注 7. 実際には帰無仮説として θ = θ0 を想定することになるので，次のように書く場合もある．
H0 : θ = θ0
vs H1 : θ > (<)θ0
定義 10. 両側検定問題は
H0 : θ = θ0
vs H1 : θ ̸= θ0
1.3 検定の手順
定義 11. H0 が真なのに H0 を棄却する誤りを第 1 種の誤りという．
定義 12. H1 が真なのに H0 を採択する誤りを第 2 種の誤りという．
注 8. 2 つの誤りの可能性を同時にゼロにすることは不可能．
注 9. H0 の採択は消極的な判断にすぎないので，第 1 種の方が第 2 種より重大な誤り．
定義 13. 許容する第 1 種の誤りの確率を有意水準という．
定義 14. 検定に用いる統計量を検定統計量という．
定義 15. 標本または検定統計量の値域で帰無仮説を棄却する領域を棄却域という．
定義 16. 標本または検定統計量の値域で帰無仮説を採択する領域を採択域という．
2
1.4 検定の性質
次の検定問題を考える．
H0 : θ = θ0
vs H1 : θ = θ1
定義 17. 第 2 種の誤りを起こさない確率を検定の検出力という．
定義 18. 与えられた有意水準の下で検出力が最大の検定を最強力検定という．
2 t 分布
定義 19. Z ∼ N(0, 1) と X ∼ χ2 (n) が独立のとき Z/
√
X/n の分布を自由度 n の t 分布という．
注 10. t(n) と書く．
注 11. 累積確率は t 分布表を参照．
注 12. t(1) はコーシー分布，t(∞) は N(0, 1)．
3 回帰係数の t 検定
3.1 検定問題
大きさ n の (1 + k) 変量データを (y, X) とする．y の X 上への古典的正規線形回帰モデルは
(
)
y|X ∼ N Xβ, σ 2 In
次の検定問題を考える．
H0 : r ′ β = c, σ 2 > 0 vs
H1 : r ′ β > c, σ 2 > 0
r := (1, 0, . . . , 0)′ とすると r ′ β = β1 ．
3.2 t 統計量
β の OLS 推定量を b とする．すでに見たように
(
)
b|X ∼ N β, σ 2 (X ′ X)−1
したがって
標準化すると
(
)
r ′ b|X ∼ N r ′ β, σ 2 r ′ (X ′ X)−1 r
r′ b − r′ β
√
|X ∼ N(0, 1)
σ 2 r ′ (X ′ X)−1 r
σ 2 の不偏推定量を s2 とする．
3
定理 1.
r′ b − r′ β
√
|X ∼ t(n − k)
s2 r ′ (X ′ X)−1 r
証明. 変形すると
√
(r ′ b − r ′ β)/ σ 2 r ′ (X ′ X)−1 r
r′ b − r′ β
√
√
=
s2 r ′ (X ′ X)−1 r
s2 /σ 2
√
(r ′ b − r ′ β)/ σ 2 r ′ (X ′ X)−1 r
√
=
(e′ e/σ 2 )/(n − k)
分子は N(0, 1)．すでに見たように
e′ e
|X ∼ χ2 (n − k)
σ2
また X を所与として，b と e は独立なので分子と分母は独立．
系 1.
r′ b − r′ β
√
∼ t(n − k)
s2 r ′ (X ′ X)−1 r
定義 20. H0 : r ′ β = c を検定する t 統計量は
r′ b − c
t := √
s2 r ′ (X ′ X)−1 r
注 13. H0 の下で t ∼ t(n − k)．t 分布表より棄却域を定める．
3.3 標準誤差と t 値
定義 21. 推定量の標準偏差の推定値を標準誤差という．
注 14. var(b|X) = σ 2 (X ′ X)−1 は s2 (X ′ X)−1 で推定．
注 15. 例えば b1 の標準誤差は
s.e.(b1 ) =
√
s2 r ′ (X ′ X)−1 r
ただし r := (1, 0, . . . , 0)′ .
定義 22. H0 : βj = 0 を検定する t 統計量の値を βj の t 値という．
注 16. すなわち βj の t 値は
tj :=
bj
s.e.(bj )
ただし s.e.(bj ) は bj の標準誤差．
4

Download Report