スライド - WordPress.com

統計的検定
科学史・科学哲学 2015/7/3
反証主義の問題
•
ポパー「科学的仮説は反証可能でなければならない」
•
仮説Hがある予測Eを論理的に含意する場合、Hは
~Eによって反証される
•
しかし予測が蓋然的な場合、~Eは~Hを含意しな
い。
•
蓋然的な仮説は反証不可能?
反証主義の問題
•
しかし実際には:科学は蓋然的な仮説にたいしても、反証・
確証を行っているように見える
•
e.g. 「煙草は肺がんの原因である」「新薬には効果の改善が
認められる」「少量の被曝では身体に害はない」
•
実際の生活においてはこうした確定的判断を下すことが不断
に求められる
•
こうした判断はいかにして可能か??
二つの問い(Royal)
1. ある仮説がどれくらい確からしいか? ← Bayes
2. どの仮説にしたがって行動すべきか?
•
e.g. 煙草を止めるべき? この薬を使うべき?
•
仮説に対する決断が必要になる
統計学からの二つの答え
ベイズ統計 (Bayesian statistics):証拠によってモデ
ル・仮説の確からしさがどのように変化するかを計算
する
仮説検定 (Hypothesis testing):どのような証拠が得
られた時に、モデル・仮説を棄却するべきかの指針を
与える
検定には二種類ある
Fisherの有意検定(significance test)
Neyman-Pearsonの仮説検定
有意検定の考え方
•
コイン投げの事例
•
ある仮説hを仮定したとき、その元では到底起こり
そうにないような結果が得られたら、hを棄却して
良い。
有意検定の手順
1. テストする仮説(帰無仮説; null hypothesis)h0を定める
2. h0のもとで各データがどれくらいの確率で起こるかを明確
にする(確率モデルをたてる)
3. どれくらい「起こりそうにない」データがでたらh0を棄却
するのかを決める(有意水準)
4. 棄却域(仮説を棄却するようなデータの範囲)が決まる
5. データをとり、それが棄却域に入っていたらh0を棄却する
検定の例:コイン投げ
1. 帰無仮説 h0
「コインは公平である」
•
P(表) = P(裏) = 0.5
•
それぞれのコイン投げは独立
2. 確率モデル
二項分布(binomial distribution)
P (X = x) = 10 Cx
⇣ 1 ⌘10
2
3. 有意水準の決定
•
どれくらいの確率なら「ありそうにない」のか?
•
ここでは5%としておこう。つまり20回に1回以下の
確率でしか起こらないようなことは「たまたま生じ
うる」とは考えない、ということ。
4. 棄却域の決定
P(X = 0 or 1 or 9 or 10) = 0.021
→ 表ないし裏が1回以下しか出ないとき、公平仮説を棄却
5. データ取得
表ないし裏の数が1回以下でした
→ 有意水準5%以下で帰無仮説h0を棄却する
表も裏もそれぞれ2回以上でました
→ 仮説は棄却されない(コインが公平である、と
いう可能性は排除できない)
例2:モテモテお守り
1. 帰無仮説 h0
「モテモテお守りには効果がない」
•
「お守りを持っている人に恋人ができる割合」と
「お守りを持っていない人に恋人ができる割合」
に違いはない(ズレがゼロ)
•
このズレを k という量(統計量)で表す
2. 確率モデル
カイ二乗分布(chi-squared distribution)
e
P (K = k) = p
k/2
2⇡k
3 & 4. 有意水準と棄却域
有意水準5%とした時の棄却域
P (K > 3.84) = 0.05
この範囲のK
だったら帰無仮説を
棄却できる
5. データ取得
•
•
お守りありで恋人ができた人:20/50人
お守りなしで恋人ができた人:15/50人
→ K=2.38となる
P (K > 2.38) = 0.123
棄却域に入ってない
ので帰無仮説は棄却
されない
今回のような
データが得られる
確率(p値; p-value)
statistically
significant
統計的に有意とは
•
ある決められた有意水準で、帰無仮説が棄却されたというこ
と。
•
例:「新薬の有効性に関して統計的に有意な結果が得られた
=
「新薬には効果がない、という帰無仮説をある有意水準の
もとで棄却できた」
=
「新薬に効果がないと仮定した場合、今回のようなデータ
(ないしそれ以上に極端なデータ)が得られる確率はp値以
下であった。」
p値と偽陽性
•
もし実は新薬には効果がなかったとしても、今回の
ようなデータが得られる可能性は かながらあった
•
例えば有意水準5%とすると、新薬に効果がなくて
も、同じ実験を20回繰り返せば1回くらいは統計的
に有意な結果がでるだろう。
•
→ 20回に1回は偽陽性(false positive)が出る
出典: https://xkcd.com/882/
p値についての注意
•
p値は仮説の確率ではない!
•
「5%の有意水準で帰無仮説が棄却された」
≠ 「仮説の確率は0.05以下である」
•
むしろそれは(仮説が正しいと仮定した元での)データの確率である
•
「もし帰無仮説が正しければ、今回と同じような実験を何回も続
けたとき今回と同じようなデータ(ないしそれより極端なデータ)
が得られる頻度はpだろう」ということ。
•
→ 確率の頻度解釈(frequentist interpretation)
「棄却」についての注意
•
•
検定結果は、仮説の「確からしさ」についてのverdictではない
•
帰無仮説が棄却されない ≠ 帰無仮説が確からしい
•
棄却・非棄却によって、仮説の確からしさが判断されるわけではない。
•
検定の使命は、仮説の真偽を決定することでなく、むしろどちらの仮説に
もとづいて行動すべきかを決定することである。
裁判のアナロジー
•
判決結果によって、被告が実際に罪を犯したかどうかが判断されるわけで
はない。
•
裁判官の使命は、真実を突き止めることではなく、処置(処罰)を決定す
ることである。
反証主義と検定
仮説と確率の意味付け
•
検定:「仮説の確率」という概念は意味をなさない
•
Popper:「仮説の確からしさ」は科学者個人の信念の問題で
あり、客観性・論理性とは何の関係もない
「裏付け」と検定
•
検定:帰無仮説の非棄却(棄却)は、その正しさ(誤り)を
立証するわけではない
•
Popper:「裏付け」は仮説の正しさを立証するわけではない
反証主義への含意
•
Popperの問題:仮説の予測が蓋然的であるときは、仮説の真偽を完全に決
定することはできない。
•
しかし、その仮説のもとでデータが得られる確率を計算することはできる
•
そしてその確率が低い場合仮説を退けるという「ルール」を設け、その
「ルール」にしたがって個別事例を判断することはできる。
•
その時我々は、その「ルール」が一定の確率(有意水準)で誤りうるもの
である、ということを受け入れている。
科学の客観性は、証拠から決断を下すために用いる
ツール/ルールの客観性によって担保される
おまけ:メンデルのデータ
•
•
予測:形質比は 3:1
実測:6022:2011
→ この予測と実測の間のズレはK=0.0812となる
P (K  0.0812) = 0.22
Mendelの予測が
正しいとして、
彼ほどに「良い」
データが
得られる確率