都市工学数理 0．統計学的検定の基本ノンパラメトリック検定 - 東京大学

０．統計学的検定の基本
都市工学数理
母集団と標本
世論調査では、日本人全員に聞くというのは事実
上不可能。そこで、日本人全員（＝母集団）から、
一部（＝標本）を選んで、そこで得られた傾向（＝
仮説）が日本人全体にもある程度の信頼性で成り
立つかどうかを考える（＝検定）。
注意
浅見泰司
東京大学大学院工学系研究科教授
サンプリングの方法・・・ランダムサンプリングが基本。
現実にはできないことが多い。（ランダムサンプリングさ
れたことを前提に以下では考える。）
©Yasushi Asami
1
©Yasushi Asami
2
ノンパラメトリック検定とは？
統計的な方法を考える上で、母集団が何らか
の統計分布に従うことを仮定することが多い。
分布の特性を決めるものがパラメータ。
パラメトリック検定・・・母集団の分布形やその
パラメータ（母数）について仮定を設けて行う
検定
ノンパラメトリック検定・・・母集団の分布形や
そのパラメータ（母数）について仮定を設けな
い検定
正規分布・・・平均値と分散
二項分布・・・p（確率）とn（試行回数）
ポアソン分布・・・λ（平均値）
つまり、より一般的に使える・・・オールマイティー
©Yasushi Asami
3
©Yasushi Asami
4
統計学の参考書
尺度の違い？
 石居進 (1975) 「生物統計学入門」培風館.
 竹内啓 (1963) 「数理統計学」東洋経済.
 東京大学教養学部統計学教室（編） (1991) 「統計
学入門」基礎統計学Ⅰ，東京大学出版会.
 林周二 (1973) 「統計学講義」（第２版）丸善
 柳川尭 (1982) 「ノンパラメトリック法」培風館
 山内二郎（編）(1977) 「簡約統計数値表」日本規格
協会
©Yasushi Asami
5
©Yasushi Asami
6
1
１．尺度
尺度の種類
次の中で平均値が意味を持つのは？
名義尺度（nominal scale）
名称、種類など例：学生証番号、血液型
学生証番号
クラス対抗リレー戦でクラスのリレー選手の順位
気温
体重
順序尺度（ordinal scale）
順位など例：多い－少ない
間隔尺度（interval scale）
差が意味を持つ例：温度
比率尺度（ratio scale）
何が違う？
比率が意味を持つ、0の意味が明確例：長さ
©Yasushi Asami
7
©Yasushi Asami
名義尺度
順序尺度
意味を持つ演算
意味を持つ演算・変換
中央値、単調増加変換（順位に関する演算）
順位に関するノンパラメトリック統計
カウント、比率、最頻値、対応関係の変更
意味を持つ図表
意味を持つ図表
頻度図表、比率図表、構成比の円グラフなど
折れ線グラフはダメ
©Yasushi Asami
8
順序プロット図
9
©Yasushi Asami
10
比率尺度
間隔尺度
意味を持つ演算・変換
意味を持つ演算・変換
四則演算、比変換
和・差、平均値、一次変換
パラメトリック統計、回帰分析、因子分析など
意味を持つ図表
三角グラフ
意味を持つ図表
xyプロット図、平行箱ひげ図
©Yasushi Asami
11
©Yasushi Asami
12
2
t 検定に代わる方法は？
ノンパラメトリック検定の考え方
t 検定では、平均値の違いに着目
→中央値の違いに着目すればよい
分布を仮定しないということは、スケールを変
化（単調増加関数による変換）させても、その
まま成立するような方法であるということ。
スケールを変化させても保存されるものは、順
番
・・・というわけで、順位に着目する方法が多い。
順位に着目した時の代表値は、中央値。
©Yasushi Asami
主な検定したい内容
①中央値＝M？
→符号検定
②２つの集団の中央値は等しい？
→Wilcoxonの順位和検定
13
２．中央値の検定（符号検定）
(1)中央値が4ならば、それ以上もそれ以下も1/2
の確率で標本に入るはず。
(2)［母集団自体には分布の仮定は設けていな
いが］仮説上の中央値よりも大きいか小さいかは
1/2の確率でおきるので、その個数は二項分布
に従う。
(3)1/2よりも偏っていれば仮説はおかしい。4以
下の標本は9個中2個しかない。9個中、1/2の確
率で起きるものが2個以下しか起きない確率は
？
15
0個の確率・・・9C0(1/2)9
1個の確率・・・9C1(1/2)9
2個の確率・・・9C2(1/2)9
合わせると、
(9C0+9C1+9C2) (1/2)9=(1+9+36)/512=0.089844
（有意水準）5%よりは大きいので、それほど珍し
いことが起きたわけではない→仮説を棄却でき
ない
©Yasushi Asami
14
基本的な考え方
Question
母集団から9個の標本をとったら、
１，３，６，８，１１，１５，１６，１９，２２
「中央値は4である」は正しいか？
©Yasushi Asami
©Yasushi Asami
©Yasushi Asami
16
(4)標本数が多ければ、（階乗の計算は大変
なので）二項分布を正規分布で近似する。
17
©Yasushi Asami
18
3
一般的な手法
［例］
Q: ある標本の母集団の中央値はaであるといえるか
H0: median=a
aよりも大のもの（＋）の数=m
aよりも小のもの（－）の数=n
m<nならば
m
1
Pr(k  m)   m  n Ci  
 2
i 0

1 mn

m  
2
2  

mn 



4
i
1
 
2
m  n i
母集団から 100個標本をとる。｛xi: i=1～100｝
xi<Mのものが40個（m＝40）
xi>Mのものが60個（n＝60）
H0: 中央値はMである
μ=(m+n)/2=50, σ2=(m+n)/4=25
Φ（(40+1/2-μ)/σ）=Φ(-9.5/5)
=Φ(-1.9)=0.0287<α=0.05
H0は棄却。
よく使うαは0.05
→ H0を棄却
©Yasushi Asami
19
３．中央値の違いの検定
（Wilcoxonの順位和検定）
20
基本的な考え方
(1)まずは、全部を順番に並べてみよう
A: １，３，６，８，１１，
B:
７，９，１２，１６，１８，２１
・・・Bの方が大きい感じがする
(2)中央値が同じならば、AもBも前半の順位と
後半の順位が同じくらいでてくるはず。
全体の順位を足し合わせると、どちらも、中央
値の順位の個数倍くらいになるはず。
Question
母集団Aから5個、母集団Bから6個の標本をとったら、
A: １，３，６，８，１１
B: ７，９，１２，１６，１８，２１
「２つの集団の中央値は等しい」は正しいか？
©Yasushi Asami
©Yasushi Asami
21
それよりも目立って小さい（もしくは大きい）なら
ば、仮説はあやしい。
Aの順位は、1, 2, 3, 5, 7なので、順位の合計
は18。
Wilcoxonの順位和検定の統計表を見ると
©Yasushi Asami
22
５，６のところでは、
18（以下）という順
位和は2.5%以下
の確率で起きる。
5%以下なので珍し
いことが起きた。
中央値が等しいと
いう仮説を棄却！
https://www.stat.auckland.ac.nz/~wil
d/ChanceEnc/Ch10.wilcoxon.pdfより
©Yasushi Asami
23
©Yasushi Asami
24
4
一般的な手法
 両方の個数が多いと、数表にはない
 →正規分布で近似する。
Q: 二つのグループX, Yの母集団の中央値は同じであ
ると考えられるか。
 本来は、だいたい、平均では中央値の順位（
=(6+5+1)/2=6）の個数（5個）倍になるはずなので、
30が期待値。
 順位のばらつきは、やや難しいが分散が、
6×5×(6+5+1)/12=30となる。
 平均値30、分散30で18以下の値となる確率を計算
する。Φ((18-30)/301/2)=Φ(-2.19089)=0.01423<0.05
 →仮説を棄却！
©Yasushi Asami
Xはn1個、Yはn2個、Ｘの順位和はR
H0: MX=MY
μ=n1(n1+n2+1)/2, σ2=n1n2(n1+n2+1)/12, z=（R-μ）/σ
|z| > z*(α)
25
26
相関係数で２つの変量の関係を調べていた
→順位で相関を考えれば良い
主な検定
○２つの変量は相関しているのか？
片方の順位が上がると、もう一方も上がるという関係が
あるか？
27
４．序数尺度の相関（Spearman
の順位相関係数）
©Yasushi Asami
28
xi, yiを用いて普通の相関係数rを求める
r
Question
XとYはi=1～nのものに次のような順位がついて
いる
評価対象 1 2 …… n
xn
Xの順位 x1 x2
Yの順位 y1 y2
yn
Xの順位とYの順位の間に相関があるといえ
るだろうか
©Yasushi Asami
©Yasushi Asami
相関係数に代わる方法は？
［例］X: 1.2, 1.4, 1.5, 1.8, 2.1 （n1=5）
Y: 1.9, 2.0, 2.5, 2.6, 2.7 （n2=5）
↓（順位付け）
X: 1, 2, 3, 4, 7
Y: 5, 6, 8, 9, 10
R=1+2+3+4+7=17
R<R*(5,5,α)=19
H0は棄却。
近似式を用いた場合：
μ=n1(n1+n2+1)/2=55/2, σ2=n1n2(n1+n2+1)/12＝275/12
Φ（(R-μ)/σ）=Φ((17-27.5)/4.787)=Φ(-2.193)=0.014<α=0.05
H0は棄却。
©Yasushi Asami
→ H0を棄却
 ( x  x)( y  y)
 ( x  x)  ( y  y )
i
i
i
2
i
i
i
2
i
「簡単」な代数計算によって（統計の教科書には書いてある）次
の様に表せる
r  1
6
 ( xi  yi ) 2
n(n 2  1) i
これを、Spearmanの順位相関係数という
相関の有意性の検定は、（基数的数値でないため）普通の相関
係数の場合と同じようには行えない。そこで特別にSpearmanの相
関係数の有意性の検定表が用意されている。
29
©Yasushi Asami
30
5
［参考］Kendallの順位相関係数
{xi}は大きさの順に並んでいるとする。それに対応する｛yi｝がどのくらい
順位が似ているかを考える。u(a,b)=1 if a<b, 0 otherwiseとする。
同順位がない場合は、
［例］X: 12, 19, 28, 48, 59
Y: 15, 30, 21, 69, 85
H0: 相関なし n=5
↓（各々順位付け）
X: 1, 2, 3, 4, 5
Y: 1, 3, 2, 4, 5
Σi(xi-yi)2=2（=d2）, r=1-6Σi(xi-yi)2/[n(n2-1)]＝0.9
d2≦d2*(5,α)=2 （α＝0.05）
H0は棄却。正の相関があるといえる。


2 
  u ( yi , y j )   u ( y j , yi )
n(n  1) 1i  j n
1i  j  n

 u( y , y )
1i  j  n
i
n(n  1)
j
1
とすると、大きさの順が一致する場合はτ=1、大きさの順が全く逆の場合
はτ=-1となる。この量で分析する。
仮に同一値がある場合は以下のようにτを補正する。

 u( y , y )   u( y , y )
1i  j  n
31
i
j
1i  j  n
j
i

  n(n  1)
 n( n  1)
 2  Tx   2  Ty 
ただし、
Tx=Σtx(tx-1)/2
Ty=Σty(ty-1)/2
©Yasushi Asami
4

tx=xの同一値の組それぞれについてその要素数
ty=yの同一値の組それぞれについてその要素数
©Yasushi Asami
サンプリングは適切か？
５．無作為性の検定（連検定）
得られたサンプルは適切か？
→ランダムサンプリングを想定しているので,ラ
ンダムと言えるかどうかをチェックすれば良い
Question
ある数字列は無作為抽出の標本と考えられる
だろうか（ばらつき方に規則性がないだろうか）。
32
主な検定
○無作為性の検定
ランダムならば、大きい方の値と小さい方の値は同じよ
うな確率で出てくるはず
©Yasushi Asami
33
34
その数列を２つに分ける値（例えば中央値）をmとして、mより上
ならば＋，mより下ならば－と書く（＋の数=n1，－の数=n2）。
同一種類の記号の連なりを連という。
r=連の総数
rが大きい場合（交互に上下）や、小さい場合（まとまっている）は
無作為とは言い難い。
そこでrの上限と下限の臨界値が数表となっておりそれで検定で
きる。
n1, n2が大きい場合は次のように正規近似して検定すればよい。
μr = 2n1n2/(n1+n2)+1
σr2 = 2n1n2(2n1n2-n1-n2)/[(n1+n2)2(n1+n2-1)]
基本的な考え方
 中央値よりも大きい値を大、小さい値を小とすると、
大も小も1/2の確率でサンプリングされるはず。
 大（小）が続きすぎるのはおかしい
 大と小が入れ替わりすぎるのもおかしい
 →大や小がどのくらい続くかに着目することで無作為性を
チェックできる
©Yasushi Asami
©Yasushi Asami
35
©Yasushi Asami
36
6
連検定用
［例］ 2 5 1 6 2 -1 -5 2 -3 -1 6 3 -2 -1 -3 4 2 -1 -1 -5
↓
+ + + + + - - + - - + + - - - + + - - 1| 2| 3|
4| 5|
6|
7|
8|
r=8 n1=5+1+2+2=10, n2=2+2+3+3=10
r*(10,10,α)=6, r**(10,10,α)=16 → r*<r<r**（α=0.05）
H0: 「無作為」は棄却されない。
山内二郎（編）(1977) 「簡約統
計数値表」日本規格協会より
©Yasushi Asami
37
F検定に代わる方法は？
©Yasushi Asami
38
６．ばらつき度の違いの検定
（Siegel-Tukey検定）
F検定では、分散の違いに着目
→中央値からの離れ方に着目すればよい
Question
２つのグループX, Yのばらつきは同じ程度とい
えるだろうか
主な検定したい内容
①２つの集団のばらつきは等しい？
→Siegel-Tukey検定
©Yasushi Asami
39
40
［例］Ｘ： 1, 2, 5, 9,15,21
Ｙ： 4, 8,10,11,12,16
H0: ばらつきは同じ
↓順位付け
アイデア：これまで習った方法の有効利用
X X Y X Y X Y Y Y X Y X
+--+--+--+--+--+--+--+--+--+--+--+
1 2 4 5 8 9 10 11 12 15 16 21
1 4 5 8 9 12 11 10 7 6 3 2
μX=μYを仮定する
X, Yの標本を大きさの順に
1 4 5 8 …… 7 6 3 2
Ｘ： 1, 4, 8,12, 6, 2
Ｙ： 5, 9,11,10, 7, 3
n1=6 R=33
n2=6
R*(6,6,α)=28, R**(6,6,α)＝50 R*<R<R**
H0は棄却されない → ばらつき度は違うとは言えない
と外側から順位をつける
これで順位和検定を行えばよい
©Yasushi Asami
©Yasushi Asami
41
©Yasushi Asami
42
7
検定に代わる方法は？
７．Kolmogorov-Smirnov検定
 検定では、離散的な階級における度数の違
いに着目
→累積分布で分布間の離れ方に着目すれば
よい
Question
２つの母集団XとYから無作為に標本をとった
ところ、
X： x1, x2, …, xm
Y： y1, y2, …, yn
となった。この２つの母集団の分布は同じと言え
るか？
主な検定したい内容
①２つの分布は等しい？
→Kolmogorov-Smirnov検定
©Yasushi Asami
43
まずは、標本累積分布を求める
Fm(x) = [x以下の{x1, x2, …, xm}の数]／m
Gn(y) = [y以下の{y1, y2, …, yn}の数]／n
これは階段状の関数となる。
２つのもとの分布が等しいならば、この２つはさ
ほど大きな違いがないはず。そこで、その最
大差を求める。
Dm,n = supx |Fm(x)-Gn(x)|
©Yasushi Asami
©Yasushi Asami
44
2つの母集団の累積分布関数が等しいという
帰無仮説のもとで、Dm,nに応じた確率値が統
計表として示されている。
45
©Yasushi Asami
46
数値例
X：1,2,3,5,7,9,11,13,14,15
Y：4,6,8,10,12,16,17,18,19,20
XとYの母集団は同じ分布？
柳川尭 (1982) 「ノンパラ
メトリック法」培風館より
注意：この数表では、
m=nの場合のみ使える
©Yasushi Asami
47
©Yasushi Asami
48
8
差が最大なのは、D10,10=5/10（値が15～16）
P0｛D10,10>5/10｝=0.1678
つまり十分にまれな現象とは言えない
帰無仮説を棄却できない
（つまり、２つの母集団の分布が違うとは言い
切れない）
柳川尭 (1982) 「ノンパラ
メトリック法」培風館より
©Yasushi Asami
49
©Yasushi Asami
50
51
©Yasushi Asami
52
まとめ
ノンパラメトリック検定手法は、以下にもとの分
布の性質を仮定しないで、いかに検定に持ち
込めるかという工夫を凝らした手法が多い。
順序関係が保存されることを最大限に用いて
いるものが多い。
工夫次第で、新たな方法を「発明」することも
できる分野。
©Yasushi Asami
9

Download Report