LEC3 3章 確率 - Info Shako

浅野
統計学 LEC3
3章
3.1
確率
序説
何が起こるかは未知だが、何が起きうるか及び、起き易さはわかっている。このような状態を正
確に記述するのに「確率--probability」の概念が必要。
実験:標本をとる experiment
事象:実験の特定の結果 event
標本空間:すべての可能な事象の集合 sample space
3.2
標本空間
実験:
事象
標本空間
・コイン投げ
1:表(H) 2:裏(T)
{H,T}={e1,e2}
・トランプ
1:Heart
{H,S,C,D}={e1,e2,e3,e4}
2:Spade
3:Club
4:Diamond
・コイン投げ 2 回 1:HH 2:HT 3:TH 4:TT {HH,HT,TH,TT}={e1,e2,e3,e4}
3.3
事象の確率
確率の定義
実験を M 回繰り返す。特定の事象 u が起きる回数を m とする。
事象 u の確率 = P(u)
= m/M の極限値
各事象には確率が割り当てられる。
コイン:P(H)=P(T)=0.5
トランプ(ジョーカー抜き):P(H)=P(S)=P(C)=P(D)=0.25
確率のルール
1.確実な事象の確率は1
2.不可能な事象の確率は0
3.非負
4.すべての可能な、異なった事象の確率の和は1 (iP(ei)=1)
3.4
複合事象の確率
A,B 等(大文字)で事象の集合を表す。
4面サイコロを 2 回
-1-
浅野
統計学 LEC3
{ (1,1),(1,2),(1,3),(1,4), (2,1),(2,2),(2,3),(2,4), (3,1),(3,2),(3,3),(3,4), (4,1),(4,2),(4,3),(4,4)}
A:2回の和が4 P(A)=3/16
単一事象(e1,..,en)がすべて同じ確率の時 P(A)=n(A)/n
n(A):A を構成する事象の数 n:事象の数
B:一回目が 2 以下 P(B)=1/2=8/16
標本空間を図示。
5
4
2回目
3
2
B
A
1
0
0
1
2
3
4
1回目
3.5
加法定理
P(A or B)
排反な事象 A、B は同時に起き得ないなら P(A,B)=0。この時 A,B は排反である。
A,B が排反なら
P(A or B) = P(A)+P(B)
A: 和が 4
B: 和が 6
一般のケース
加法定理
例:
P(A or B) = P(A)+P(B)-P(A,B)
A:和が 4
B: 1 回目が 2 以下
P(A or B) = P(A)+P(B)-P(A,B)= 3/16+8/16-2/16 = 9/16
3.6
例
乗法定理
P(A and B)
A:和が4、B:1 回目が 2 以下 P(A,B)=2/16 (図より)
-2-
5
浅野
統計学 LEC3
同時確率(joint probability)
P(A,B)
条件付確率 (conditional probability)
P(A|B)
周辺(無条件)確率(marginal probability)
P(A)
条件付確率 P(A|B)=P(A,B)/P(B)
例では
B が起きている時 A が起きる確率
(2/16)/(8/16)=2/8
乗法定理
P(A,B) = P(A|B) x P(B) (= P(B|A) x P(A))
同時確率
条件付x周辺(無条件)確率
一般形
P(A1,A2,A3,..,An) =
P(An|A1,A2,、。。、An-1)
x P(An-1|A1,A2,,..An-2)
…
x P(A2|A1)
x P(A1)
3.7
独立な事象の乗法定理
事象 A,B
独立:A の結果は B から影響を受けない。
この時
P(A,B)=P(A)P(B)が成立。 また、
(*) P(A|B)=P(A)、 A は B から独立
(**) P(B|A)=B(B は A から独立)も成立。
注意:(*)と(**)は同値
A,B が統計的に独立なら
P(A,B)=P(A)P(B)
注意1:独立と排反は排反的
注意2:統計的独立と因果関係は別物
例:A:月島の気温 B:太陽の黒点活動
因果関係では「B は A から独立」「A は B から非独立」しかし統計的には A,B は非独立
3.8
例
独立
A:巨人の勝ち負け A1:勝ち P(A1)=0.5
B:西武の勝ち負け B1:勝ち
P(A1,B1)=0.5x0.6=0.3
-3-
P(B1)=0.6
浅野
統計学 LEC3
独立 vs 非独立
どんぶりに5個の白玉(W)、3個の黒玉(B)。1個ずつ取り出す。
2回取り出した時の1回目と2回目の結果。
独立:取った後、玉を戻す。
P(1W)=5/8、
P(2B)=3/8
P(2B|1W)=3/8,
P(1W,2B)=P(1W)xP(2B)=15/64
P(2B|1W)=?
P(1W,2B)=?
非独立:取った後、戻さない。
P(1W)=5/8、
P(2B)=?
P(2B)=P(1W,2B)+P(1B,2B)=
P(1W)xP(2B)=?
乗法定理の一般形(P.54 例3)
P(25 人のうち少なくとも 2 名が同じ誕生日)=1-P(すべて異なる) (=1-0.43=0.57)
A2: 2が1と異なる
A3: 3が1,2と異なる
….
A25: 25が1、2、。。24と異なる。
P(すべて異なる)=P(A2,A3,..,A25)
24 個の確率の積
= P(A25|A2,A3,,..A24)
341/365
P(A24|A1,A2,..,A23)
342/365
…
P(A3|A2)
363/365
P(A2)
364/365
P(すべて異なる)=364/365x362/365x..x341/365=0.43,
ベイズの定理(条件付確率の応用)
・
情報を取り入れて Belief を update する方法
・ 「結果」から「原因」を推量するルール
例:
原因:松井の打点
RBI(打点あり) RB0(打点無し)
結果:ヤンキースの勝ち負け
W(勝ち)
L(負け)
結果について情報が無い時:P(RBI)=0.5
ヤンキースが勝ったという情報が入ったら見方は変わるはず!
Prior
事前確率(原因の起こる確率)
例
P(RBI)=0.5
:
Conditional 条件付確率(原因jが起きた時、結果iの起きる確率)
-4-
浅野
統計学 LEC3
例:P(W|RBI)=0.7、P(W|RB0)=0.3
posterior 事後確率
例:P(RBI|W)=P(RBI,W)/P(W)
解法)
step1:同時確率を求める
P(RBI,W)=P(W|RBI)P(RBI)=07x05=0.35
step2:結果の起きる確率を求める。 P(W)=P(RBI,W)+P(RB0,W)=0.35+0.15=0.50
step3:P(RBI,W)/P(W)
条件付確率 (同時確率)
W (勝)
L (負)
事前確率
RBI 打点あり
0.7
(0.35)
0.3
(0.15)
0.5
RB0 打点無し
0.3
(0.15)
0.7
(0.35)
0.5
(0.50)
(0.50)
一般のケース
原因:J 通り e1,e2,..,eJ
事前確率 P(ej)
既知
結果:I 通り o1,o2,..,oI
条件付確率 P(oi|ej)
既知
ベイズの定理 (Prior & Conditional から Posterior を導くルール)
P(ei|oj) = P(ei,oj)/P(oj) = P(oi|ej)P(ej) / mP(oj|em)P(em)
例題 P.57 病気の検査
原因
結果
e1 重症
0.01
o1
陽性
P(o1|e1)=0.97
e2 健康
0.96
o2
陰性
P(o1|e2)=0.05
e3 軽症
0.03
P(o1|e3)=0.10
P(e2|o1)?
例
天気予報の的中率
ˆ , Rˆ )
予報: 晴れ、雨 ( C
結果: 晴れ、雨 (C,R)
P(C)=0.8, P(R)=0.2
条件付的中率 P(C| Cˆ )=0.8 P(R| Rˆ ) = 0.9
無条件的中率 P(C, Cˆ )+P(R, Rˆ )
-5-
浅野
統計学 LEC3
3.10 計数の方法
確率の木
0.7
0.5
RBI
W 0.5x0.3=0.15
RB0
0.7
3.11
0.5x0.7=0.35
L 0.5x0.3=0.15
0.3
0.5
W
L 0.5x0.7=0.35
順列・組合せ
k段階の選択、各段階にni個の選択肢 可能な選択 n1 x n2 x..x nk
例:
階乗
アイスクリーム:31種類 トッピング:5種類 容器:3種類
n!=n(n-1)(n-2)..2 1 例:3!=3x2x1=6、1!=1、0!=1
n個を並べる方法
例:
順列
例:
31x5x3通り
n!
9人の野球チームの打順 9!通り
n個からx個を取って並べる方法
nPx = n!/(n-x)!
permutation
nCx=n!/{(n-x)!x!}
combination
9人からトップ3人の打順
n=9,x=3 9x8x7=9!/6!
組合せ
例:
例
n個からx個を取る方法
9人からクリーンアップ(3,4,5番)を打つ打者の組み合せ(順番は問わない)
ポーカー
フラッシュ(F)対ストレート(S) FはSに勝つ。 P(F)<P(S)?
フラッシュの確率
P(F)
解1(組み合わせ)
-6-
浅野
統計学 LEC3
52C5通りの組み合わせ。
52枚から5枚
Fとなる組み合わせ 4種類x 13C5
すべての組み合せは同じ確率。
P(F) = 4x13C5/52C5 = 0.001981
解2(乗法定理)
1枚目
何でもOK
2枚目
1枚目と同じ種類
12/51
3枚目
1,2枚目と同じ
11/50
4枚目
1,2,3枚目と同じ
10/49
5枚目
1,2,3,4枚目と同じ
9/48
ストレートフラッシュの確率
4種類x10通り = 40
P(F)= 12/51 x 11/50 x 10/49 x 9/48
P(S,F)
P(S,F)=40/52C5
ストレートの確率
解1(乗法定理)
P(S,F)=P(F|S)P(S)

P(S)=P(S,F)/P(F|S) =(40x44)/52C5=0.003917
P(F|S) = (1/4)4
1枚目
何でもOK
2枚目
1枚目と同じ種類
(候補は4枚)
3枚目
1,2枚目と同じ種類
(候補は4枚)
4枚目
1,2,3枚目と同じ種類.()
5枚目
1-4枚目と同じ種類 ()
解2(組み合わせ)
はじめの数は10通り(A,2,3,4,5,6,7,8,9,10)
1枚目の候補は4種類 例 H,S,C,D
2枚目
4種類
..
5枚目
4種類
したがって Sの組み合わせ = 10x45
P(S) = 10x45/52C5
-7-