ダウンロード

1. 確率論
確率は事象が偶然に起こる確かさを表わす。事象の集まりとしての標本空間に
ついて述べ、確率を事象に区間[0,1]上の実数を対応させる関数と捉える確率測度
を議論する。条件付き確率に対しては、時間的に前向きの確率と後ろ向きの確率
について述べる。応用として血液型の遺伝の問題を考える。
1.1.
確率
我々の観測対象には偶然に起こる現象がある。例えば、ある電気製品やシステ
ムの故障、疾病の発病、コンピュータオンラインシステムに入るクライアント数
や電話交換機へ入る呼数、情報通信において発生するエラー、標本の無作為抽出
などは偶然に発生する。このような偶然に発生する現象を非決定論的現象
(stochastic phenomenon)という。統計および情報科学ではこのような現象を数量的
に解析することが重要な課題であるし、さらに最適な行動や意思の決定法および
システム構築についても研究を行う。非決定論的現象で観測される事柄を事象
(event) といい、その起こる確かさを数量的に考察するための数量が確率
(probability)である。
ある試行(trial)を独立に N 回反復するとき、事象 A が n(A)回出現したとする。
このとき、A の相対度数
Fn ( A) 
n( A)
N
(1.1)
は、N→∞のとき、一定値 P(A)に近づくことが示される（大数の法則）。この値は
A に関係する量であり、これを A が起こる確率という。従って、確率は
0≦P(A)≦1
(1.2)
を満たす。確率 P(A)は一般に未知で、実験や調査によるデータから推定 (estimation)
する必要があり、Fn (A)はその推定値(estimate)である。
[例 1.1] ある疾病の患者 100 人に薬剤 A を投与し、55 人に効果が見られた。無作
為に抽出した患者に対して A の効果が出る確率を P(A)とするとき、相対度数
F 100 (A) =0.55 は確率 P (A)の推定値である。□
確率 P(A)と推定値 Fn (A) は一致しないので、推定値の精度を含めて、対象の確率
に関する推定の議論をする必要がある。例えば、(2.1)で F10 (A)=0.500, F100 (A)=0.350,
F 1000 (A)=0.384 を示したとき、大数の法則から推定精度は F1000 (A)=0.384 が一番よ
1
いことになる。推定精度に関する実験は 6 節で与える。確率は統計や情報科学の
理論と応用に重要な役割を果たす。
1.2. 標本空間
非決定論的現象で起こる事柄を事象と呼んだ。例えば、 A =「ある地域の 1 月
のインフルエンザ患者発生件数は 100 人以下である」、B=「C 型肝炎ウイルス感
染者が 20 年以内に肝がんを発症する」などは事象の例である。これらの事象はそ
れぞれ、
A = {x| 0≦x≦100, x は整数},
B = {x| 0≦x≦20}
のように集合で表現できる。事象と集合を同一視して確率に関する議論を行うと
便利である。ある現象や試行で起こる全ての事象を集合Ω で示し、全事象 (whole
event)といい、その各要素を根元事象（ elementary event）という。全事象 Ω にお
ける事象 A は A⊂Ωである。また、Ωにおける事象 A,B に対して、「A でない」、
「A または B」、「A かつ B」も事象であり、それぞれ A 、A∪B、A∩B で表現さ
れる。 A は A の余事象、A∪B は A と B の和事象、A∩B は A と B の積事象とい
 
う。    も一つの事象で、空事象と呼ぶ。数学では事象全体の集合をボレル集
合体(Borel field)と呼んでいる。
[例 1.2] 硬貨１個を投げる試行ではΩ= {H,T}, ボレル集合体は B = {φ,{H},{T},
Ω}である。ここに、H と T はそれぞれ硬貨の表と裏を表す。
[例 1.3] サイコロを１個投げる試行ではΩ ={1,2,...,6}で、ボレル集合体は
B = {φ,{1},...,{6},...,{1,2,3,4,5},Ω}
である。
□
全体集合 Ω と事象の集合（ボレル集合体）を合わせた概念を標本空間 (sample
space)という。ここでは簡単に Ω を標本空間ということにする。標本空間は単な
る集合ではなく、その要素は偶然に起こる事象である。
[例 1.4]   1 , 2 ,..., n  のとき、標本空間を離散標本空間(discrete sample space)
という。がん患者の状態をΩ = {初期、中期、末期}と分類すれば、この集合が標
本空間である。また、交通事故やある感染症の発生人数の観測ではΩ = {0,1,2,….}
が標本空間である。
□
上の例の他に、ある疾病患者の出身地域や国を記録して分類する場合が考えら
れる。この場合の標本空間はΩ ={A 地域、B 地域、C 地域}である。また、実験
2
や観測で発生した現象あるいはヒトの集団の目、毛髪、および皮膚の色を対象と
する研究では標本空間はΩ ={黒、青、白、茶}などになる。このような研究対象
から得られるデータは質的 (categorical)および名義的(nominal)である。がん患者の
状態をΩ = {初期、中期、末期 }や実験結果の評価でΩ = {非常に良い、良い、普
通、悪い}とすれば、この分類は自然に順序化されている。このようなデータを順
序カテゴリデータ(ordered categorical data)という。また、交通事故件数などでは
整数値でデータが得られ、通常の四則演算をすることが出来る。この場合のデー
タを計数データ(count data)という（図 1.1）。質的データでは変量間での四則演算
が直接行えず、この点では連続データに比較して統計解析は難しくなる。
[例 1.5] 身長、体重、体内物質濃度、および各種の寿命の観測ではΩ ={−∞ < x <∞}
である。この場合は、任意の区間[a,b]に演算∪と∩を用いて作られる集合が事象
である。
□
連続データ
計数データ
離散データ
順序カテゴリデータ
質的データ
（カテゴリ）
名義的データ
図 1.1. 観察項目データの分類
問 1.1. 図 1.1 のデータ分類に対する観測項目の例を考えよ。
一般にΩが有限(finite)または可算集合(countable set)のとき標本空間は離散標本
空間、連続の場合は連続標本空間 (continuous sample space)という。標本空間の型、
すなわちデータ特性に対して数理モデルや情報解析方法が異なることは銘記すべ
きである。
1.3. 確率空間
1.1 節で述べたように非決定論的現象では事象の起こる確かさを、確率で評価
する。事象は集合と同一視できることと、集合の演算を考え、確率の定義は次の
ように与えられる。
定義 1.1. 標本空間Ωにおいて、事象に実数を対応させる関数 P で、次の(i)から
3
(iii)満たすものを確率測度(probability measure)という。
(i) P(φ) = 0,
P(Ω) = 1.
(ii) 任意の事象 B に対して 0≦P(B)≦1.
(iii) 事象 B i (i = 1,2,...)に対して、 B i ∩B j = φ (i ≠j)ならば
  
P  Bi    PBi 
 i 1  i 1
□
標本空間Ωに上で定義した確率測度 P を合わせた概念を確率空間という。上の
(iii)で B j =φ (j=n+1,n+2,…)とすれば
 n
 n
P  Bi    PBi 
 i 1  i 1
が成立する。
注意 1.1 事象 A と B で A∩B = φのとき、A と B は互いに排反という。
定理 1.1. 事象 A と B に対して
P(A∪B) = P(A) + P(B)－P(A∩B)
(1.3)
が成立する。
証明
事象 A∪B は次のように分解される。

A B  A A B

ここに


A A B  
である。確率測度の性質 (iii)を用いて

P( A B)  P( A)  P A B

(1.4)
である。また、

 
B  A B  A B

かつ
A B A B  
であるから
4
 

PB   P A B  P A B

(1.5)
を得る。(1.2)と(1.3)から(1.1)が示される。

系 1.1. 事象 B に対して P B  1  P( B) が成立する。
証明
定理 1.1 で A  B として示される。
□
問 1.2. 次の等式を証明せよ。
P( A  B  C)  P( A)  P( B)  P(C )
 P( A  B)  P( B  C)  P(C  A)  P( A  B  C)
問 1.3. トランプ(52 枚)から無作為に一枚のカードを抜き取る。 A = ハート、B=
 B の確率を求めよ。
偶数カードとするとき、 A
[例 1.6]
離散確率空間で、  1 , 2 ,...とするとき、 i の出現する確率を P(i )
とおく。このとき、事象 B が起こる確率は
P( B) 
 P( )
i
i B
である。上の式は次のようなことを意味する。サイコロを１個投げる場合に
B = 偶数の目がでる
とすれば、
P(B) = P(2 の目) + P(4 の目) + P(6 の目) = 1/2
のように計算する。
[例 1.7]
連続確率空間では
P(特定の値 x が観測される) = 0
である。例えば、人の身長を観測する場合に
P(身長 172.5cm の人が観測される) = 0
である。このような現象ではある区間に観測値が入る確率を求めることに意味が
あり、確率は
b
P(a≦x＜b) =
 f ( x)dx
(1.6)
a
で与えられる。この場合の関数 f(x)を確率密度関数(probability density function)ま
たは密度関数(density function)という。実験における観測誤差、ある製品の故障時
間の観測などは連続確率空間の例である。
[例 1.8] ある値は次の密度関数 f(x)に従って値 x が観測される（三角分布）。
5
( 0  x  1)
 x
2  x
(1  x  2)
f ( x)  
0 (その他)
x が 1/4 ≦x≦ 3/2 である確率は
3/ 2
1
3/ 2
1/ 4
1/ 4
1
 f ( x)dx   xdx   (2  x)dx


1


3/ 2
 x 2 2 1/ 4  2x  x 2 / 2 1
= 27/32.
である。次に、任意の定数 t に対して
F(t) = P(x < t)
を求める。これは t の関数で、分布関数(distribution function)という。確率 F(t)は
 0 (  x  0)
 x2
(0  x  1)
 2
F (t )   ( 2 x ) 2
(1  x  2)
1  2

1 ( x  2)
である。このグラフは図 2.2 で示され、S 字型になる。
F(t)
累積確率
1
0.5
F(t)
0
-1
-0.5
0
0.5
1
1.5
t
図 1.2. F(t)のグラフ
問 1.4. 密度関数を次のようにする。
6
2
2.5
3
 x2
( 0  x  1)
  2 x 2  6 x 3
(1  x  2)

f ( x)   (32x ) 2
(2  x  3)
 2

0 (その他)
2
(1)
1
2
 x  52 の確率を求めよ。
(2) F(t) = P(x < t)を求め、そのグラフを描け。
1.4. 条件付き確率
ここでは、事象 A と B に対して A が起きた条件下での B の確率について述べる。
この場合の確率は条件付き確率(conditional probability)と呼ばれ、P(B|A)で表現す
る。条件付き確率は A の B に対する関連性を考察する場合に有用である。例えば、
時間的に変化する現象の観測では、時刻 1 での結果 A が時刻 2 での結果 B に影響
すると考えることは自然で、 A が起こったときに B の生起を確率的に考えること
は日常的に考えられる。
[例 1.9] ある遺伝形質に注目するとき、遺伝子 A を優性、a を劣性とする。因子
型 AA と Aa を交配させ、第 2 世代で表現型 A をもつ 1 つの個体(Ax)に aa の個体
を交配させた。ここに、 x  a, A とする。その結果、5 つの子ができ、それらが全
て表現型 A を持っていた。このとき、交配させられた第 2 世代の子が因子型 AA
の条件付確率を計算することは生命科学でも有意義である。計算結果は後に示す。
第 1 世代
AA
第 2 世代
第 3 世代
Aa
AX
A
aa
A
A
A
A
図 1.3. 世代図
□
定義 1.3. 事象 A と B に対して A が起きた条件下での B の条件付き確率を
P( B | A) 
P( A B)
(1.7)
P( A)
で定義する。ただし、P(A)≠0 である。
[例 1.10] ある地域の成人男性 N 人を喫煙の有無により表 1.1 のように分類した。
7
このような表を分割表 (contingency table)という。この中から無作為に１名抽出
するとき
P60歳以上かつ喫煙あり
P60歳以上
P喫煙あり| 60歳以上 
＝
n11 N
n11
＝
n11  n12
(n11  n12 ) / N
を得る。この分割表では、条件付確率 P(喫煙あり｜60 歳以上）と P(喫煙あり｜
60 歳未満）を比較することで、年齢と喫煙の関連性を調べることになる。この表
の度数（人数）n ij を(i,j)セル(cell)という。
表 1.1. 成人男性の分割
年齢
喫煙
あり
なし
合計
60 歳以上
n 11
n 12
n 1+
60 歳未満
n 21
n 22
n 2+
合計
n +1
n +2
n ++
□
問 1.5. 表 1.1 で周辺度数（合計）n 1+ =5, n 2+ =10, n +1 =10, n +2 =5 を固定した下で、次
の分割表が得られる条件付確率を求めよ。ただし、各セルには同様な確かさによ
って個体（人）が観測（分類）されると仮定する。
表 1.2. 成人男性の分割
喫煙
年齢
あり
なし
合計
60 歳以上
2
3
5
60 歳未満
8
2
10
合計
10
5
15
式(1.4)から
P(A∩B) = P(A)P(B|A)
(1.8)
が得られる。これを乗法定理という。A と B は対称であるから、
P(A∩B) = P(B)P(A|B)
(1.9)
も成立する。一般に
P(B|A)≠ P(B)
であるが、
P(B|A) ＝ P(B)
8
のときは、(1.5)と(1.6)から
P(A|B) ＝ P(A)
も同時に成立する。従って、
P(A∩B) = P(A)P(B)
が成立するとき、A と B は互いに独立(independent)という。
  A, B, A, Bも独立である。
標本空間をΩとするとき、Ω= B Bである。
定理 1.2. 事象 A と B が独立のとき、 A, B ,
証明
P(A) = P(A∩Ω)
= P(A∩(B∪ B ))
= P((A∩B)∪(A∩ B ))
= P(A∩B)+P(A∩ B )
= P(A)Pr(B)+ P(A∩ B )
この式から、
P(A∩ B ) = P(A)－P(A)P(B)
= P(A)(1－P(B))
= P(A)P( B )
を得る。このことから、 A と B は独立である。他の場合も同様に示される。□
問 1.6. 事象 A と B が独立のとき、
P(A∩B)P( A ∩ B ) = P(A∩ B )P( A ∩B)
が成立することを示せ。また、逆も成立することを示せ。
定理 1.3. 事象列{B n }に対して
n 1
 n



P  Bi  = P(B 1 )P(B 2 |B 1 )… P Bn |  Bi 
i 1
 i 1 


(1.10)
が成立する。
証明
乗法定理を帰納的に用いて示される。
□
上の乗法定理は次の例を通して、自然に理解される。
[例 1.11] 10 本中当たりが 2 本入っているクジを、甲、乙、丙がこの順に 1 本ずつ
引く。甲が当たり、乙と丙がはずれる確率を求める。事象を次のようにおくと、
起こる順番に B 1 、B 2 、B 3 である。
B 1 = 甲が当たる、
B 2 = 乙がはずれる、
9
B 3 = 丙がはずれる。
求める確率は
P(B 1 ∩B 2 ∩B 3 ) = P(B 1 )P(B 2 |B 1 )P(B 3 |B 1 ∩B 2 )
=(2/10)×(7/9)×(6/8) = 7/60
である。□
上の例のように、同時確率 (1.10)は事象の起こる順番に分解すると、計算と理解が
容易である。しかし、例 1.9 のように時間的に先に起こっている事象に関する確
率も議論ができることに注意したい。
定理 1.4. 事象列{B ｎ }を標本空間Ωの分割とする。すなわち、

   Bi
B i ∩B j = φ
(i≠j)
(1.11)
i 1
である。このとき、任意の事象 B に対して

P( B)   P( Bi ) P( B | Bi )
(1.12)
i 1
が成立する。
証明
条件から

B = B∩Ω =
 B B 
i
i 1
である。B∩B i (i = 1,2,...)は互いに排反であるから、

P( B)   P( B Bi )
i 1

  P( Bi ) P( B | Bi )
（乗法定理から）
i 1
が成立する。
□
[例 1.12] 例 1.11 で丙が当たる確率を求める。
B = 丙が当たる、
B 1 = 甲と乙が当たる、
B 2 = 甲がはずれ、乙が当たる、
B 3 = 甲が当たり、乙がはずれる、
B 4 = 甲と乙がはずれる、
とすれば、B i (i = 1,2,3,4)は全事象Ωの分割である。定理 1.4 を用いて
P(B) = P(B 1 )P(B|B 1 )+P(B 2 )P(B|B 2 )+P(B 3 )P(B|B 3 )+P(B 4 )P(B|B 4 )
10
= (1/45)×0 + (8/45)×(1/8) + (8/45)×(1/8) + (28/45)×(1/4)
= 1/5
を得る。
問 1.7. 血液が A 型と B 型の両親から、子が一人生まれるとき、その子の血液型
が A, B, AB, O 型である確率を求めよ。ただし、A 型の人が因子型 AA と AO であ
る確率はそれぞれ、 p と q (p+q=1)、また B 型の人が因子型 BB と BO である確率
は r, s (r+s=1)とする。
定理 1.5.
(ベイズの定理 Bayes theorem) 事象列{B ｎ }を標本空間 Ω の分割とす
る(1.11)。このとき、
PBi | B  
P( Bi ) P r B( | Bi )
(1.13)
n1 P( Bn ) P r B( | Bn )

が成立する。
P(B i |B) = P(B i ∩B)/P(B)
証明
= P(B i )P(B|B i )/P(B)
であり、定理 1.4 を用いれば定理が得られる。
□
式 (1.10) で、 P(B ｉ ) を事前確率 (prior probability) 、 P(B|B ｎ ) を事後確率 (posterior
probability)という。
注意 1.2. 定理 1.4 と 1.5 では事象列{B n }を有限個の事象列として良い。
問 1.8. 例 1.6 で甲は自分のクジを見ないとする。丙が当たったことが分かったと
き、甲が当たっている確率を求めよ。
[例 1.13] 例 1.9 で事象を次のように置く。
B 1 = 第 2 世代が AA,
B 2 = 第 2 世代が Aa
B = 第 3 世代に表現形 A の子が 5 つ生まれる
このとき、
P(B 1 ) = P(B 2 ) = 1/2, P(B|B 1 ) = 1, P(B|B 2 ) = (1/2) 5 .
ベイズの定理から、次の結果を得る。
P(B 1 |B) = P(B 1 ∩B)/P(B)
= (1/2)×1/{(1/2)×1+(1/2)×(1/2) 5 }
= 1/{1+(1/2) 5 } = 32/33.
□
問 1.9. A 型の父と B 型の母親から、3 人の子が生まれ、AB 型が 1 人と A 型が 2
人である。このとき、父の血液型が AA である事後確率を求めよ。ただし、 AA
と AO の人の頻度を p 対 q (p+q=1)とする。
11

Download Report