確率モデルによる画像処理技術入門

物理フラクチュオマティクス論
Physical Fluctuomatics
第2回確率とその基本的性質
2nd Probability and its fundamental properties
東北大学大学院情報科学研究科応用情報科学専攻
田中和之(Kazuyuki Tanaka)
[email protected]
http://www.smapip.is.tohoku.ac.jp/~kazu/
2009/4/23
物理フラクチュオマティクス論（東北大学）
1
確率の基礎知識
a.
b.
c.
d.
e.
f.
g.
h.
2009/4/23
事象と確率
結合確率と条件付き確率
ベイズの公式と事前確率，事後確率
離散確率変数と確率分布
連続確率変数と確率密度関数
期待値，分散，共分散
一様分布
ガウス分布
物理フラクチュオマティクス論（東北大学）
今回
次回
2
試行と標本空間と事象
試行 (Experiment) ：ある操作を行って得られる可能性のあ
る結果の全体はわかっているが，そのうちのいずれかが得ら
れるかは予知できない操作
標本点 (Sample Point)：試行の結果得られる可能性のある
個々の結果
標本空間 (Sample Space)：標本点の全体集合
事象 (Event)：標本空間の部分集合
根元事象 (Elementary Event)：１個の標本点だけからなる事象
空事象 (Empty Event)：標本点がない事象
2009/4/23
物理フラクチュオマティクス論（東北大学）
3
試行と標本空間と事象
「サイコロを１回振る」
という試行の例
2009/4/23
物理フラクチュオマティクス論（東北大学）
4
全事象・余事象と差事象
「３の目がでない」
という事象は
「３の目がでる」
という事象の余事象
「３の目がでない」
という事象は
全事象と「３の目がでる」
という事象の差事象
2009/4/23
物理フラクチュオマティクス論（東北大学）
5
和事象
「奇数の目がでる」
という事象は
「１の目がでる」
という事象と
「３または５の目がでる」
という事象の和事象
2009/4/23
物理フラクチュオマティクス論（東北大学）
6
積事象
「３または４の目がでる」
という事象は
「４以下の目がでる」
という事象と
「３以上の目がでる」と
いう事象の積事象
2009/4/23
物理フラクチュオマティクス論（東北大学）
7
空事象
「３以下の目がでる」
という事象と
「４以上の目がでる」と
いう事象の積事象は空
事象である．
「３以下の目がでる」
という事象と
「４以上の目がでる」と
いう事象は互いに排反
であるという．
2009/4/23
物理フラクチュオマティクス論（東北大学）
8
様々の事象のまとめ
全事象: Ω
事象 A の余事象(Complementary Event): Ac=Ω╲A
事象 A と B の差事象: A╲B
事象 A と B の和事象 (Union of Event): A∪B
事象 A と B の積事象 (Intersection of Event): A∩B
事象 A と B が互いに排反 (Disjoint): A∩B=Ф
事象 A, B, C が互いに排反 (Disjoint):
[A∩B=Ф]Λ[B∩C=Ф]Λ[C∩A=Ф]
2009/4/23
物理フラクチュオマティクス論（東北大学）
9
確率の定義
Laplace による定義: 起こりうる標本点の総数が N 個あり，
それらは同様に確からしい(Equally Likely)と仮定する．
ある事象Aの標本点の個数が n 個であれば事象 A の起
こる確率(Probability) は p=n/N と定義する．
統計的定義: ある試行を R 回繰り返し行う．事象 Aの起
こる回数を r とする．試行の回数 R を増やしていくとき，
r/R が一定の値 p に近づくならば，事象 A の起こる確率
(Probability) を p と定義する．
r
 p R   
Pr A  p
R

2009/4/23
物理フラクチュオマティクス論（東北大学）
10
確率の定義
Kolmogorov による定義: 標本空間Ωから定義される任意
の事象 A に対して確率 (Probability) Pr{A} は次の３つの
公理を満たすものとして定義される．
確率の公理1. 任意の事象 A に対して
PrA  0
確率の公理2. 全事象Ωに対して
Pr  1
確率の公理3. 任意の2つの互いに排反な事象 A, B
に対して
PrA  B  PrA PrB
2009/4/23
物理フラクチュオマティクス論（東北大学）
11
確率の定義
公理2. 全事象Ωに対して
2009/4/23
Pr  1
物理フラクチュオマティクス論（東北大学）
12
確率の定義
公理3. 任意の2つの互いに排反な事象 A, B に対して
PrA  B  PrA PrB
2009/4/23
物理フラクチュオマティクス論（東北大学）
13
結合確率と条件付き確率
事象Aの起こる確率
Pr{A}
事象 A と事象 B の結合確率 PrA, B  PrA  B
条件付き確率と結合確率
PrA, B
PrB A 
PrA
 PrA, B  PrB APrA
2009/4/23
物理フラクチュオマティクス論（東北大学）
A
B
14
結合確率と事象の独立性
事象 A と事象 B が互いに独立である
PrA, B  PrAPrB
事象 A と事象 B が互いに独立であるときの
条件付き確率
PrB A PrB
2009/4/23
A
A
B
B
物理フラクチュオマティクス論（東北大学）
15
周辺確率
標本空間Ωが互いに排反である M 個の事象 A1,A2,…,AM
によって Ω=A1∪A2∪…∪AM と表されるとき
PrB   PrAj , B
M
j 1
結合確率 Pr{Ai,B} における事象 B の
周辺確率 (Marginal Probability)
簡略表記
PrB   PrA, B
A
Ai
B
周辺化
A
B
事象 A の取り得るすべての互いに排反な事象についての和
2009/4/23
物理フラクチュオマティクス論（東北大学）
16
結合確率と周辺確率
事象 B の周辺確率
PrB   PrA, B, C, D
A
C
D
A
B
C
D
周辺化
2009/4/23
物理フラクチュオマティクス論（東北大学）
17
ベイズの公式 (Bayes Formula)
PrA B 
PrB APrA
 PrB APrA
事前確率
(A Priori
Probability)
A
事後確率 (A Posteriori Probability)
A
Bayes 規則 (Bayes Rule) とも言う．
B
ベイジアンネットワーク
2009/4/23
物理フラクチュオマティクス論（東北大学）
18
ベイズの公式の導出
PrA, B  PrA BPrB
A
PrA, B  PrB APrA
B
P rA, B P rB AP rA
P rA B 

P rB
P rB

PrB  
P rB AP rA
P rB AP rA

P rA, B  P rB AP rA

PrA, B
A
A
A
2009/4/23
物理フラクチュオマティクス論（東北大学）
19
ベイズの公式による確率的推論の例
A 教授はたいへん謹厳でこわい人で，機嫌の悪いときが 3/4 を占め，
機嫌のよい期間はわずかの 1/4 にすぎない．
教授には美人の秘書がいるが，よく観察してみると，教授の機嫌の
よいときは，8 回のうち 7 回までは彼女も機嫌がよく，悪いのは 8
回中 1 回にすぎない．
教授の機嫌の悪いときで，彼女の機嫌のよいときは 4 回に 1 回で
ある．
秘書の機嫌からベイズの公式を使って教授の機嫌を確率的に推論
することができる.
甘利俊一：情報理論 (ダイヤモンド社，1970) より
2009/4/23
物理フラクチュオマティクス論（東北大学）
20
ベイズの公式による確率的推論の例（２）
教授は機嫌の悪いときが 3/4 を占め，機嫌のよい期間はわずかの
1/4 にすぎない．
1
Pr教授機嫌良い  
4
3
Pr教授機嫌悪い  
4
教授の機嫌のよいときは，8 回のうち 7 回までは彼女も機嫌がよく，
悪いのは 8 回中 1 回にすぎない．
7
Pr秘書機嫌良い教授機嫌良い  
8
教授の機嫌の悪いときで，彼女の機嫌のよいときは 4 回に 1 回である．


Pr 秘書機嫌良い教授機嫌悪い 
2009/4/23
物理フラクチュオマティクス論（東北大学）
1
4
21
ベイズの公式による確率的推論の例（３）
P r秘書機嫌良し


 P r秘書機嫌良し教授機嫌悪い P r教授機嫌悪い 
 P r 秘書機嫌良し教授機嫌良し P r教授機嫌良し
7 1 1 3 13
    
8 4 4 4 32
1


Pr 教授機嫌良い 
Pr教授機嫌悪い  
4


Pr 秘書機嫌良い教授機嫌悪い 
2009/4/23

3
4

1
7
Pr 秘書機嫌良い教授機嫌良い 
4
8
物理フラクチュオマティクス論（東北大学）
22
ベイズの公式による確率的推論の例（４）

P r 教授機嫌良し秘書機嫌良し

7 1
P r 秘書機嫌良し教授機嫌良し P r教授機嫌良し 8  4 7



13
P r秘書機嫌良し
13
32




7
Pr 秘書機嫌良い教授機嫌良い 
8
Pr教授機嫌良い  
1
4
13
Pr秘書機嫌良い  
32
2009/4/23
物理フラクチュオマティクス論（東北大学）
23
確率の基礎知識のまとめ
a.
b.
c.
d.
e.
f.
g.
h.
2009/4/23
事象と確率
結合確率と条件付き確率
ベイズの公式と事前確率，事後確率
離散確率変数と確率分布
連続確率変数と確率密度関数
期待値，分散，共分散
一様分布
ガウス分布
物理フラクチュオマティクス論（東北大学）
今回
次回
24

Download Report