確率モデルによる 画像処理技術入門

物理フラクチュオマティクス論
Physical Fluctuomatics
第2回 確率とその基本的性質
2nd Probability and its fundamental properties
東北大学 大学院情報科学研究科 応用情報科学専攻
田中 和之(Kazuyuki Tanaka)
[email protected]
http://www.smapip.is.tohoku.ac.jp/~kazu/
2008/4/17
物理フラクチュオマティクス論(東北大学)
1
確率の基礎知識
a.
b.
c.
d.
e.
f.
g.
h.
2008/4/17
事象と確率
結合確率と条件付き確率
ベイズの公式と事前確率,事後確率
離散確率変数と確率分布
連続確率変数と確率密度関数
期待値,分散,共分散
一様分布
ガウス分布
物理フラクチュオマティクス論(東北大学)
今回
次回
2
試行と標本空間と事象
試行 (Experiment) :ある操作を行って得られる可能性のあ
る結果の全体はわかっているが,そのうちのいずれかが得ら
れるかは予知できない操作
標本点 (Sample Point):試行の結果得られる可能性のある
個々の結果
標本空間 (Sample Space):標本点の全体集合
事象 (Event):標本空間の部分集合
根元事象 (Elementary Event):1個の標本点だけからなる事象
空事象 (Empty Event):標本点がない事象
2008/4/17
物理フラクチュオマティクス論(東北大学)
3
試行と標本空間と事象
「サイコロを1回振る」
という試行の例
2008/4/17
物理フラクチュオマティクス論(東北大学)
4
全事象・余事象と差事象
「3の目がでない」
という事象は
「3の目がでる」
という事象の余事象
「3の目がでない」
という事象は
全事象と「3の目がでる」
という事象の差事象
2008/4/17
物理フラクチュオマティクス論(東北大学)
5
和事象
「奇数の目がでる」
という事象は
「1の目がでる」
という事象と
「3または5の目がでる」
という事象の和事象
2008/4/17
物理フラクチュオマティクス論(東北大学)
6
積事象
「3または4の目がでる」
という事象は
「4以下の目がでる」
という事象と
「3以上の目がでる」と
いう事象の積事象
2008/4/17
物理フラクチュオマティクス論(東北大学)
7
空事象
「3以下の目がでる」
という事象と
「4以上の目がでる」と
いう事象の積事象は空
事象である.
「3以下の目がでる」
という事象と
「4以上の目がでる」と
いう事象は互いに排反
であるという.
2008/4/17
物理フラクチュオマティクス論(東北大学)
8
様々の事象のまとめ
全事象: Ω
事象 A の余事象(Complementary Event): Ac=Ω╲A
事象 A と B の差事象: A╲B
事象 A と B の和事象 (Union of Event): A∪B
事象 A と B の積事象 (Intersection of Event): A∩B
事象 A と B が互いに排反 (Disjoint): A∩B=Ф
事象 A, B, C が互いに排反 (Disjoint):
[A∩B=Ф]Λ[B∩C=Ф]Λ[C∩A=Ф]
2008/4/17
物理フラクチュオマティクス論(東北大学)
9
確率の定義
Laplace による定義: 起こりうる標本点の総数が N 個あり,
それらは同様に確からしい(Equally Likely)と仮定する.
ある事象Aの標本点の個数が n 個であれば事象 A の起
こる確率(Probability) は p=n/N と定義する.
統計的定義: ある試行を R 回繰り返し行う.事象 Aの起
こる回数を r とする.試行の回数 R を増やしていくとき,
r/R が一定の値 p に近づくならば,事象 A の起こる確率
(Probability) を p と定義する.
r
 p R   
Pr A  p
R

2008/4/17
物理フラクチュオマティクス論(東北大学)
10
確率の定義
Kolmogorov による定義: 標本空間Ωから定義される任意
の事象 A に対して確率 (Probability) Pr{A} は次の3つの
公理を満たすものとして定義される.
確率の公理1. 任意の事象 A に対して
PrA  0
確率の公理2. 全事象Ωに対して
Pr  1
確率の公理3. 任意の2つの互いに排反な事象 A, B
に対して
PrA  B  PrA PrB
2008/4/17
物理フラクチュオマティクス論(東北大学)
11
確率の定義
公理2. 全事象Ωに対して
2008/4/17
Pr  1
物理フラクチュオマティクス論(東北大学)
12
確率の定義
公理3. 任意の2つの互いに排反な事象 A, B に対して
PrA  B  PrA PrB
2008/4/17
物理フラクチュオマティクス論(東北大学)
13
結合確率と条件付き確率
事象Aの起こる確率
Pr{A}
事象 A と事象 B の結合確率 PrA, B  PrA  B
条件付き確率と結合確率
PrA, B
PrB A 
PrA
 PrA, B  PrB APrA
2008/4/17
物理フラクチュオマティクス論(東北大学)
A
B
14
結合確率と事象の独立性
事象 A と事象 B が互いに独立である
PrA, B  PrAPrB
事象 A と事象 B が互いに独立であるときの
条件付き確率
PrB A PrB
2008/4/17
A
A
B
B
物理フラクチュオマティクス論(東北大学)
15
周辺確率
標本空間Ωが互いに排反である M 個の事象 A1,A2,…,AM
によって Ω=A1∪A2∪…∪AM と表されるとき
PrB   PrAj , B
M
j 1
結合確率 Pr{Ai,B} における事象 B の
周辺確率 (Marginal Probability)
簡略表記
PrB   PrA, B
A
Ai
B
周辺化
A
B
事象 A の取り得るすべての互いに排反な事象についての和
2008/4/17
物理フラクチュオマティクス論(東北大学)
16
結合確率と周辺確率
事象 B の周辺確率
PrB   PrA, B, C, D
A
C
D
A
B
C
D
周辺化
2008/4/17
物理フラクチュオマティクス論(東北大学)
17
ベイズの公式 (Bayes Formula)
PrA B 
PrB APrA
 PrB APrA
事前確率
(A Priori
Probability)
A
事後確率 (A Posteriori Probability)
A
Bayes 規則 (Bayes Rule) とも言う.
B
ベイジアンネットワーク
2008/4/17
物理フラクチュオマティクス論(東北大学)
18
ベイズの公式の導出
PrA, B  PrA BPrB
A
PrA, B  PrB APrA
B
P rA, B P rB AP rA
P rA B 

P rB
P rB

PrB  
P rB AP rA
P rB AP rA

P rA, B  P rB AP rA

PrA, B
A
A
A
2008/4/17
物理フラクチュオマティクス論(東北大学)
19
ベイズの公式による確率的推論の例
A 教授はたいへん謹厳でこわい人で,機嫌の悪いときが 3/4 を占め,
機嫌のよい期間はわずかの 1/4 にすぎない.
教授には美人の秘書がいるが,よく観察してみると,教授の機嫌の
よいときは,8 回のうち 7 回までは彼女も機嫌がよく,悪いのは 8
回中 1 回にすぎない.
教授の機嫌の悪いときで,彼女の機嫌のよいときは 4 回に 1 回で
ある.
秘書の機嫌からベイズの公式を使って教授の機嫌を確率的に推論
することができる.
甘利俊一:情報理論 (ダイヤモンド社,1970) より
2008/4/17
物理フラクチュオマティクス論(東北大学)
20
確率の基礎知識のまとめ
a.
b.
c.
d.
e.
f.
g.
h.
2008/4/17
事象と確率
結合確率と条件付き確率
ベイズの公式と事前確率,事後確率
離散確率変数と確率分布
連続確率変数と確率密度関数
期待値,分散,共分散
一様分布
ガウス分布
物理フラクチュオマティクス論(東北大学)
今回
次回
21