確率モデルによる画像処理技術入門

物理フラクチュオマティクス論
Physical Fluctuomatics
第3回確率変数，確率分布，確率密度関数
3rd Random variable, probability distribution and
probability density function
東北大学大学院情報科学研究科応用情報科学専攻
田中和之(Kazuyuki Tanaka)
[email protected]
http://www.smapip.is.tohoku.ac.jp/~kazu/
2009/4/30
物理フラクチュオマティクス論（東北大学）
1
確率の基礎知識
a.
b.
c.
d.
e.
f.
g.
h.
2009/4/30
事象と確率
結合確率と条件付き確率
ベイズの公式と事前確率，事後確率
離散確率変数と確率分布
連続確率変数と確率密度関数
期待値，分散，共分散
一様分布
ガウス分布
物理フラクチュオマティクス論（東北大学）
前回
今回
2
確率と確率変数
各事象に番号を割り
当て，その番号に対
する変数を導入する．
この変数を確率変数
(Random Variable)
という．
「奇数の目がでる」
という事象に「X=1」
という等式を対応さ
せることができる．
2009/4/30
物理フラクチュオマティクス論（東北大学）
3
確率と確率変数
標本空間から構成されたすべての事象 A に実数値
X(A) を１対１対応させる写像を考える．この写像 X(A) を
事象 A の確率変数 (Random Variable) という．通常, 確
率変数 X(A) は A を省略し，単に X と表される．
確率変数 X が実数値 x をとる事象 X=x の確率を
Pr{X=x} と表す．このとき x をその確率変数の実現値ま
たは状態 (State)という．起こりうる状態の集合を状態空
間 (State Space)という．
２つの事象X=x および X=x’ が互いに排反であるとき状
態 x と状態 x’ は互いに排反であるという．
2009/4/30
物理フラクチュオマティクス論（東北大学）
4
離散確率変数と連続確率変数
離散確率変数 (Discrete Random Variable):
離散的な状態空間をもつ確率変数
例：{x1,x2,…,xM}
連続確率変数 (Continuous Random Variable):
連続的な状態空間をもつ確率変数
例：(−∞,+∞)
2009/4/30
物理フラクチュオマティクス論（東北大学）
5
離散確率変数と確率分布
標本空間Ωが互いに排反である M 個の事象 A1,A2,…,AM
によって Ω=A1∪A2∪…∪AM と表され，確率変数 X がM 個
の状態 x1,x2,…,xM を用いて1対1対応の写像 X(Ai)=xi
(i=1,2,…,M) により定義されるとき
すべて事象 X=x1, X=x2,…, X=xM の起こる確率
が変数 x の関数 P(x) を用いて
PrX  x  Px x  x1 , x2 ,, xM 
確率変数
状態変数
状態
と表されるとき, P(x) を確率変数 X の確率分布 (Probability
Distribution) ，x を状態変数 (State Variable) という．
2009/4/30
物理フラクチュオマティクス論（東北大学）
6
離散確率変数の確率分布の性質
いずれも確率の公理１，２，３から導かれる．
0  Pxi   1 i  1,2,, M 
M
 P x   1
i 1
i
規格化条件(Normalization Condition)
2009/4/30
物理フラクチュオマティクス論（東北大学）
7
離散確率変数の期待値と分散
確率変数 X の期待値 (Expected Value，平均: Average)μ
M
  EX    xi Pxi 
i 1
確率変数 X の分散 (Variance) σ2
M
  V X    xi    Pxi 
2
2
i 1
σ：標準偏差 (Standard Deviation)
2009/4/30
物理フラクチュオマティクス論（東北大学）
8
離散確率変数の結合確率分布
２種類の確率変数 X, Y に対して，事象 X=x と事象 Y=y 結
合事象 (X=x)∩(Y=y)の起こる確率 Pr{(X=x)∩(Y=y)}=
Pr{X=x,Y=y} が関数 P(x,y) を用いて
PrX  x, Y  y  Px, y 
と表されるとき, P(x,y) を確率変数 X と Y の結合確
率分布 (Joint Probability Distribution) という．
X
 
Y 
2009/4/30
確率ベクトル変数
 x
 
 y
状態ベクトル変数
物理フラクチュオマティクス論（東北大学）
9
離散確率変数の周辺確率分布
標本空間Ωが互いに排反である M 個の事象 A1,A2,…,AM によって
Ω=A1∪A2∪…∪AM と表され，離散確率変数 X がM 個の実数値
x1,x2,…,xM を用いて1対1対応の写像 X(Ai)=xi (i=1,2,…,M) により定義
されるとき
M
確率変数 Y の
周辺確率分布
(Marginal
Probability
Distribution)
PY  y    Pxi , y 
i 1
PY  y    Px, y 
簡略表記
x
状態空間における互いに排反な取り得るすべての状態 x についての和
 P( x, y)  1
x
2009/4/30
y
規格化条件
(Normalization Condition)
物理フラクチュオマティクス論（東北大学）
10
離散確率変数の周辺確率分布
より高次元への拡張
確率変数 Y の周辺確率分布 (Marginal Probability Distribution)
PY  y    Px, y, z, u 
x
周辺化
(Marginalize)
2009/4/30
z
u
X
Y
Z
U
物理フラクチュオマティクス論（東北大学）
11
離散確率変数の独立性
確率変数 X と Y が互いに独立である：
Px, y   P1 xP2  y 
確率変数 X と Y
の結合確率分布
確率変数 Y の
周辺確率分布
2009/4/30
 P1 ( x)   P2 ( y)  1
x
y
確率変数 Y の確率分布
確率変数 X の確率分布
PY  y    P x, y   P2  y 
x
物理フラクチュオマティクス論（東北大学）
12
離散確率変数の共分散
確率変数 X と Y の共分散 (Covariance)
CovX , Y    xi   X y j  Y Pxi , y j 
M
N
i 1 j 1
 X  E[ X ]   xi Pxi , y j  Y  E[Y ]   yi Pxi , y j 
M
M
N
i 1 j 1
i 1 j 1
Cov[X , X ]  V [ X ]
共分散行列
(Covariance Matrix)
2009/4/30
N
Cov[Y , Y ]  V [Y ]
Cov[X , Y ] 
 V[ X ]

R  
V[Y ] 
 Cov[Y , X ]
物理フラクチュオマティクス論（東北大学）
13
離散確率変数の確率分布の例
expax
x  1
P( x) 
2 cosha 
EX   tanha 
E[X]
VX   1  tanha
2
2009/4/30
物理フラクチュオマティクス論（東北大学）
0
a
14
離散確率変数の結合確率分布の例
expaxy
x  1, y  1
P ( x, y ) 
4 cosha 
EX   0 VX   1
Cov[X , Y ]  EXY 
Cov[X,Y]
0
a
 tanha 
2009/4/30
物理フラクチュオマティクス論（東北大学）
15
離散確率変数の条件付き確率分布の例
２元対称通信路の
条件付き確率分布
1 x , y
P( y x)  p
x  1, y  1
expaxy

1  p  
2 cosha 
x,y
1 1 p 

a  ln
2  p 
2009/4/30
物理フラクチュオマティクス論（東北大学）
16
連続確率変数の確率
確率変数 X の状態空間 (−∞,+∞) において状態 x が区
間 (a,b) にある確率
Pra  X  b  Pr   X  b Pr   X  a
X の分布関数
F x  Pr   X  x 確率変数
(Distribution Function)
Pra  X  b  F b  F a     x dx
b
a
確率変数 X の確率密度関数
(Probability Density Function)
2009/4/30
dF  x 
 x  
dx
物理フラクチュオマティクス論（東北大学）
17
連続確率変数の確率密度関数の性質
 x   0    x  



 x dx  1
規格化条件(Normalization Condition)
2009/4/30
物理フラクチュオマティクス論（東北大学）
18
連続確率変数の期待値と分散
確率変数 X の期待値 (平均)
  EX    x x dx


確率変数 X の分散
  V X   
2
2009/4/30


x     x dx

物理フラクチュオマティクス論（東北大学）
2
19
連続確率変数の結合確率密度関数
確率変数 X と Y の状態空間 (−∞,+∞) において状
態 x と y が区間 (a,b)×(c,d) にある確率
Pra  X  b   c  Y  d 

d
c

b
a
 x, y dxdy
結合確率密度関数 (Joint Probability Density Function)
 
   x, y dxdy  1
 
2009/4/30
規格化条件
(Normalization Condition)
物理フラクチュオマティクス論（東北大学）
20
連続確率変数の周辺確率密度関数

Y  y     x, y dx

確率変数 Y の
周辺確率密度関数 (Marginal Probability Density
Function)
2009/4/30
物理フラクチュオマティクス論（東北大学）
21
連続確率変数の独立性

確率変数 X と Y が互いに独立である：
 x, y   1 x2  y 
確率変数 X と Y の
結合確率密度関数
確率変数 Y の
周辺確率密度関数
2009/4/30
  1 ( x)dx  1

   2 ( y)dy  1
確率変数 Y の確率密度関数
確率変数 X の確率密度関数
Y  y   


 x, y dx   2  y 
物理フラクチュオマティクス論（東北大学）
22
連続確率変数の共分散
確率変数 X と Y の共分散 (Covariance)
CovX , Y   
 
 x    y    x, y dxdy
X
 
 X  E[ X ]  
Y
 

 E[Y ]   
 
 
 
Cov[X , X ]  V [ X ]
共分散行列
(Covariance Matrix)
2009/4/30
Y
x x, y dxdy
y x, y dxdy
Cov[Y , Y ]  V [Y ]
Cov[X , Y ] 
 V[ X ]

R  
V[Y ] 
 Cov[Y , X ]
物理フラクチュオマティクス論（東北大学）
23
一様分布 U(a,b)
一様分布 (Uniform Distribution) の確率密度関数
b  a 
 x   
 0
1
   x  a, b  x  
ab
E X  
2
2

b  a
VX  
12
2009/4/30
a  x  b 
p(x)
(b-a)-1
物理フラクチュオマティクス論（東北大学）
0 a
b
x
24
ガウス分布（正規分布） N(μ,σ2)
平均μ，分散σ2 のガウス分布 (Gaussian Distribution)
の確率密度関数
(  0)
 1
2
 x  
exp  2 x        x  
 2
 p(x)
2 2
1
EX   
VX   
平均と分散はガウス積分の公式 (Gaussian
Integral Formula) から導かれる
2
0
μ
x
 1 2
 exp  2  d  2

2009/4/30
物理フラクチュオマティクス論（東北大学）
25
多次元ガウス分布
行列 C を正定値の実対称行列として，２次元ガウス分布
(Two-Dimensional Gaussian Distribution) の確率密度関数
 1
x  X 
1 
 
 x, y  
exp  x   X , y  Y C 
 y  Y  
2 2 det C  2
1
   x  ,    y  
において行列 C が共分散行列になる．
Cov[X , Y ] 
 V[ X ]

  C
V[Y ] 
 Cov[Y , X ]
d 次元ガウス積分の公式から導かれる
 1  T 1   
      exp  2  C  d 
 

2 d det C
一般の次元への拡張も同様
2009/4/30
物理フラクチュオマティクス論（東北大学）
26
大数の法則
X1,X2,...,Xn は平均 , 分散 2 の互いに独立な同一の確
率変数であるとき
Yn 
1
( X 1  X 2    X n )   (n   )
n
中心極限定理
X1,X2,...,Xn は平均 , 分散 2 の互いに独立な同一の確率
変数であるとき
Yn 
1
( X1  X 2    X n )
n
は n が大きいとき平均 , 分散 2/n の正規分布に従う．
2009/4/30
物理フラクチュオマティクス論（東北大学）
27
確率の基礎知識
a.
b.
c.
d.
e.
f.
g.
h.
2009/4/30
事象と確率
結合確率と条件付き確率
ベイズの公式と事前確率，事後確率
離散確率変数と確率分布
連続確率変数と確率密度関数
期待値，分散，共分散
一様分布
ガウス分布
物理フラクチュオマティクス論（東北大学）
前回
今回
28
演習問題３－１
確率変数 X が ±1 の２値のみをとるものとして事象 X が
状態 x をとるという事象 X=x の確率分布が
expax
x  1
P( x) 
2 cosha 
により与えられるとき期待値 E[X] と分散 V[X] の表式を導
出し，その  1  a  1 についての値を C 言語，Java または
MatLab を用いて計算し，グラフを書け．
2009/4/30
物理フラクチュオマティクス論（東北大学）
29
演習問題３－２
確率変数 X と Y がいずれも ±1 の２値のみをとるものとし
て事象 X が状態 x をとり，かつ事象 Y が状態 y をとるとい
う事象 (X=x)∩(Y=y) の確率分布 P(x,y) が
expaxy
x  1, y  1
P ( x, y ) 
4 cosha 
により与えられるとき確率変数 X についての周辺確率
P(X) と共分散 Cov[X,Y] の表式を導出せよ．
2009/4/30
物理フラクチュオマティクス論（東北大学）
30
演習問題３－３
確率変数 X と Y がいずれも ±1 の２値のみをとるものとして事象 Y
が状態 y をとるという条件のもとでの事象 X が状態 x をとるという事
象 X=x の条件付き確率分布が
1 x , y
P( y x )  p
1  p
 x,y
次の表式でも与えられることを示せ．
expaxy
P( y x) 
2 cosha 
ヒント：次の等式を用いる．
p  expln p 
2009/4/30
 x, y
1 1 p 

a  ln
2  p 
1
 1  xy 
2
x  1, y  1
cosh(c) は任意の実数 c に対して偶関数
物理フラクチュオマティクス論（東北大学）
31
演習問題３－４
ガウス積分の公式を証明せよ．


0

 1 2
exp   d 
2
 2 
ヒント
R
R
 1 2
 1 2
 1 2
exp   d  2 lim  exp   d
 exp  2  d  Rlim
   R
R   0
 2 
 2 

 2 lim
R  
2009/4/30
R
R
0
0
 
1 
 1
exp   2   2 d d  2 lim
R  
2 
 2
物理フラクチュオマティクス論（東北大学）
 1 2 
exp
r 1   2 r dr
32
演習問題３－５
確率変数 X が任意の実数 X をとる連続確率変数であり，その確率
密度関数が
 1
2
p x  
exp  2 x    
 2

2 2
1
   x  
で与えられるとき，平均 E[X] と分散 V[X] が次の表式で与えられること
をガウス積分の公式を用いて証明せよ．またμ=0, σ=10, 20, 40 のとき
の p(x) の x に対する値を C 言語, Java または MatLabで計算し，グラフ
を書け．
EX   
2009/4/30
VX   
物理フラクチュオマティクス論（東北大学）
2
33
演習問題３－６
一様分布 U(0,1) に従う乱数（一様乱数）を発生するプ
ログラムを作成せよ．乱数を N 個発生させた場合のヒ
ストグラムを N=10, 20, 50, 100, 1000 のそれぞれの場
合について書け．
1
x
rand()
randmax
C 言語では rand() は0,1,2,…,randmax のなかのい
ずれかの値をランダムに生成される命令である．
randmax の値は rand() の出力の最大値であり，シ
ステムによって異なる場合があるので注意．
2009/4/30
物理フラクチュオマティクス論（東北大学）
34
演習問題３－７
平均 μ，分散 σ2 のガウス分布 N(μ,σ2) に従う乱数（ガウス乱
数）を発生するプログラムを作成せよ．乱数を N 個発生させた
場合のヒストグラムを N=10, 20, 50, 100, 1000 のそれぞれの
場合について書け．
ヒント：
任意の確率分布に従って生成された n 個の乱数 x1,x2,…,xn に対
して (x1+x2+…+xn )/n はn→+∞ で平均 μ，分散 σ2 のガウス分布
N(μ,σ2/n) に従う[中心極限定理より]
区間 [0,1] の一様分布 U[0,1] に従う乱数を12個 x1,x2,…,x12 発生させる．
平均 0, 分散 1
のガウス乱数
  x1  x2    x12  6
σξ+μが平均 μ, 分散 σ2 のガウス乱数
2009/4/30
物理フラクチュオマティクス論（東北大学）
35
演習問題３－８
任意の自然数 d に対して d 行 d 列の正定値の実対称
行列 C に対して次の d 次元ガウス積分の公式を証明
せよ．



 1   T 1  
     exp  2    C   
 


 
d 

ヒント：行列 C の固有値 λi に対応する固有ベクトル
2 d det C

ui
(i=1,2,…,d) とすると行列 C は次のように対角化される
 1 0

 0 2
C  U 0 0

 
0 0

2009/4/30
0

0
3




0

0

0
0 U 1

 
d 
 

U  u1 , u1 ,, ud 
物理フラクチュオマティクス論（東北大学）
36
演習問題３－９

確率ベクトル変数 X の各成分がいずれも任意の実数
をとる連続確率変数であり，正定値の実対称行列 C に
対してその確率密度関数が

px  
 1   T 1   
exp    x    C  x   
d

2  det C  2
1


 x 1 


 
   x2 
d 


x




,



  


 
x 


 d



により与えられるとき，その平均ベクトルが  ，共分散
行列が C となることを示せ．
2009/4/30
物理フラクチュオマティクス論（東北大学）
37

Download Report