Kazuyuki Tanaka ECEI Experiment D (2013 Part 2)

電気・通信・電子・情報工学実験D
確率的情報処理の基礎技術
Part 2(2013年4月)
本実験DのWebpage:
http://www.smapip.is.tohoku.ac.jp/~kazu/ECEI-ExperimentD/2013/
東北大学大学院情報科学研究科
田中和之
[email protected]
http://www.smapip.is.tohoku.ac.jp/~kazu/
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
1
本講義の参考文献
田中和之著: 確率モデルによる画像処理技術入門, 森北出版, 2006.
田中和之著: ベイジアンネットワークの統計的推論の数理, コロナ社, 2009.
田中和之編著: 臨時別冊・数理科学SGCライブラリ「確率的情報処理と統計
力学 ---様々なアプローチとそのチュートリアル」, サイエンス社，2006.
安田宗樹, 片岡駿，田中和之共著 (分担執筆): ---CVIMチュートリアルシリー
ズ--- コンピュータビジョン最先端ガイド3(八木康史，斎藤英雄編), 第6章．大
規模確率場と確率的画像処理の深化と展開，pp.137-179, アドコム・メディア
株式会社, December 2010.
Kazuyuki Tanaka: Statistical-mechanical approach to image processing
(Topical Review), Journal of Physics A: Mathematical and General, vol.35,
no.37, pp.R81-R150, 2002.
C. M. Bishop: Pattern Recognition and Machine Intelligence, Springer, 2007.
M. Opper and D. Saad: Advanced Mean Field Method, MIT Press, 2001.
H. Nishimori: Statistical Physics of Spin Glasses and Information Processing, --An Introduction---, Oxford University Press, 2001.
M. J. Wainwright and M. Jordan: Graphical Models, Exponential Families, and
Variational Inference (Foundations and Trends® in Machine Learning), Now
Publishers, 2008.
M. Mezard and A. Montanari: Information, Physics, and Computation, Oxford
University Press, 2009.
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
2
Contents
1.
2.
3.
4.
5.
6.
April, 2013
序論：確率的情報処理とベイジアンネットワーク
確率の基礎知識
確率的計算技法の基礎
---マルコフ連鎖モンテカルロ法と確率伝搬法--確率的画像処理とベイジアンネットワーク ---マルコ
フ確率場と確率伝搬法--確率推論とベイジアンネットワーク---グラフィカルモ
デルと確率伝搬法--まとめ
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
3
試行と標本空間と事象
試行 (Experiment) ：ある操作を行って得られる可能性のあ
る結果の全体はわかっているが，そのうちのいずれかが得ら
れるかは予知できない操作
標本点 (Sample Point)：試行の結果得られる可能性のある
個々の結果
標本空間 (Sample Space)：標本点の全体集合
事象 (Event)：標本空間の部分集合
根元事象 (Elementary Event)：１個の標本点だけからなる事象
空事象 (Empty Event)：標本点がない事象
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
4
試行と標本空間と事象
「サイコロを１回振る」
という試行の例
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
5
全事象・余事象と差事象
「３の目がでない」
という事象は
「３の目がでる」
という事象の余事象
「３の目がでない」
という事象は
全事象と「３の目がでる」
という事象の差事象
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
6
和事象
「奇数の目がでる」
という事象は
「１の目がでる」
という事象と
「３または５の目がでる」
という事象の和事象
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
7
積事象
「３または４の目がでる」
という事象は
「４以下の目がでる」
という事象と
「３以上の目がでる」と
いう事象の積事象
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
8
空事象
「３以下の目がでる」
という事象と
「４以上の目がでる」と
いう事象の積事象は空
事象である．
「３以下の目がでる」
という事象と
「４以上の目がでる」と
いう事象は互いに排反
であるという．
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
9
様々の事象のまとめ
全事象: W
事象 A の余事象(Complementary Event): Ac=W╲A
事象 A と B の差事象: A╲B
事象 A と B の和事象 (Union of Event): A∪B
事象 A と B の積事象 (Intersection of Event): A∩B
事象 A と B が互いに排反 (Disjoint): A∩B=f
事象 A, B, C が互いに排反 (Disjoint):
[A∩B=f]Λ[B∩C=f]Λ[C∩A=f]
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
10
確率の定義
Laplace による定義: 起こりうる標本点の総数が N 個あり，
それらは同様に確からしい(Equally Likely)と仮定する．
ある事象Aの標本点の個数が n 個であれば事象 A の起
こる確率(Probability) は p=n/N と定義する．
統計的定義: ある試行を R 回繰り返し行う．事象 Aの起
こる回数を r とする．試行の回数 R を増やしていくとき，
r/R が一定の値 p に近づくならば，事象 A の起こる確率
(Probability) を p と定義する．
r
 p R   
Pr A = p
R

April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
11
確率の定義
Kolmogorov による定義: 標本空間Ωから定義される任意
の事象 A に対して確率 (Probability) Pr{A} は次の３つの
公理を満たすものとして定義される．
確率の公理1. 任意の事象 A に対して
PrA  0
確率の公理2. 全事象Ωに対して
PrW = 1
確率の公理3. 任意の2つの互いに排反な事象 A, B
に対して
PrA  B = PrA PrB
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
12
確率の定義
公理2. 全事象Ωに対して
April, 2013
PrW = 1
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
13
確率の定義
公理3. 任意の2つの互いに排反な事象 A, B に対して
PrA  B = PrA PrB
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
14
結合確率と条件付き確率
事象Aの起こる確率
Pr{A}
事象 A と事象 B の結合確率 PrA, B = PrA  B
条件付き確率と結合確率
PrA, B
PrB A 
PrA
 PrA, B = PrB APrA
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
A
B
15
結合確率と事象の独立性
事象 A と事象 B が互いに独立である
PrA, B = PrAPrB
事象 A と事象 B が互いに独立であるときの
条件付き確率
PrB A= PrB
April, 2013
A
A
B
B
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
16
周辺確率
標本空間Ωが互いに排反である M 個の事象 A1,A2,…,AM
によって Ω=A1∪A2∪…∪AM と表されるとき
PrB =  PrAj , B
M
j =1
結合確率 Pr{Ai,B} における事象 B の
周辺確率 (Marginal Probability)
簡略表記
PrB =  PrA, B
A
Ai
B
周辺化
A
B
事象 A の取り得るすべての互いに排反な事象についての和
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
17
結合確率と周辺確率
事象 B の周辺確率
PrB =  PrA, B, C, D
A
周辺化
April, 2013
C
D
A
B
C
D
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
18
ベイズの公式の導出
PrA, B = PrA BPrB
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
19
ベイズの公式の導出
PrA, B = PrA BPrB
PrA, B = PrB APrA
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
20
ベイズの公式の導出
PrA, B = PrA BPrB
PrA, B = PrB APrA
PrA, B
PrA B =
PrB
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
21
ベイズの公式の導出
PrA, B = PrA BPrB
PrA, B = PrB APrA
PrA, B PrB APrA
PrA B =
=
PrB
PrB
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
22
ベイズの公式の導出
PrA, B = PrA BPrB
PrA, B = PrB APrA
P rA, B P rB AP rA
P rA B =
=
P rB
P rB
=
PrB = 
A
April, 2013
P rB AP rA
P rA, B

PrA, B
A
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
23
ベイズの公式の導出
PrA, B = PrA BPrB
PrA, B = PrB APrA
P rA, B P rB AP rA
P rA B =
=
P rB
P rB
=
PrB = 
P rB AP rA
=
P rB AP rA
P rA, B  P rB AP rA

PrA, B
A
A
A
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
24
ベイズの公式の導出
PrA, B = PrA BPrB
A
PrA, B = PrB APrA
B
P rA, B P rB AP rA
P rA B =
=
P rB
P rB
=
PrB = 
P rB AP rA
=
P rB AP rA
P rA, B  P rB AP rA

PrA, B
A
A
A
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
25
ベイズの公式 (Bayes Formula)
PrA B =
PrB APrA
 PrB APrA
事前確率
(A Priori
Probability)
A
事後確率 (A Posteriori Probability)
Bayes 規則 (Bayes Rule) とも言う．
A
B
ベイジアンネットワーク
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
26
ベイズの公式による確率的推論の例
A 教授はたいへん謹厳でこわい人で，機嫌の悪いときが 3/4 を占め，
機嫌のよい期間はわずかの 1/4 にすぎない．
教授には美人の秘書がいるが，よく観察してみると，教授の機嫌の
よいときは，8 回のうち 7 回までは彼女も機嫌がよく，悪いのは 8
回中 1 回にすぎない．
教授の機嫌の悪いときで，彼女の機嫌のよいときは 4 回に 1 回で
ある．
秘書の機嫌からベイズの公式を使って教授の機嫌を確率的に推論
することができる.
甘利俊一：情報理論 (ダイヤモンド社，1970) より
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
27
ベイズの公式による確率的推論の例（２）
教授は機嫌の悪いときが 3/4 を占め，機嫌のよい期間はわずかの
1/4 にすぎない．
教授の機嫌のよいときは，8 回のうち 7 回までは彼女も機嫌がよく，
悪いのは 8 回中 1 回にすぎない．
教授の機嫌の悪いときで，彼女の機嫌のよいときは 4 回に 1 回である．
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
28
ベイズの公式による確率的推論の例（２）
教授は機嫌の悪いときが 3/4 を占め，機嫌のよい期間はわずかの
1/4 にすぎない．
1
Pr教授機嫌良い  =
4
3
Pr教授機嫌悪い  =
4
教授の機嫌のよいときは，8 回のうち 7 回までは彼女も機嫌がよく，
悪いのは 8 回中 1 回にすぎない．
7
Pr秘書機嫌良い教授機嫌良い  =
8
教授の機嫌の悪いときで，彼女の機嫌のよいときは 4 回に 1 回である．


Pr 秘書機嫌良い教授機嫌悪い =
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
1
4
29
ベイズの公式による確率的推論の例（３）
Pr秘書機嫌良し 


 Pr秘書機嫌良し教授機嫌悪い Pr教授機嫌悪い 
= Pr 秘書機嫌良し教授機嫌良し Pr教授機嫌良し 
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
30
ベイズの公式による確率的推論の例（３）
Pr秘書機嫌良し 


 Pr秘書機嫌良し教授機嫌悪い Pr教授機嫌悪い 
= Pr 秘書機嫌良し教授機嫌良し Pr教授機嫌良し 
1


Pr 教授機嫌良い =
Pr教授機嫌悪い  =
4


Pr 秘書機嫌良い教授機嫌悪い =
April, 2013

3
4

1
7
Pr 秘書機嫌良い教授機嫌良い =
4
8
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
31
ベイズの公式による確率的推論の例（３）
P r秘書機嫌良し


 P r秘書機嫌良し教授機嫌悪い P r教授機嫌悪い 
= P r 秘書機嫌良し教授機嫌良し P r教授機嫌良し
7 1 1 3 13
=    =
8 4 4 4 32
1


Pr 教授機嫌良い =
Pr教授機嫌悪い  =
4


Pr 秘書機嫌良い教授機嫌悪い =
April, 2013

3
4

1
7
Pr 秘書機嫌良い教授機嫌良い =
4
8
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
32
ベイズの公式による確率的推論の例（４）

P r 教授機嫌良し秘書機嫌良し

7 1
P r 秘書機嫌良し教授機嫌良し P r教授機嫌良し 8  4 7
=
=
=
13
P r秘書機嫌良し
13
32




7
Pr 秘書機嫌良い教授機嫌良い =
8
Pr教授機嫌良い  =
1
4
13
Pr秘書機嫌良い  =
32
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
33
ベイズの公式 (Bayes Formula)
PrA B =
PrB APrA
 PrB APrA
事前確率
(A Priori
Probability)
A
事後確率 (A Posteriori Probability)
Bayes 規則 (Bayes Rule) とも言う．
A
B
ベイジアンネットワーク
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
34
ベイズの公式の導出
PrA, B = PrA BPrB
A
PrA, B = PrB APrA
B
P rA, B P rB AP rA
P rA B =
=
P rB
P rB
=
PrB = 
P rB AP rA
=
P rB AP rA
P rA, B  P rB AP rA

PrA, B
A
A
A
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
35
確率と確率変数
各事象に番号を割り
当て，その番号に対
する変数を導入する．
この変数を確率変数
(Random Variable)
という．
「奇数の目がでる」
という事象に「X=1」
という等式を対応さ
せることができる．
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
36
確率と確率変数
標本空間から構成されたすべての事象 A に実数値
X(A) を１対１対応させる写像を考える．この写像 X(A) を
事象 A の確率変数 (Random Variable) という．通常, 確
率変数 X(A) は A を省略し，単に X と表される．
確率変数 X が実数値 x をとる事象 X=x の確率を
Pr{X=x} と表す．このとき x をその確率変数の実現値ま
たは状態 (State)という．起こりうる状態の集合を状態空
間 (State Space)という．
２つの事象X=x および X=x’ が互いに排反であるとき状
態 x と状態 x’ は互いに排反であるという．
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
37
離散確率変数と連続確率変数
離散確率変数 (Discrete Random Variable):
離散的な状態空間をもつ確率変数
例：{x1,x2,…,xM}
連続確率変数 (Continuous Random Variable):
連続的な状態空間をもつ確率変数
例：(−∞,+∞)
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
38
離散確率変数と確率分布
標本空間Ωが互いに排反である M 個の事象 A1,A2,…,AM
によって Ω=A1∪A2∪…∪AM と表され，確率変数 X がM 個
の状態 x1,x2,…,xM を用いて1対1対応の写像 X(Ai)=xi
(i=1,2,…,M) により定義されるとき
すべて事象 X=x1, X=x2,…, X=xM の起こる確率
が変数 x の関数 P(x) を用いて
PrX = x = Px x = x1 , x2 ,, xM 
確率変数
状態変数
状態
と表されるとき, P(x) を確率変数 X の確率分布 (Probability
Distribution) ，x を状態変数 (State Variable) という．
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
39
離散確率変数の確率分布の性質
いずれも確率の公理１，２，３から導かれる．
0  Pxi   1 i = 1,2,, M 
M
 P x  = 1
i =1
i
規格化条件(Normalization Condition)
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
40
離散確率変数の期待値と分散
確率変数 X の期待値 (Expected Value，平均: Average)μ
M
 = E[X  =  xi Pxi 
i =1
確率変数 X の分散 (Variance) σ2
M
 = V [X  =  xi    Pxi 
2
2
i =1
σ：標準偏差 (Standard Deviation)
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
41
離散確率変数の結合確率分布
２種類の確率変数 X, Y に対して，事象 X=x と事象 Y=y 結
合事象 (X=x)∩(Y=y)の起こる確率 Pr{(X=x)∩(Y=y)}=
Pr{X=x,Y=y} が関数 P(x,y) を用いて
PrX = x, Y = y = Px, y 
と表されるとき, P(x,y) を確率変数 X と Y の結合確
率分布 (Joint Probability Distribution) という．
X
 
Y 
April, 2013
確率ベクトル変数
 x
 
 y
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
状態ベクトル変数
42
離散確率変数の周辺確率分布
標本空間Ωが互いに排反である M 個の事象 A1,A2,…,AM によって
Ω=A1∪A2∪…∪AM と表され，離散確率変数 X がM 個の実数値
x1,x2,…,xM を用いて1対1対応の写像 X(Ai)=xi (i=1,2,…,M) により定義
されるとき
M
確率変数 Y の
周辺確率分布
(Marginal
Probability
Distribution)
PY  y  =  Pxi , y 
i =1
PY  y  =  Px, y 
簡略表記
x
状態空間における互いに排反な取り得るすべての状態 x についての和
 P( x, y) = 1
x
April, 2013
y
規格化条件
(Normalization Condition)
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
43
離散確率変数の周辺確率分布
より高次元への拡張
確率変数 Y の周辺確率分布 (Marginal Probability Distribution)
PY  y  =  Px, y, z, u 
x
周辺化
(Marginalize)
April, 2013
z
u
X
Y
Z
U
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
44
離散確率変数の独立性
確率変数 X と Y が互いに独立である：
Px, y  = PxP y 
確率変数 X と Y
の結合確率分布
確率変数 Y の
周辺確率分布
April, 2013
確率変数 Y の確率分布
確率変数 X の確率分布
PY  y  =  Px, y  = P y 
x
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
45
離散確率変数の共分散
確率変数 X と Y の共分散 (Covariance)
Cov[X , Y  =  xi   X y j  Y Pxi , y j 
M
N
i =1 j =1
 X  E[ X ] =  xi Pxi , y j  Y  E[Y ] =  yi Pxi , y j 
M
M
N
i =1 j =1
i =1 j =1
Cov[X , X ] = V [ X ]
共分散行列
(Covariance Matrix)
April, 2013
N
Cov[Y , Y ] = V [Y ]
Cov[X , Y ] 
 V[ X ]

R = 
V[Y ] 
 Cov[Y , X ]
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
46
離散確率変数の確率分布の例
expax
x = 1
P( x) =
2 cosha 
E[X  = tanha 
E[X]
V[X  = 1  tanha
2
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
0
a
47
離散確率変数の結合確率分布の例
expaxy
x = 1, y = 1
P ( x, y ) =
4 cosha 
E[X  = 0 V[X  = 1
Cov[X , Y ] = E[XY 
Cov[X,Y]
0
a
= tanha 
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
48
離散確率変数の条件付き確率分布の例
２元対称通信路の
条件付き確率分布
1 x , y
P( y x) = p
x = 1, y = 1
expaxy

1  p  =
2 cosha 
x,y
1 1 p 

a  ln
2  p 
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
49
連続確率変数の確率
確率変数 X の状態空間 (−∞,+∞) において状態 x が区
間 (a,b) にある確率
Pra  X  b = Pr   X  b Pr   X  a
X の分布関数
F x  Pr   X  x 確率変数
(Distribution Function)
Pra  X  b = F b  F a  =   x dx
b
a
確率変数 X の確率密度関数
(Probability Density Function)
April, 2013
dF  x 
 x  
dx
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
50
連続確率変数の確率密度関数の性質
 x   0    x  



 x dx = 1
規格化条件(Normalization Condition)
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
51
連続確率変数の期待値と分散
確率変数 X の期待値 (平均)
 = E[X  =  x x dx


確率変数 X の分散
 = V [X  = 
2
April, 2013


x     x dx

電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
2
52
連続確率変数の結合確率密度関数
確率変数 X と Y の状態空間 (−∞,+∞) において状
態 x と y が区間 (a,b)×(c,d) にある確率
Pra  X  b   c  Y  d 
=
d
c

b
a
 x, y dxdy
結合確率密度関数 (Joint Probability Density Function)
 
   x, y dxdy = 1
 
April, 2013
規格化条件
(Normalization Condition)
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
53
連続確率変数の周辺確率密度関数

Y  y  =   x, y dx

確率変数 Y の
周辺確率密度関数 (Marginal Probability Density
Function)
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
54
連続確率変数の独立性
確率変数 X と Y が互いに独立である：
 x, y  = 1 x2  y 
確率変数 X と Y の
結合確率密度関数
確率変数 Y の
周辺確率密度関数
April, 2013
確率変数 Y の確率密度関数
確率変数 X の確率密度関数
Y  y   


 x, y dx =  2  y 
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
55
連続確率変数の共分散
確率変数 X と Y の共分散 (Covariance)
Cov[X , Y  = 
 
 x    y    x, y dxdy
X
 
 X  E[ X ] = 
Y
 

 E[Y ] =  
 
 
 
Cov[X , X ] = V [ X ]
共分散行列
(Covariance Matrix)
April, 2013
Y
x x, y dxdy
y x, y dxdy
Cov[Y , Y ] = V [Y ]
Cov[X , Y ] 
 V[ X ]

R = 
V[Y ] 
 Cov[Y , X ]
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
56
一様分布 U(a,b)
一様分布 (Uniform Distribution) の確率密度関数
b  a 
 x  = 
 0
1
   x  a, b  x  
ab
E[ X  =
2
2

b  a
V[X  =
12
April, 2013
a  x  b 
p(x)
(b-a)-1
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
0 a
b
x
57
ガウス分布（正規分布） N(μ,σ2)
平均μ，分散σ2 のガウス分布 (Gaussian Distribution)
の確率密度関数
>0
 1
2
 x  =
exp  2 x        x  
 2
 p(x)
2 2
1
E[X  = 
V[X  = 
平均と分散はガウス積分の公式 (Gaussian
Integral Formula) から導かれる
2
0
μ
x
 1 2
 exp  2  d = 2

April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
58
多次元ガウス分布
２次元ガウス分布 (Two-Dimensional Gaussian Distribution)
の確率密度関数
 1
x  X 
1 
 
 x, y  =
exp  x   X , y  Y C 
 y  Y  
2 2 det C  2
1
   x  ,    y  
行列 C が共分散行列になる．
行列 C は正定
値の実対称行
列
Cov[X , Y ] 
 V[ X ]

 = C
V[Y ] 
 Cov[Y , X ]
d 次元ガウス積分の公式から導かれる
 1  1   
   exp  2 C  d =
 

2 
d
det C
一般の次元への拡張も同様
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
59
大数の法則
X1,X2,...,Xn は平均 , 分散 2 の互いに独立な同一の確
率変数であるとき
Yn 
1
( X 1  X 2    X n )   (n   )
n
中心極限定理
X1,X2,...,Xn は平均 , 分散 2 の互いに独立な同一の確率
変数であるとき
Yn 
1
( X1  X 2    X n )
n
は n が大きいとき平均 , 分散 2/n の正規分布に従う．
April, 2013
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
60
確率の基礎知識のまとめ
a.
b.
c.
d.
e.
f.
g.
h.
i.
April, 2013
事象と確率
結合確率と条件付き確率
ベイズの公式と事前確率，事後確率
離散確率変数と確率分布
連続確率変数と確率密度関数
期待値，分散，共分散
一様分布
ガウス分布
大数の法則と中心極限定理
電気・通信・電子・情報工学実験D
[Kazuyuki Tanaka Part 2]
61

Download Report