Document

1.5 Transforms of
Probability Distributions
確率分布の変換
FM08011
横尾章一郎
1
もくじ

母関数


定義 , 例題 , 問題
特性関数

定義 , 例題 , 問題
2
§１母関数
3
§1 母関数 (Generating Function)とは


確率変数の分布を関数で表す方法は分布関数以外に
もある。母関数はそのような関数の一つである。
母関数は確率変数の和の分布を計算する時に
役に立つ。また、母関数を使うと、平均、分散などを
容易に計算できる。
※宮沢政清著『確立と確率過程』より
4
§1 母関数
（定義1：母関数(Generating Function) ）
D(0;1) は、複素数平面上の中心0の単位閉円板を表す。
Xは自然数Nを値にとる確率変数とする。
そのとき母関数(g.f.)は、次の関数gX : D(0;1)  C である。

X
k
gX (z)= E[ z ]   P( X  k ) z
・・・ (69)
k 0
5
§1 母関数（例題1：二項確率変数）
サイズn、パラメータp∈(0,1)の二項確率変数
P X  k 　n Ck p 1  p
k
n k
このとき、母関数gX (z)は
n
n
k 0
k 0
k
k
nk
P
(
X

k
)
z

C
(
zp
)
(
1

p
)

n k
二項定理より
n
(
z
)

(
1

p

pz
)
gX
・・・ (70)
6
§1 母関数（例題2：ポワソン確率変数）
パラメータθのポワソン確率変数は
P X  k   e
k


k!
このとき、母関数gX (z)は

 P( X  k ) z
k
e
k 0


θ
k 0
(θz ) k
k!
テイラー展開(指数関数と自然対数)より
θ( z 1)
(
z
)

e
gX
・・・ (71)
7
§1 母関数
（問題1：独立同分布（i.i.d.）確率変数の確率和）①
Yn n1は、同じ母関数gYを持つ整数値をとる確率変数の
独立同分布確率変数数列である。
Tは Yn n1 と独立な別の整数値をとる確率変数であり、
その母関数はgT。次の確率変数Xの母関数を求めよ。
T
X   Yn
k 1
但し、習慣から、 X  n 1  0 とする。
0
8
§1 母関数
（問題1：独立同分布（i.i.d.）確率変数の確率和）②
Z X  Z n1
T
Yn

 Tn1Yn 
   kn1Yn 
   Z
1T  k      Z
1T  k 


 k 0 
k  0 
従って、Tと Yn n1は独立より

k
k

Y
Y





n


X
n 1
n1 n 
E[ Z ]   E  Z
E[1T  k  ]
1T  k  　  E  Z






k 0
k 0


  E[ Z ] E[ Z ]P(T  k )　  gY ( z ) k P(T  k )
Y1
k 0
Yn
k 0
 gT ( gY ( z ))
9
§1 母関数


n 0
P( X  n)  1 から、数列{P( X  n)}n0 の冪(べき)級数の
収束半径Rは1以上である。従ってgXの定義域は、
単位開円板を含んでいる。
この開円板の内部で、項別微分が可能である。
例えば、

g X ( z )   nP( X  n) z n 1
・・・ (72)
n 1

g X ( z )   n(n  1) P( X  n) z n 2
・・・ (73)
n2
冪(べき)級数
10
§1 母関数

g x( z )   nP( X  n) z n 1
・・・ (72)
n 1
式(72)について

右辺は、z = 1で定義された時、 n 1 nP ( X  n)
これは非負であるが、無限大でもあり得る。
一方、左辺は式(69)からz = 1で必ずしも定義されない。

そこで、g (1)  n1 nP ( X  n) を定義する。
つまり、
g (1)  E[ X ]
・・・ (74)
アーベルの定理から、実変数 x↑1 ならば、


n 1
nP
(
X

n
)
x

n1
n1 nP ( X  n) となる。
11
§1 母関数
従って、実数区間[0,1)の関数としてのgxは、(74)によって、
[0,1]に拡張可能であり、拡張後も連続性を保存している。
別の言い方をすると、E[X]は未知であるが、
[0,1)上でg’x (x)の式が成り立っており、
xを1へ近づけることにより、lim g’x (x)を計算できる。
しかもこの極限がE[X]でもある。
同様に、(73)から、 g X (1)  E[ X ( X 1)}
・・・ (75)
と定義すると、 g X (1) は[0,1]上で連続関数に出来る。
12
§1 母関数（例題3：問題1の続き）
の母関数は
であることが
分かった。
従って[0,1)上で
とすると、
従って
となる。
。
となる。
13
§1 母関数
母関数は確率変数の分布を特徴付ける。これは次の意味を持つ。
Xの分布を知らないが、その母関数g(z)を計算出来、
更に、原点の近傍でその冪級数展開

n
a
z
n
g(z) = 
n 0
を計算出来たとする。
g(z)はZの母関数であるから

n
P
(
X

n
)
z

g(z) = n0
となり、
原点の近傍でその冪級数展開はユニークであるから
Ｘの分布は、全ての n  0 で、
P( X  n)  an となる。
同様に、もしも自然数を値に持つ二つの確率変数が
同じ母関数を持つならば、それらの分布は同じである。
14
§1 母関数（問題2：クジ）①
X1 , X2 , X3 , X4 , X5 , X6は、{0,1,…,9}上で
一様に分布してる独立確率変数である。
Y=27+ X1 + X2 + X3 - X4 - X5 - X6の母関数を求めよ。
この結果を使って、6桁のクジで最初の3桁の和は
最後の3桁の和と等しい確率を計算せよ。
1
1 1  z10
1
9
E[ z ]  (1  z    z ) 
10
10 1  z
10
10
1
1
1

z
1
1
1

z
E[ z  X i ]  (1  z 1    z 9 ) 

1
10
10 1  z
10 z 9 1  z
Xi
E[ z Y ]  E[ z
27  3i 1 X i  i64 X i
3
]  E[ z 27  z
i 1
6
Xi
z
i 4
Xi
3
6
]  z 27  E[ z ] E[ z  X i ]
Xi
i 1
i 4
15
§1 母関数（問題2：クジ）②
従って、母関数は
1 (1  z10 ) 6
gY (z) =
6
6
10 (1  z )
P(Y)=P(27+X1+X2+X3-X4-X5-X6)=P(27)は、
gY(z)の冪級数展開のz27の係数であり、２項定理より、
(1  z10 )6  16 C1z10 6 C2 z 20  
原点の周りでテイラー展開より、
(1  z)6  16 C1z1 7 C2 z 2 8 C2 z 3 
従ってz27の係数は、
1
P(27 )  6 ( 32 C27  6 C1 22 C17  6 C2 12 C7 )
10
16
§1 母関数（定理1：母関数のグラフ）
]
(α)関数 g： [0,1]  Rを g(x) = E[ x と定義する。
但し、Xは非負整数値確率変数である。
gは非減少かつ凸である。更に、もしも P( X  0)  1 ならば、
gは厳密に増加関数であり、もしも P( X  1)  1 ならば、
gは厳密に凸関数である。
(β) P( X  1)  1と仮定する。もしも E[ X ]  1ならば、
方程式 x  g (x) はユニークな解 x  [0,1] を持ち、
それは x  1 である。もしも E[ X ]  1ならば、
方程式は[0,1]上に二つの解を持ち、
それらは、x  1 と x  x0  (0,1)である。
X
17
§1 母関数（定理1の証明：母関数のグラフ）

n 1
nP
(
X

n
)
x
 0 より、gは非減少である。
x [0,1]で、 g’(x) = 
n 1

更に
n2
n
(
n

1
)
P
(
X

n
)
x
 0 より、gは凸である。
g”(x) = 
n2
g’(x)がある x  (0,1) で0となるためには、全ての n  1 で
P( X  n)  0 でなければならない。従って、 P( X  0)  1 となる。
g”(x)があるx  (0,1)で0となるためには、全ての n  2 で
P( X  n)  0 でなければならない。
従って、P( X  0)  P( X  1)  1 となる。
18
§1 母関数（定理1の証明：母関数のグラフ）
厳密に増減かつ厳密に凸関数である場合
( P( X  1)  1)　g : [0,1]  Rのグラフは、
一般に次の図に示すように、
(1)  1　(1)  1　の二つの形になる。
E[ X ]  g　と E[ X ]  g　19
§2 特性関数
20
§2 特性関数 (CharacteristicFunction)とは

母関数は必ずしもすべての変数値に対して存在しない。
しかし複素数を使うことによって母関数に類似の
関数で、すべての変数値に対して存在する関数を作る
ことが出来る。
※宮沢政清著『確立と確率過程』より
21
§2 特性関数
（定義1：特性関数(CharacteristicFunction)）
実数値確率ベクトル
特性関数(c.f.)
の
の定義
X (u)  E[e
iuT X
]
・・・ (76)
ここで i2 = -1 とする
22
§2 特性関数
（例題1：ガウス(Gaussian)と指数(Exponential)）
以下の式は二つの主要な連続確率変数の特性関数である。
(ⅰ)ガウス
1
f ( x) 
e
 2π
(ⅱ)指数
1 ( xm)2
　2 2
 x
  X (u )  e
f ( x)  e 1x 0   X (u ) 
1
imu   2u 2
2
・・・ (77)

  iu
・・・ (78)
23
§2 特性関数
特性関数は、確率ベクトルの分布を決定する。
これは母関数が整数値確率変数の分布を決定するのと
同じである。連続確率ベクトルの場合は、古典的フーリエ理論
から容易に理解できる。
実際、とが上の二つの確率変数XとYの
確率分布関数であり、それらの特性関数が同じであると
仮定すると、
のフーリエ級数から
従ってフーリエ反転理論から、全ての区間
で
が得られる。
 X (u) が積分可能であれば、フーリエ反転公式からXの
確率密度関数は f ( x)  1
e iu x X (u )du
(2π) n

T
Rn
24
§2 特性関数（問題1：コーシー(Cauchy)）
コーシー確率変数の特性関数が  X (U )  e|u|
であることを示せ。
但し、コーシー確率変数の確率密度関数は、
f ( x) 
1 1
π1  x 2

|u |
2
 g(x)。
2
1 x
e のフーリエ変換は、
g(x)は積分可能であるから、フーリエ反転公式を適応し
e |u|

e |u| e iux du 

1
1 1
iux
iux

g
(
x
)
e
dx

e
dx
2


2π
π
 1  x
25
§2 特性関数（定理1：特性関数の独立性基準）
XとYは各々次元との確率ベクトルとする。
また、全ての
、
に対して、
E[e
i ( vT Y  wT Z )
]   1 (v) 2 (w)
・・・ (79)
が成り立つとする。
ここで
と
は、確率ベクトルとの
特性関数であるとする。
この場合、YとZは独立であり、Yは、Zはと同じ
分布を持つ。
26
§2 特性関数
（定理1の証明：特性関数の独立性基準）
と
と定義すると、(79)は
E[eiu X ]  (u) 1 (u) 2 (w) となる。
もしも、
を満たすベクトル
があれば、特性関数は累積分布関数を特徴付けることから、
と
は同じ累積分布関数を持つ。
がと同じ分布を持ち、がと同じ分布を持ち、
とが独立になるようにとを選ぶと、





iu X
iv Y iw Z
iv Y
iw Z
E[e ]  E[e e ]  E[e ]E[e ] 1 (v) 2 (w)
従って
は
と同じ分布を持ち、
更に、とは独立である。
T
T
T
T
T
T
27
§2 特性関数（定理2：事象と確率変数の独立性）
Aは事象、Xは確率変数を表し、任意の u  R に対して
次の式が成り立つとする。
E[1A e iuX ]  P( A) E[e iuX ]
すると、AとXは独立である。つまり1AとXは独立である。
28
§2 特性関数
（定理2の証明：事象と確率変数の独立性）
すべての u, v  R に対し、
E[eiuX eivY ]　 E[eiuX ]E[eivY ]
を確認する必要がある。ここで、
eivY  1 1A  1A eiv  1
 1A (eiv 1)
従って、
E[eiuX eivY ]  E[eiuX ]  (eiv 1) E[1A eiuX ]
一方
E[eiuX ]E[eivY ]　 E[eiuX ]  (eiv 1) P( A) E[eiuX ]
以上から E[1A eiuX ]  P( A)E[eiuX ] ならば、AとXは独立である。
ここで、Aは正の確率で起きる事象とし、Aによる条件確率を
PAで表す。つまり PA ・( )  PA ・( | A)
29
§2 特性関数（定義2）
確率変数XとYは、確率PAに関して独立であるならば、
Aが与えられるという条件で独立であると呼ばれる。
特性関数の独立性基準の定理（定理1）より、
この為の必要十分条件は、
全ての u, v  R に対し、次の式が成り立つ事である。
EA[eiuX eivY ]  EA[eiuX ]EA[eivY ]
可積分、または、非負確率変数Zに対し、
以下の式が成り立つ。
P( A) EA[Z ]  E[Z1A ]
従って次項の結果が直に得られる。
30
§2 特性関数（定義3）
Aを正の確率の事象とする。Aが与えられているという条件で
確率変数XとYが独立であるための必要十分条件は、
全ての u, v  R に対し、次の式が成り立つことである。
P( A) E[eiuX eivY1A ]  E[eiuX 1A ]E[eivY1A ]
31
32
補足：P5 単位閉円板
0
1
複素数全体の集合 C
実数全体の集合 R
円の境界を含む
円の境界を含まない
：閉円盤
：開円盤
P5もどる
33
補足：P6,7 テイラー展開
二項定理
( x  y)  2 C 0 x y  2 C 1x y  2 C 1x y
2
2
0
 x  2 xy  y
2
1
1
0
2
2
指数関数と自然対数

n
x
e 
n 0 n!
x
P6もどる
P7もどる
テイラー展開:wikipedia
34

Download Report