X (ω)

情報ネットワーク学基礎１講義ノート（7 月 9 日）
離散型確率変数 (random variable)【復習】
X : Ω −→ R
∈
定義 1 (確率変数)
(Ω, F, P ) を確率空間とするとき，確率変数 X （Ω から実数への関数!）
∈
[6]
氏名：
ω 7−→ X(ω)
⇔ 全ての実数 x について，{ω ∈ Ω | X(ω) ≤ x } ∈ F を満たす．
• 離散型確率変数 ⇔ 値域 X = X(Ω) が離散的（高々可算）．
• 累積分布関数：FX (x) = P ({ω ∈ Ω | X(ω) ≤ x }) は階段関数.
• 確率関数：PX (k) = P ({ω ∈ Ω | X(ω) = k }) (k ∈ X ) は 0 以上かつ全部足すと 1.
∑
• 確率モデルを作ったら，必ず k∈X PX (k) = 1 をチェック!
[7]
連続型確率変数
定義 2 (連続型確率変数)
(Ω, F, P ) を確率空間とし，X : Ω → R を確率変数とする．累積分布関数 FX (x) が
∫
FX (x) =
x
−∞
fX (x)dx
と書けるとき，X を連続型確率変数という．また，このとき
fX (x) =
dFX (x)
dx
fX (x) を X の確率密度関数 (probability density function, PDF) という．
補題 1 (確率密度関数の性質)
(1) fX (x) ≥ 0 （fX (x) ≤ 1 とは限らないことに注意．X(ω) = x になる確率を表しているわけではない．
）
∫ ∞
(2)
fX (x)dx = 1
−∞
逆に，これらの条件（0 以上，積分すると 1）を滿たす関数 fX (x) が与えられると，連続型確率変数 X が
定義されたことになる．
(3) 確率変数 X(ω) が区間 (a, b] に入る確率は以下で与えられる 1 ．
Pr {ω ∈ Ω | a < X(ω) ≤ b } = Pr {ω ∈ Ω | X(ω) ≤ b } − Pr {ω ∈ Ω | X(ω) ≤ a }
∫ b
∫ a
∫ b
=
f (x)dx −
f (x)dx =
f (x)dx
−∞
−∞
a
例 1 確率空間 (Ω, F, P ) を以下で与える．
Ω = [−1, 1] = {ω ∈ R | −1 ≤ ω ≤ 1 }
F = {A ⊂ Ω | A は長さを測れる（可測）} ⊊ 2Ω
P (A) =
1
A の長さ
全事象 Ω の長さ
連続型の場合には PX (a) = P ({ω|X(ω) = a}) = FX (a) − limε→+0 FX (a − ε) = 0 であるので，不等式の等号は重要でない．
1
このとき，X(ω) = aω 2 (a > 0) の累積分布関数は以下で与えられる．
{
}
FX (x) = P ( ω ∈ Ω X(ω) = aω 2 ≤ x ) =







X の累積分布関数をもとに確率密度関数 fX (x) を求めると，




fX (x) =
dFX (x)
=

dx


fX (x) は，確率密度関数の性質を満たすことが確認できる．
[8]
代表的な連続型確率変数
(1) 一様分布 (uniform distribution) U(a, b) (a < b)
• 確率密度関数


fX (x) =
1
b−a
0
if
a<x<b
otherwise
a から b の区間で一様に発生する確率変数．
• 確率密度関数の資格の確認
∫
∫
∞
−∞
b
1
1
dx =
· (b − a) = 1
b−a
b−a
fX (x)dx =
a
(2) 指数分布 (exponential distribution) Ex(α) (α > 0)
• 確率密度関数

α e−αx
fX (x) =
0
• 確率密度関数の資格の確認
∫ ∞
∫
fX (x)dx =
−∞
∞
0
if x ≥ 0
if x < 0
[
]∞
α e−αx dx = −e−αx 0 = 0 − (−1) = 1
(3) 正規分布 (normal distribution) N(µ, σ) (µ ∈ R, σ > 0)
• 確率密度関数
(x−µ)2
1
fX (x) = √
e− 2σ2
2πσ 2
• 確率密度関数の資格の確認
補題 2 (ガウス積分:各自で確認しておくこと)
1
∫
√
2πσ 2
∞
−∞
2
e−
(x−µ)2
2σ 2
dx = 1
(1)
[9]
確率変数の期待値と分散
定義 3 (期待値)
確率変数 X の期待値 (expectation, expected value) は次式で定義される．
∑

xPX (x)
（離散型確率変数）


x∈X
E[X] := ∫ ∞



xfX (x)dx （連続型確率変数）
−∞
定義 4 (分散)
確率変数 X の分散 (variance) は，次式で定義される．
V [X] := E[(X − E(X))2 ]
定義 5 (標準偏差)
√
確率変数 X について，分散の平方根 σX = V [X] を標準偏差 (standard deviation) とよぶ．
注意 1 Y = f (X) のとき，Y の期待値は，期待値の定義から確率関数 PY (y) を用いて，
E[Y ] =
∑
yPY (y)
y∈Y
で与えられる．しかし，以下のように，Y の期待値を計算するだけならば Y の確率関数は必要がない．
補題 3 (確率変数の関数：期待値) Y = f (X) のとき
E[Y ] =
∑
f (x)PX (x)
x∈X
証明： PY (y) =
∑
x∈f −1 ({y})
PX (x) =
∑
PX (x) が成立．
x∈X :
y=f (x)
□
補題 4 (期待値の性質) 線形性：E[aX + b] = aE[X] + b for constants a, b ∈ R.
∑
証明：
E[aX + b] =
(ax + b)PX (x)
x∈X
=a
∑
xPX (x) + b
x∈X
∑
PX (x)
x∈X
= aE[X] + b · 1
□
3
補題 5 (分散の性質)
(1) V [X] ≥ 0
(2) V [aX + b] = a2 V [X] (a, b ∈ R)
(3) V [X] = E[X 2 ] − E[X]2
[10]
Markov の不等式
(Ω, F, P ) を確率空間とし，X を非負の値をとる確率変数とする (i.e., for all x ∈ X = X(Ω), x ≥ 0). この
とき
∀a > 0,
P ({ω ∈ Ω | X(ω) > a}) ≤
E[X]
a
が成り立つ．
証明：離散型確率変数の場合は以下のように示される．
E[X] =
∑
xPX (x) x∈X
∑
≥
xPX (x)
x∈X : x>a
∑
≥
aPX (x)
[
∵ 期待値の定義
[
[
]
∵ {x ∈ X | x > a} ⊂ X
]
∵ x > a より xPX (x) ≥ aPX (x)
]
x∈X : x>a
=a
∑
PX (x)
x∈X : x>a
= a P ({ω ∈ Ω | X(ω) > a})
連続型確率変数の場合は，和を積分にし, 確率関数を確率密度関数に置き換えることで示される．
[11]
□
代表的な確率変数の期待値と分散（離散型）
(1) ベルヌイ分布（Bernoulli distribution) B(1, p) (0 < p < 1)
確率関数：PX (1) = p, PX (0) = 1 − p
E[X] = p × 1 + (1 − p) × 0 = p
V [X] = p × (1 − p)2 + (1 − p) × (0 − p)2 = p(1 − p){(1 − p) + p} = p(1 − p)
(2) 二項分布（binomial distribution) B(n, p) (n ∈ N, 0 < p < 1)
( )
確率関数：PYn (k) = nk pk (1 − p)n−k (k = 0, 1, . . . , n)
（二項分布 B(n, p) に従う確率変数 Yn は，表の出る確率が p であるコインを n 回投げた時の表の回数．
）
E[X] =
V [X] =
4
(3) 幾何分布（geometrical distribution) Ge(p) (0 < p < 1)
確率関数：PX (k) = (1 − p)k p (k = 0, 1, 2, · · · )
E[X] =
(4) ポアソン分布（geometrical distribution) Po(λ) (λ > 0)
k
確率関数：PX (k) = e−λ λk! (k = 0, 1, 2, . . . )
E[X] =
∞
∑
k·e
k
−λ λ
k=0
k!
ただし，途中で k − 1 = l とおき，
[12]
=
∞
∑
e
−λ
k=1
∑∞
−λ λl
l=0 e
l!
∞
∞
l=0
l=0
∑
∑
λk
λl+1
λl
=
e−λ
=λ
e−λ = λ
(k − 1)!
l!
l!
= 1 を用いた．
代表的な確率変数の期待値と分散（連続型）
(1) 一様分布 U(a, b) (a < b)
一様分布 U(a, b) に従う確率変数 X について，期待値と分散は定義から以下のように計算される．
[ 2 ]b
1
1
x
1
b2 − a2
a+b
E[X] =
f (x)x dx =
· x dx =
=
·
=
b−a 2 a b−a
2
2
−∞
a b−a
∫ ∞
∫ b
1
V [X] =
f (x)(x − µ)2 dx =
· (x − µ)2 dx
−∞
a b−a
{(
[
]b
)
(
) }
1
(x − µ)3
1
a+b 3
a+b 3
=
=
b−
− a−
b−a
3
3(b − a)
2
2
a
{
}
1
(b − a)3 (a − b)3
1
(b − a)3
(b − a)2
=
−
=
·
=
3(b − a)
8
8
3(b − a)
4
12
∫
∫
∞
b
(2) 指数分布 Ex(α) (α > 0)
指数分布 Ex(α) に従う確率変数 X について，部分積分により，期待値と分散が以下のように求まる．
∫
∞
[
]∞
E[X] =
αe
x dx = −e−αx x 0 −
[0
]
1 −αx ∞
1
1
= − e
= 0 − (− ) =
α
α
α
0
また
∫
2
E[X ] =
−αx
∞
0
∞
(−e
2
V [X] = E[X ] − E[X] = 2 −
α
2
2
∫
∞
(−e
0
( )2
1
1
= 2
α
α
5
∫
) dx = 0 +
∞
e−αx dx
0
2
2
= E[X] = 2
α
α
であるから
−αx
0
[
]∞
x dx = −e−αx x2 0 −
−αx 2
αe
∫
−αx
2
· 2x) dx = 0 +
α
∫
0
∞
αe−αx x dx
[13]
演習問題
問題 8
問 8-1 補題 3（確率変数の関数：期待値）を証明せよ．
Hint: 写像 f による {y} の逆像，f −1 ({y}) = {x ∈ X | f (x) = y } を使い，集合 X のラベル y による互い
∪
∑
に素な集合への直和分解 X = y∈Y f −1 ({y}) を考える．また，PY (y) = x∈f −1 ({y}) PX (x) と書けるこ
とを使う．
問 8-2 補題 5（分散の性質）を証明せよ.
Hint: 分散の定義と期待値に関する補題を用いて計算する．
問題 9
問 9-1 幾何分布の分散を求めよ．
問 9-2 ポアソン分布 Po(λ) の分散を求めよ．
問 9-3 正規分布 N(µ, σ) の期待値と分散を求めよ．必要ならば
∫∞
0
e−x dx =
2
√
π
2
を使ってよい．
問題 10
ネットワーク上では送信される大きなサイズのファイルを通常，パケットと呼ばれる小さなファイルに分割
して送信する．いま，サイズ x のファイルをサイズ a (a > 0) のパケットに分割することを考える．このとき，
(n − 1)a ≤ x < na
を満たす自然数 n ∈ N = {1, 2, . . . } で与えられる，n − 1 個のサイズ a のパケットと，n − 1 個のパケットに入
りきらなかった端パケット 1 つからなる，合計 n 個のパケットに分割される．なお，余りの端パケットのサイ
ズは
y = x − (n − 1)a
で与えられ，0 ≤ y < a を満たす．簡単ためにネットワーク上で送信されるファイルサイズ X は正の実数値を
取る（連続型）確率変数であるとし，パラメータ α の指数分布に従うものとする．このとき，
(a) 分割されたパケット総数に対する確率変数 N の確率関数を求めよ．
(b) 端パケットのサイズに対する確率変数 Y の累積分布関数および確率密度関数を求めよ．
注意：確率関数や確率密度関数が求まったら，必ず和や積分して 1 となることを確認すること．
6

Download Report