第 2 回 1 変量分布
村澤 康友
2014 年 4 月 16 日
目次
確率変数と確率分布
1
1.1
確率変数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
1.2
確率分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
期待値と積率
8
2.1
期待値 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8
2.2
積率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9
2.3
積率母関数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11
1
2
1 確率変数と確率分布
1.1 確率変数
定義 1. 試行の結果によって値が決まる変数を確率変数という．
例 1. コイントスに対して
{
1 （表）
X :=
0 （裏）
とすれば X は確率変数．
定義 2. 確率変数の分布を確率分布という．
注 1. 度数分布と似た概念．
1.2 確率分布
1.2.1 累積分布関数
確率変数 X の確率分布を表現する．
定義 3. 任意の x に対して Pr[X ≤ x] を与える関数を X の累積分布関数（cumulative distribution function,
cdf）という．
1
1.0
0.8
0.6
0.0
0.2
0.4
Fn(x)
0
1
2
3
4
5
x
図1
サイコロの目の cdf
注 2. FX (.) で表す．すなわち FX (x) := Pr[X ≤ x]．
注 3. 弱い不等号 ≤ で定義する．
注 4. 度数分布の累積相対度数に相当．
例 2. X をサイコロの目の数とすると
1
.
X = ..
6
X の cdf は
with pr. 1/6
with pr. 1/6
0
1/6
.
FX (x) = ..
5/6
1
for x < 1
for 1 ≤ x < 2
for 5 ≤ x < 6
for 6 ≤ x
FX (.) のグラフは図 1 の通り．
FX (.) は以下の性質をもつ．
定理 1 (増加関数).
x1 < x2 =⇒ FX (x1 ) ≤ FX (x2 )
2
6
7
証明. x1 < x2 なら
FX (x2 ) := Pr[X ≤ x2 ]
= Pr[X ≤ x1 ] + Pr[x1 < X ≤ x2 ]
≥ Pr[X ≤ x1 ]
= FX (x1 )
定理 2.
lim FX (x) = 0,
lim FX (x) = 1
x→−∞
x→∞
証明.
lim FX (x) = lim Pr[X ≤ x]
x→−∞
(N
)
∩
= lim P
(−∞, −n]
x→−∞
N →∞
(
=P
lim
N →∞
n=1
N
∩
)
(−∞, −n]
n=1
= P (∅)
=0
lim FX (x) = lim Pr[X ≤ x]
x→∞
(N
)
∪
= lim P
(−∞, n]
x→∞
N →∞
(
=P
lim
N →∞
n=1
N
∪
)
(−∞, n]
n=1
= P (R)
=1
定理 3 (右連続). 任意の x0 において
lim FX (x) = FX (x0 )
x↓x0
証明.
lim FX (x) = lim Pr[X ≤ x]
x↓x0
(N (
])
∩
1
= lim P
−∞, x0 +
N →∞
n
n=1
(
])
N (
∩
1
=P
lim
−∞, x0 +
N →∞
n
n=1
x↓x0
= P ((−∞, x0 ])
= Pr[X ≤ x0 ]
= FX (x0 )
3
注 5. 左連続とは限らない．なぜなら
lim FX (x) = lim Pr[X ≤ x]
x↑x0
(N (
])
∪
1
= lim P
−∞, x0 −
N →∞
n
n=1
(
])
N (
∪
1
=P
lim
−∞, x0 −
N →∞
n
n=1
x↑x0
= P ((−∞, x0 ))
= Pr[X < x0 ]
注 6. 逆に以上の性質をもつ F (.) は cdf．例えば
0 for x < 0
一様分布： F (x) := x for 0 ≤ x ≤ 1
1 for 1 < x
{
0
for x < 1
パレート分布： F (x) :=
1 − 1/x for x ≥ 1
{
0
for x < 0
指数分布： F (x) :=
x
1 − 1/e
for x ≥ 0
ロジスティック分布： F (x) :=
ex
1 + ex
それぞれのグラフは図 2 の通り．
1.2.2 確率密度関数
■離散分布
定義 4. 取りうる値の集合が可算である確率変数を離散確率変数という．
定義 5. 離散確率変数の確率分布を離散分布という．
定義 6. 任意の x に対して Pr[X = x] を与える関数を X の確率関数という．
注 7. pX (.) で表す．すなわち pX (x) := Pr[X = x]．
注 8. 度数分布の相対度数に相当．
注 9. cdf の定義より，任意の x について
FX (x) := Pr[X ≤ x]
∑
=
Pr[X = x′ ]
x′ ≤x
=
∑
x′ ≤x
4
pX (x′ )
0.8
0.0
0.4
ppareto(x)
0.8
0.4
0.0
punif(x)
-2
-1
0
1
2
-4
-2
-2
0
4
2
2
4
0.0 0.2 0.4 0.6 0.8 1.0
plogis(x)
-4
2
x
0.0 0.2 0.4 0.6 0.8 1.0
pexp(x)
x
0
4
-4
x
-2
0
x
図 2 cdf の例
また
∑
pX (x) = 1
x
逆にこれを満たす非負の p(.) は確率関数．
例 3. X をサイコロの目の数とすると，X の確率関数は
{
1/6
pX (x) =
0
for x = 1, . . . , 6
elsewhere
pX (.) のグラフは図 3 の通り．
■連続分布 ルーレットの円周は非可算無限個の点から成る．この場合，個々の点で止まる確率は 0（無限小）
なので，確率関数は役に立たない．
定義 7. 連続な cdf をもつ確率変数を連続確率変数という．
5
0.20
0.15
0.10
0.00
0.05
p
0
1
2
3
4
5
x
図3
サイコロの目の確率関数
注 10. FX (.) が連続なら
pX (x) := Pr[X = x]
= Pr[X ≤ x] − Pr[X < x]
= FX (x) − lim
FX (x′ )
′
x ↑x
= FX (x) − FX (x)
=0
定義 8. 連続確率変数の確率分布を連続分布という．
定義 9. 任意の x について
∫
FX (x) =
x
−∞
fX (t) dt
となる fX (.) を X の（確率）密度関数という．
注 11. 任意の a, b について
∫
Pr[a < X ≤ b] =
b
fX (x) dx
a
図 4 を参照．また
∫
∞
−∞
fX (x) dx = 1
逆にこれを満たす非負の f (.) は密度関数．
注 12. FX (.) が微分可能ならば，微分積分学の基本定理より
′
fX (x) := FX
(x)
6
6
7
0.4
0.3
0.2
0.0
0.1
dnorm (x)
-4
-2
0
2
4
x
図4
密度関数による確率の評価
例 4. 例えば cdf が
0 for x < 0
F (x) := x for 0 ≤ x ≤ 1
1 for 1 < x
{
0
for x < 1
F (x) :=
1 − 1/x for x ≥ 1
{
0
for x < 0
F (x) :=
x
1 − 1/e
for x ≥ 0
F (x) :=
ex
1 + ex
なら対応する密度関数は
0 for x < 0
f (x) = 1 for 0 ≤ x ≤ 1
0 for 1 < x
{
0
for x < 1
f (x) =
1/x2 for x ≥ 1
{
0
for x < 0
f (x) =
x
1/e
for x ≥ 0
f (x) =
ex
(1 + ex )2
それぞれのグラフは図 5 の通り．
定義 10. 確率関数と密度関数をまとめて確率密度関数（probability density function, pdf）という．
7
0.8
0.0
0.4
ppareto(x)
0.8
0.4
0.0
dunif(x)
-2
-1
0
1
2
-4
-2
2
4
2
4
x
0.05
0.15
dlogis(x)
0.4
0.0
dexp(x)
0.8
0.25
x
0
-4
-2
0
2
4
-4
-2
x
0
x
図5
密度関数の例
2 期待値と積率
2.1 期待値
X を確率変数とする．
定義 11. X の期待値は
{∑
xpX (x)
（離散）
xfX (x) dx （連続）
−∞
∫ ∞x
E(X) :=
注 13. X の関数 g(X) の期待値は次のように定義する．
{∑
E(g(X)) :=
g(x)pX (x)
（離散）
g(x)fX (x) dx （連続）
−∞
∫ ∞x
例 5. X を次のような確率変数とする．
{
X :=
1 with pr. p
0 with pr. 1 − p
8
期待値は
E(X) := 1 · p + 0 · (1 − p)
=p
定理 4. 任意の a, b について
E(aX + b) = a E(X) + b
証明. X が連続なら
∫
∞
E(aX + b) :=
(ax + b)fX (x) dx
∫
xfX (x) dx + b
−∞
∫ ∞
∞
−∞
−∞
=a
fX (x) dx
= a E(X) + b
離散の場合も同様．
注 14. より一般的に (X, Y ) の 2 変量分布について
E(aX + bY ) = a E(X) + b E(Y )
2.2 積率
定義 12. X の k 次の積率（モーメント）は
( )
µX,k := E X k
定義 13. 1 次の積率を平均という．
注 15. µX と表す．
定義 14. X の k 次の中心積率は
(
)
µ′X,k := E (X − µX )k
定義 15. 2 次の中心積率を分散という．
注 16. var(X) と書く．すなわち
(
)
var(X) := E (X − µX )2
例 6. X を次のような確率変数とする．
{
X :=
1 with pr. p
0 with pr. 1 − p
µX = p より
var(X) := (1 − p)2 · p + (0 − p)2 · (1 − p)
= p(1 − p)2 + p2 (1 − p)
= p(1 − p)
9
定理 5.
( )
var(X) = E X 2 − µ2X
証明.
(
)
var(X) := E (X − µX )2
(
)
= E X 2 − 2µX X + µ2X
( )
= E X 2 − 2µX E(X) + µ2X
( )
= E X 2 − µ2X
定理 6. 任意の a, b について
var(aX + b) = a2 var(X)
証明.
(
)
var(aX + b) := E (aX + b − E(aX + b))2
(
)
= E [aX + b − (a E(X) + b)]2
(
)
= E [a(X − E(X))]2
(
)
= E a2 (X − E(X))2
(
)
= a2 E (X − E(X))2
= a2 var(X)
定義 16. 分散の平方根を標準偏差という．
注 17. σX と表す．
定義 17. 確率変数から平均を引き標準偏差で割る変換を標準化という．
注 18. 平均を 0，分散を 1 にする．
定義 18. 標準化した変量の 3 次の積率を歪度という．
注 19. すなわち
((
αX,3 := E
X − µX
σX
)3 )
pdf が対称なら αX,3 = 0．
定義 19. 標準化した変量の 4 次の積率を尖度という．
注 20. すなわち
((
αX,4 := E
X − µX
σX
)4 )
正規分布なら αX,4 = 3．これを基準に尖度を αX,4 − 3 と定義することもある．
10
2.3 積率母関数
定義 20. X の積率母関数（moment generating function, mgf）は
(
)
MX (t) := E etX
定理 7. 任意の k について
( )
d MX
(0) = E X k
k
dt
k
証明. 任意の k について
k
k
(
)
d
d MX
(t)
=
E etX
dtk
dtk
(
)
k
d tX
=E
e
dtk
(
)
= E X k etX
( )
t = 0 なら E X k ．
例 7. X を次のような確率変数とする．
{
X :=
1 with pr. p
0 with pr. 1 − p
mgf は
(
)
MX (t) := E etX
= et·1 · p + et·0 · (1 − p)
= pet + 1 − p
微分すると
′
MX
(t) = pet
′′
MX
(t) = pet
1・2 次の積率は
′
E(X) = MX
(0)
(
E X
2
)
=p
′′
= MX
(0)
=p
分散は
( )
var(X) = E X 2 − E(X)2
= p − p2
= p(1 − p)
11
© Copyright 2024 ExpyDoc
