10月22日分資料

２０１４年１０月２２日 M 情報幾何学（藤岡敦担当）授業資料
1
§5. 統計的モデル
確率変数の分布から定まる確率関数や密度関数の族からなる統計的モデルというものについて
述べよう.
(Ω, F, P ) を確率空間, X を (Ω, F, P ) 上の確率変数, µX を X の分布とする.
まず, X のとり得る値全体が有限集合である場合を考えよう.
このとき,
X(Ω) = {y0 , y1 , y2 , . . . , yn }
と表しておき,
ξi = µX ({yi }) (i = 0, 1, 2, . . . , n)
とおくと, ξi ≥ 0 で,
n
∑
ξi = 1
i=0
がなりたつ.
よって, 分布だけを問題にするならば, 始めから Ω は有限集合
Ω = {x0 , x1 , x2 , . . . , xn }
で, F は Ω の巾集合, また P は
ξ0 , ξ1 , ξ2 , . . . , ξn ≥ 0,
n
∑
ξi = 1
i=0
をみたす ξ0 , ξ1 , ξ2 , . . . , ξn を用いて
P ({xi }) = ξi
によりあたえられているとしてよい.
更に, Ω 上の関数 p を
p(xi ) = ξi
により定めると, p は
n
∑
(i = 0, 1, 2, . . . , n)
(i = 0, 1, 2, . . . , n)
p(xi ) = 1
i=0
をみたす. p を確率関数という.
X のとり得る値が可算集合である場合も上と同様に考えることができる.
そこで, 確率関数の族を考え, 高々可算な集合上の統計的モデルを次のように定めよう. なお,
簡単のため, 確率関数のとり得る値は常に正であるとする.
定義
Ω を高々可算集合とする. Rn の開集合 Ξ を用いて
}
{
∑
p(x; ξ) = 1
S = p(x; ξ) 任意の x ∈ Ω と任意の ξ ∈ Ξ に対して p(x; ξ) > 0 で,
x∈Ω
と表される確率関数の族 S を Ω 上の n 次元統計的モデルという.
例上において述べたことより, 次のような有限集合上の統計的モデルを考えることができる.
Ω を (n + 1) 個の元からなる有限集合とし,
Ω = {x0 , x1 , x2 , . . . , xn }
§5. 統計的モデル
2
と表しておく. また, Rn の開集合 Ξ を
{
Ξ=
}
n
∑
(ξ1 , ξ2 , . . . , ξn ) ξ1 , ξ2 , . . . , ξn > 0,
ξi < 1
i=1
により定める.
ξ = (ξ1 , ξ2 , . . . , ξn ) ∈ Ξ に対して


ξi
p(xi ; ξ) =

1 −
n
∑
(i = 1, 2, . . . , n),
ξj
(i = 0)
j=1
とおくと, p(x; ξ) は確率関数を定める.
よって,
S = {p(x; ξ)|ξ ∈ Ξ}
とおくと, S は Ω 上の n 次元統計的モデルである.
例 (Poisson 分布)
可算集合上の統計的モデルとして次のようなものを考えよう.
まず,
Ω = {0, 1, 2, . . . }
とおき, R の開集合 Ξ を
Ξ = {ξ|ξ > 0}
により定める.
ξ ∈ Ξ に対して
p(x; ξ) = e
−ξ ξ
x
x!
(x ∈ Ω)
とおくと, p(x; ξ) は確率関数を定める.
よって,
S = {p(x; ξ)|ξ ∈ Ξ}
とおくと, S は Ω 上の 1 次元統計的モデルである.
S の各元は Poisson 分布に対する確率関数として知られているものである.
次に, 確率変数 X のとり得る値全体が非可算集合である場合を考えよう.
λ を R の Lebesgue 測度とし, µX が λ に関して絶対連続であると仮定する. すなわち, A ∈ B(R),
λ(A) = 0 ならば µX (A) = 0 がなりたつ.
このとき, Radon-Nikodym の定理より, ある p ∈ L1 (R, λ) が存在し, 任意の A ∈ B(R) に対して
∫
µX (A) =
p(x)λ(dx)
A
がなりたつ. p を µX の密度関数という. 以下では, 上の積分を単に
∫
p(x)dx
A
と表すことにしよう. 特に, p はほとんど至るところ非負で,
∫
p(x)dx = 1
R
§5. 統計的モデル
3
がなりたつ.
そこで, 密度関数の族を考え, R 上の統計的モデルを次のように定めよう. なお, 簡単のため, 密
度関数のとり得る値は常に正であるとする.
定義
Rn の開集合 Ξ を用いて
{
}
∫
p(x; ξ)dx = 1
S = p(x; ξ) 任意の x ∈ R と任意の ξ ∈ Ξ に対して p(x; ξ) > 0 で,
R
と表される密度関数の族 S を R 上の n 次元統計的モデルという.
例 (正規分布)
R2 の開集合 Ξ を
Ξ = {(µ, σ)|µ ∈ R, σ > 0}
により定める.
ξ = (µ, σ) ∈ Ξ に対して
{
}
1
(x − µ)2
p(x; ξ) = √
exp −
2σ 2
2πσ
(x ∈ R)
とおくと, p(x; ξ) は密度関数を定める.
よって,
S = {p(x; ξ)|ξ ∈ Ξ}
とおくと, S は R 上の 2 次元統計的モデルである.
S の各元 p(x; ξ) は平均 µ, 分散 σ 2 の正規分布に対する密度関数として知られているものである.
ここまでは R に値をとる確率変数のみを考えてきたが, Rk に値をとる確率変数の場合には次の
ような例も挙げることができる.
例 (多変量正規分布)
k(k+1)
まず, k 次の実対称行列全体の集合は R 2 とみなせることに注意しよう. そこで, Rk+
の開集合 Ξ を
Ξ = {(µ, Σ)|µ ∈ Rk , Σ は k 次の正定値実対称行列 }
k(k+1)
2
により定める.
ξ = (µ, Σ) ∈ Ξ に対して
}
1
−1t
p(x; ξ) =
− (x − µ)Σ (x − µ)
k
1 exp
2
(2π) 2 (det Σ) 2
1
{
(x ∈ Rk )
とおくと, p(x; ξ) は密度関数を定める.
よって,
S = {p(x; ξ)|ξ ∈ Ξ}
)
(
次元統計的モデルである.
とおくと, S は Rk 上の k + k(k+1)
2
S の各元 p(x; ξ) は平均ベクトル µ, 共分散行列 Σ の多変量正規分布に対する密度関数として知
られているものである.
§5. 統計的モデル
4
関連事項 5. Gauss 積分
関数 e−x の不定積分を初等関数を用いて表すことができないことは Liouville によって示され
ているが, Gauss 積分
∫
2
∞
e−x dx
2
−∞
√
の値は π と具体的に求めることができる. Gauss 積分の計算については多くの方法が知られ
ているが, ここでは次のような計算方法を紹介しよう.
まず, 0 < s < 1 とし,
∫ +∞ s−1
x
I=
dx
1+x
0
とおく. 被積分関数の評価を行うことにより, この広義積分は収束することが分かる.
次に, C の領域 D を
D = C \ {x ∈ R|x ≥ 0}
により定め, 対数関数 log z の定義域を D に制限しておき, 一価の枝を選んでおく. このとき, D
で定義された正則関数 z s を
z s = exp(s log z)
により定めることができる.
そこで,
f (z) =
zs
z(1 + z)
とおき, f (z) の z = −1 における留数を Res (f, −1) と表すと, 複素積分を行うことにより,
2πi
Res (f, −1)
1 − e2πis
2πi eπis
=
1 − e2πis −1
π
=
sin(πs)
I=
と I の値を求めることができる.
1
一方, 変数変換 t =
を行い, B 関数, Γ 関数を用いると,
1+x
∫ 1
I=
t−s (1 − t)s−1 dt
0
= B(1 − s, s)
= Γ(s)Γ(1 − s)
となるから, 上の計算と合わせて, Γ 関数の相補公式
Γ(s)Γ(1 − s) =
が示される. 特に, s =
1
2
とすると,
π
sin(πs)
( )
√
1
Γ
= π
2
で, 変数変換 t = y 2 を行うと, Gauss 積分の値が得られる.

Download Report