WBICの数学的基礎

WBIC の数学的基礎
渡辺澄夫, 東京工業大学
概要
WBIC によりベイズ自由エネルギーの近似ができます [1] が、ここではその背後にある数
学的構造を紹介します。
1
b 関数とゼータ関数
x ∈ RN 。U は RN の開集合。φ(x) は、無限回微分可能で台 (supp φ) がコンパクトで U に含ま
れる。f (x) ≥ 0 は U 上の実解析関数。
一般性を失わずに次のことを仮定できる。φ の台の上で 0 ≤ f (x) ≤ 1。また集合 {x ∈ supp φ; f (x) =
0} が空でない場合を考える。
定理 1. (Bernstein,1972; 佐藤・新谷,1974) 上記の条件を満たす f (x) に対して、ある微分作用素
D と多項式 b(z) が存在して
Df (x)z+1 = b(z)f (x)z
が成り立つ。ここで微分作用素 D は解析関数 aα (x) を係数とする有限和である。
D=
∑
aα (x)
α
∂α
.
∂xα
注意. 上記の条件を満たす b(z) の集合の中で最も次数が低く最高次の係数が１のものはユニークで
ある。これをベルンシュタイン・佐藤の b 関数という。b(z) の零点は有理数である (柏原,1976)。f (x)
が多項式のときには b 関数を求めるアルゴリズムがあり、しかも実装されている (大阿久,1997)。
(例) (∂ 2 )(x2 )z+1 = (2z + 2)(2z + 1)(x2 )z
(宿題) f = x2 + y 4 のとき b 関数を求めよ。
定義 1. (Gel’fand,1954) 関数 f (x) と φ(x) が与えられたときゼータ関数を次式で定義する。
∫
ζ(z) = f (x)z φ(x)dx (z ∈ C).
定義 1 と定理１から次のことがわかる。
(1) Re(z) > 0 では ζ(z) は複素関数として正則。
(2) ζ(z) は複素平面全体に有理型関数として一意に解析接続できる。その極はすべて負の有理数
であり、これを原点に近いほうから (−λ1 ), (−λ2 ), ... とする。また極 (−λk ) の位数を mk とする
（したがって λk は正の有理数、 mk は自然数）。
以上のことから ζ(z) は次の漸近展開 (Re(z) → −∞) を持つことが分かった。
ζ(z) =
mk
∞ ∑
∑
Ckm (φ)
.
(z + λk )m
k=1 m=1
ここで Ckm (φ) は複素数、φ 7→ Ckm (φ) は超関数である。
1
(1)
2
ゼータ関数、状態密度関数、分配関数
定義 2. 状態密度関数 v(t), 分配関数 Z(n) を次のように定義する。
∫
v(t) =
δ(t − f (x))φ(x)dx (0 < t < 1),
∫
exp(−nf (x))φ(x)dx (n > 0).
Z(n) =
(2)
(3)
この定義のもとで次式が成立する。
∫
1
ζ(z) =
tz v(t) dt,
(4)
exp(−nt) v(t) dt.
(5)
0
∫
Z(n) =
1
0
次の式は m = 1 のときは直接に、一般には帰納法で示せる。
∫ 1
1
1
=
tλ−1 (log t)m−1 tz dt.
(z + λ)m
(m − 1)! 0
この式と式 (1)(4) から状態密度 v(t) の漸近展開 (t → +0) が得られる。
mk
∞ ∑
∑
Ckm (φ) λk −1
v(t) =
t
(log t)m−1 .
(m − 1)!
k=1 m=1
これより分配関数の漸近展開 (n → ∞) が得られる。
∫
mk
∞ ∑
∑
Ckm (φ) 1 λk −1
Z(n) =
t
(log t)m−1 exp(−nt) dt
(m − 1)! 0
k=1 m=1
∫
mk
∞ ∑
∑
dt
Ckm (φ) n
(t/n)λk −1 (log(t/n))m−1 exp(−t) .
=
(m − 1)! 0
n
k=1 m=1
極限 n → ∞ において一番大きな項だけを取り出すと
Z(n) ∼
=
C11 (φ)Γ(λ1 ) (log n)m1 −1
·
.
(m − 1)!
n λ1
したがって
− log Z(n) = λ1 log n − (m1 − 1) log log n + 定数 + · · · .
注意. 最初に f (x) = 0 となる x ∈ supp φ が存在することを仮定したが、そうでない場合には
f (x) の最小値を Minf とすると f (x) − Minf について同じ議論ができる。一般には
− log Z(n) = Minf · n + λ1 log n − (m1 − 1) log log n + 定数 + · · · .
参考文献
[1] 渡辺澄夫, 代数幾何と学習理論, 森北出版, 2006.
2

Download Report