3.3.1 ボルツマンマシンの定義 • ボルツマンマシン(Boltzmann machine)は、スピン・システムをヒントに作られたモデルである。 • 各ユニットは確率的に 0 か 1 の値をとる。 • ユニット M個の入力層、ユニット H個の中間層、ユニット N個の出力層からなる。 • K = M+H+Nとする。 • K個のユニットを入力層、中間層、出力層の順に並べて、i 番目のユニットの値を確率変数 Si とし、その実現値を si と書く。 • S = (S1, S2,…, SK) = ( X, U, Y ) • s = (s1, s2,…, sK) = ( x, u, y ) 3.3.1 ボルツマンマシンの定義 • 実数パラメータ w = {wij ,θi ; 1≦i, j≦K}に対し、ハミルトニアンL(s|w)を以下のように定義する。 K 1 K L( s | w)    wij si s j   i si 2 i , j 1 i 1 ここで、 wii = 0かつ wij= wji 。 • 自由に値のとれるパラメータの個数は、K(K－1)／2 + K。 3.3.1 ボルツマンマシンの定義 • S=s となる確率関数が以下であるとき、確率変数 S をハミルトニアンL(s|w)をもつボルツマンマシンと呼ぶ。 1 p( s | w)  exp( L( s | w)) Z ( w) ここで、 Z (w)   exp(L(s | w)) s{0,1}K は、確率関数になるための正規化定数で、分配関数と呼ばれる。 • p(s|w)を平衡状態の分布と呼ぶ。 3.3.2 ボルツマンマシンの推論 • 入力ユニットと出力ユニットとが外部と直接関係する部分、中間ユニットは外部と直接関係しない部分であると考える。 • 入出力(X,Y)の同時確率関数は、以下のようになる。 1 p( x, y | w)   p( x, u, y | w)  exp( L(s | w))  Z ( w) u{0,1}H u{0,1}H • 入力Xの確率関数は、以下のようになる。 1 p( x | w)    p( x, u, y | w)  exp( L( s | w))   Z ( w) u{0,1}H y{0,1}N u{0,1}H y{0,1}N • 従って、入力から出力への推論は、入力X=xが与えられたときの出力Yの条件つき確率で与えられるので、以下となる。 p( x, y | w) 1 p( y | x, w)   exp( L( s | w))  p( x | w) Z ( x, w) u{0,1}H Z ( x, w)    u{0 ,1}H y{0 ,1}N exp( L( s | w)) 3.3.2 ボルツマンマシンの推論 p( x, y | w) 1 p( y | x, w)   exp( L( s | w))  p( x | w) Z ( x, w) u{0,1}H Z ( x, w)    exp( L( s | w)) u{0 ,1}H y{0 ,1}N • p(y|x,w)に従う確率変数Yを、入力をxに固定したときの yの平衡状態の分布と呼ぶ。 • 同様にして、出力から入力への逆推論p(x|y,w)も定義できる。