予測分布をベイズ予測分布の空間に射影する反復アルゴリズム東京大学・情報理工，理研・脳センター駒木文保確率変数 x と y の同時確率密度がパラメトリックモデル {p(x, y | θ) | θ ∈ Θ} に属すとき， x を観測して y を予測する問題を考える．パラメータ θ は未知である．予測密度 q(y; x) の性能を真の密度 p(y | x, θ) から q(y; x) への Kullback–Leibler ダイバージェンス D{p(y | x, θ), q(y; x)} = p(y | x, θ) log p(y | x, θ) dy q(y; x) を損失関数として評価する．このとき，モデル {p(x, y | θ) | θ ∈ Θ} が多項分布のサブモデルの場合など，モデルがある条件を満たすとき，q(y; x) をベイズ予測密度の空間に “射影” して得られるベイズ予測密度 pπ∗ (y | x) の性能は，もとの q(y; x) に劣らないことが知られている (Komaki, 2011)．特に，予測分布 q(y; x) がベイズ予測分布として表せない場合には，pπ∗ (y | x) の性能は q(y; x) よりも良い．ここで射影 pπ∗ (y | x) は， Dq (π) := pπ (x, y) log pπ (y | x) dydx q(y; x) を最小化する π ∗ に基づくベイズ予測分布として定義される．予測分布 q(y; x) を優越するベイズ予測分布 pπ∗ (y | x) の存在が保証されていても，実際にベイズ予測分布 pπ∗ (y | x) を構成するためには， π ∗ を求める方法が問題になる．本発表では，パラメータ空間 Θ が有限集合の場合に，π ∗ を具体的に構成する逐次アルゴリズムを導入する．元の問題におけるパラメータ空間が無限集合でも，有限集合で近似することにより示唆が得られることがある．提案するアルゴリズムは，問題設定が異なるにもかかわらず，情報理論において良く知られている通信路容量を求めるための Arimoto-Blahut アルゴリズム (Arimoto, 1972; Blahut 1972) といくつかの類似した性質をもつ．参考文献 Arimoto, S. (1972). An algorithm for computing the capacity of arbitrary discrete memoryless channels, IEEE Trans. Information Theory, IT-18, 14–20. Blahut, R. E. (1972). Computation of channel capacity and rate-distortion functions. IEEE Trans. Information Theory, IT-18, 460–473. Komaki, F. (2011). Bayesian predictive densities based on latent information priors, Journal of Statistical Planning and Inference, vol. 141, pp. 3705–3715.