Xパート
AIC（赤池情報量規準）
 1974年発表
 元統計数理研究所所長 赤池弘次 考案(1971)



：最尤推定量
：データの観測値
：パラメータの次元数
AIC（赤池情報量規準）
対数尤度によってモデルの
当てはまりの良さを測る
パラメータが増えることへの
ペナルティ
同程度の当てはまりのよさならば
簡潔なモデルの方が良い
AICの導出
 Kullback-Leibler情報量＜情報理論：エントロピー＞
 ↓ 真の分布を推定
 TIC（竹内情報量規準）＜バイアス補正項が複雑＞
 ↓ 計算を簡単化
 AIC（赤池情報量規準）
 対数尤度を用いる（最尤法・尤度比検定）
その他の情報量規準
 BIC（ベイズ情報量規準）：ベイズの定理
 MDL（最小記述長）：符号化理論に基づく
 GIC(一般化情報量規準）：最尤推定量を用いない
 モデルの信頼性を測る
ブートストラップ法 ・ 多重比較法

スライド 1

2005年度情報理論ガイダンス