最尤法 回帰 回帰 当 評価 政治学方法論 I （ ）回帰（2） 矢内 勇生 神戸大学 法学部/法学研究科 2014 年 12 月 17 日 1 / 15 最尤法 回帰 今日 回帰 当 評価 内容 1 最尤法 回帰 回帰 例 数値計算 2 当 回帰 当 評価 評価 2 / 15 最尤法 回帰 回帰 当 評価 回帰 例 問題 設定 例 1：小選挙区 当落 過去 当選回数（架空 過去 当選回数 、小選挙区 ？ 当落 影響 ▶ 応答変数 y 過去 当選回数別 当選者数 ▶ 説明変数 t (terms)：0 以上 整数 → ） ？ 程度影響 回帰 当 3 / 15 最尤法 回帰 回帰 当 評価 回帰 例 変数 確認 過去 当選回数 (ti ) 0 1 2 3 4 5 6 7 合計 人数 (ni ) 3 2 1 2 3 3 0 1 15 当選者数 (yi ) 1 1 0 1 2 2 0 1 8 4 / 15 最尤法 回帰 回帰 当 評価 回帰 例 回帰 問題 ▶ pi πi Yi ▶ πi ▶ Yi ▶ 推定 回帰 定式化： ( ) ni yi = Pr(yi |ni , πi ) = π (1 − πi )ni −yi yi i exp(β1 + β2 ti ) = 1 + exp(β1 + β2 ti ) ∼ Bin(ni , πi ) 試行 成功確率 互 独立 母数：β1 β2 5 / 15 最尤法 回帰 回帰 当 評価 回帰 例 尤度関数 ▶ ▶ 特定 (n i ) = ai 観測値 i 関 yi 尤度関数 Li (β) = pi = ai πiti (1 − πi )ni −ti )yi ( )ni −yi ( 1 exp(β1 + β2 xi ) = ai 1 + exp(β1 + β2 xi ) 1 + exp(β1 + β2 xi ) ▶ 互 yi L(β) = n ∏ 独立 = i=1 、 Li (β) i=1 n ∏ 、全体 尤度関数 ( ai exp(β1 + β2 xi ) 1 + exp(β1 + β2 xi ) )yi ( 1 1 + exp(β1 + β2 xi ) )ni −yi 6 / 15 最尤法 回帰 回帰 当 評価 回帰 例 対数尤度関数 ▶ 全体 特定 対数尤度関数（定数項 省略） log L(β) = log = = n ∑ i=1 n ∑ ( log n ∏ 、 Li (β) i=1 exp(β1 + β2 xi ) 1 + exp(β1 + β2 xi ) )yi ( 1 1 + exp(β1 + β2 xi ) )ni −yi log πiyi (1 − πi )ni −yi i=1 ▶ 先 、R 計算 7 / 15 最尤法 回帰 回帰 当 評価 回帰 例 問題 設定 例 2：小選挙区 当落 選挙費用（架空 ） 選挙費用（100 万円単位 測定） 、小選挙区 ？ 程度影響 ？ 当落 影響 ▶ 応答変数 r (response, result)：当選 ▶ 説明変数 x (expenditure)：0 以上 連続値（測定単位=100 万円） → 1、落選 0 回帰 当 8 / 15 最尤法 回帰 回帰 当 評価 回帰 例 回帰 問題 ▶ 回帰 πi = Pr(ri = 1) = 定式化： exp(β1 + β2 xi ) 1 + exp(β1 + β2 xi ) Ri ∼ Bern(πi ) 試行 成功確率 ▶ πi ▶ ri , (i = 1, 2, . . . , n) 互 ▶ 推定 β2 母数：β1 独立 9 / 15 最尤法 回帰 回帰 当 評価 回帰 例 尤度関数 ▶ 特定 観測値 i 関 尤度関数 Li (β) = Pr(ri |β, x) = πiri (1 − πi )1−ri ( )ri ( )1−ri exp(β1 + β2 xi ) 1 = 1 + exp(β1 + β2 xi ) 1 + exp(β1 + β2 xi ) ▶ ri 互 独立 、全体 L(β) = n ∏ 尤度関数 、 Li (β) i=1 ▶ ▶ β = [β1 , β2 ]T x = [x1 , . . . , xn ]T 10 / 15 最尤法 回帰 回帰 当 評価 回帰 例 対数尤度関数 ▶ 全体 特定 対数尤度関数 、 log L(β) = log = = n ∑ i=1 n ∑ ( log n ∏ Li (β) i=1 exp(β1 + β2 xi ) 1 + exp(β1 + β2 xi ) )ri ( 1 1 + exp(β1 + β2 xi ) )1−ri log πiri (1 − πi )1−ri i=1 ▶ 先 、R 計算 11 / 15 最尤法 回帰 回帰 当 評価 数値計算 最大値 求 方 ▶ 理想：尤度関数 推定 求 ▶ 問題：微分 母数 微分 後、簡単 解 求 、最大値 限 数値計算 (numerical methods, computation) 最大値 「探 」 ▶ 二分法 ▶ 勾配法 ▶ 法（ ・ 法） ▶ etc. ▶ 12 / 15 最尤法 当 回帰 回帰 当 評価 評価 的中率 計算 回帰 ▶ ▶ ▶ 率」 本当 確率 予測 知 使 、1 1. 確率 2. 、結果 0 数値 ▶ 予測 ▶ 割合 当 基準点 0.5（当 ▶ 結果 予測：各観測値 超 観測 1 「確 1 0 予測 1、 0 結果 同 良 指標 半分 割合 当 計算 ） 13 / 15 最尤法 当 回帰 回帰 当 評価 評価 ROC 曲線 ▶ ▶ ▶ ▶ ▶ ▶ ▶ ROC (receiver operating characteristic, 受信者操作特性) 曲線 縦軸 「真陽性」 割合 (感度 [sensitivity])、横軸 「偽 陽性」 割合 (1− 特異度 [specificity]) π>c 予測値 1、π ≤ c 予測値 0 c 1 0 変化 、曲線 描 応答変数 完全 ：曲線 45 度線 ROC 曲線 左上 、予測精度 高 ROC 下側 面積 (AUC) 大 「良 」 14 / 15 最尤法 当 回帰 回帰 当 評価 評価 赤池情報量基準 (AIC) ▶ Akaike Information Criterion (AIC) ˆ + 2k AIC = −2 log L(θ) ▶ ▶ k 自由 母数（ ） 数 AIC 小 「良 」 ▶ 対数尤度 最大値 大 ▶ 母数 数 少 良 良 15 / 15
© Copyright 2024 ExpyDoc
![統計モデリング入門 筑波大 (大塚) 集中講義 [10]](http://s3.expydoc.com/store/data/007630901_1-794cbbb525023120ca19a90e9369261c-250x500.png)
