多変量一般化リッジ回帰モデルにおけるリッジパラメータの選択法広島大学大学院理学研究科博士課程前期 (2年) 数学専攻永井勇目的・動機 • 多変量線形回帰モデルにおいて説明変数間の相関が高い ⇒最小二乗推定量 (LSE)の分散が大 ⇒単変量の場合には他の推定法が提案 ⇒その手法を多変量に拡張 – 特に情報量規準によるパラメータの推定法の拡張 2 目次 • 一般化リッジ回帰モデル – モデルの拡張 – リッジパラメータ推定法の拡張 • 情報量規準による推定 • その他の推定法による推定 – 検定統計量との関係 • シミュレーション • 参考文献 3 多変量線形回帰モデル • 目的変数行列説明変数行列ただし誤差行列ただしは互いに独立に平均で共分散行列の分布に従っている未知回帰係数行列 4 最小二乗推定量 (LSE) の問題点 • のLSE ；説明変数間の相関が高い → の固有値が小さい →推定量の分散が大別の推定方法が必要 5 多変量リッジ回帰モデル • 単変量リッジ回帰モデル (Hoerl & Kennard, 1970) のモデルへリッジ推定量 (Ridge Estimator : RE) 6 平均二乗誤差 (MSE) • 多変量単変量のとき 7 パラメータの推定法と問題点 • 推定法 Mallowsの規準などを最小にする手法など • 最適なパラメータは？ ←繰り返し計算が必要一般化リッジ推定 8 多変量一般化リッジ回帰モデル • ；なる直交行列の固有値が在る • 一般化リッジ推定量 (Generalized RE : GRE) 9 モデルの書き換え • LSE； RE； GRE； 10 リッジパラメータの推定法 • MSEを小さくするパラメータ ⇒ で最小の各行が従っている分布の共分散行列の行目のベクトル未知パラメータを含んだ形で陽に求まる未知パラメータに直接推定量を代入(Plug in Estimator) MSEの推定量を最小に別の推定法 11 (情報量規準の最小化に対応) 多変量一般化リッジ回帰での • ⇒最小にする規準の推定量を構築を求める Lemma 1. Corollary 1.任意の行列，行列 12 Lemma 2.任意の行列，行列 13 • 基準化した残差平方和 • Lemma 2より 14 • のモデル • のモデルへ 15 最小にすべき関数は？ • MSEの推定量 ( 規準)を構築 ⇒ に依存している部分・・・ ⇒ を各に関して最小 REの場合 16 多変量の場合のパラメータの選択法 • を最小にするは • 誤差に正規性を仮定すると,MSEの不偏推定量となるを用いる推定法 17 未知パラメータに直接代入する方法 1. MSEを最小にするに直接代入 (PI) (Hoerl & Kennard, 1970) 2. (LSEの行目) という反復を用いる (IT-2) (IT-1=PI) (Hoerl & Kennard, 1970) 18 他の推定法 3. 2の収束先 (Hemmerle,1975 の拡張) (IT-∞) 収束する⇒ の解 4. PC (Lott, 1973) 19 検定統計量との関係 • V.S. 検定統計量を棄却実現値ｃの値 p LSEを縮小 or 0 LSEを縮小 or 0 IT-∞ 4p LSEを縮小 or 0 PC 2p LSEのまま or 0 20 シミュレーション • 比較方法それぞれの推定法での推定値；の平均により比較（反復回） 21 22 23 まとめ • REやGREの多変量モデルへの拡張 • 多変量一般化リッジ回帰モデルでの情報量規準の提案 – 最適なパラメータが陽に求まる – 他の陽に求まる手法の拡張 (PI,IT-2,IT-∞,PC) • 手法の比較 – サンプル数が少ない場合 ; – ある程度大きい場合 ; IT-∞ 24 参考文献 1. Hoerl, A. E. & Kennard,R.W.(1970).Ridge regression : biased estimation for nonorthogonal problems. Technometrics , 12 ,55-68 2. Lawless, J.F. (1981). Mean squared error properties of generalized ridge estimators. J. Am . Stat . Assoc ., 76 ,462 – 466 3. Mallows, C. L. (1973).Some comments on . Technometrics , 15 , 661-675 4. Walker, S.G. & Page, C. J.(2001).Generalized ridge regression and a generalization of the statistic. J. Appl. Statist.,28,911-922 5. Yanagihara, H. & Satoh, K.(2008).An unbiased criterion for multivariate ridge regression. TR No. 0804, Statistical Research Group, Hiroshima University. 25 ご清聴ありがとうございました発表終了 26