Trading Convexity
for Scalability
Ronan Collobert, Fabian Sinz,
Jason Weston, Léon Bottou
発表：藤巻遼平（NEC）
ざっくりした内容
(Transductive) SVMのHinge Loss → 凸で計算的にいい!!
でも・・・
ほんとに凸な損失関数は識別にいいの?
スパース性がいまいちで大規模になるとつらくなる
損失関数の凸性を捨てて，凹凸損失を利用で識別率アップ!?
スパース性が高まってSVMのすけーらびりてぃーもアップ!?
Key Word
SVM, Convexity, Scalability, Hinge Loss,
Ramp Loss, ConCave-Convex Programming (CCCP)
Concave-Convex Procedure
評価関数が凹凸に分解できる場合を考える
各イタレーションでJは減少
Non-Convex SVMs
この辺りはnot SV
この辺りもSV
識別境界
Ramp Loss:
ちなみにここでは微分不可
普通SVM:
微分すると・・・
Ramp Loss にすると境界面から遠いのはSVじゃなくなる→ おぉ！なんてすぱーす
Non-Convex SVMs
Non-Convex SVMs
βの初期値をどう選ぶ?
•全部0
一回目のイタレーションが
Hinge Loss SVM
これはありがたくない
•訓練データをちょってHinge Loss
SVMにかけて，その結果を利用
なんとなくロバストだ！
訓練のスピードも速いぞ！
Result
Result
USPS+N
Adult
Result
USPS+N
Adult
Result
CCCP-Transductive SVM
SVMLight-TSVM
計算量：
∇TSVM
CCCP-TSVM
？
Result: small data base