)[17] ε ˆ k (D) = − H n ! ln fˆk,i (xi ) (10) Proposed Entropy i=1 n 1 Estimator z p+2 εkε = f (z) + Cε2 + O(ε4 ) pProposition 2 p+4 cp ∇ f (z)ε + O(ε ) p f (z)ε T+ - 05 p nc ε 4(p/2 + 1) p qz (ε) ε [17] ∈ 確率質量関数の二次展開と単回帰に基づくエントロピー推定 ε& (11) 2 2 n∇ f (z) n p 2 p+2 p+4 3. +Proposed Entropy Estimator ∇f (z) O(ε ) cpdx C= Yε = 日野英逸（筑波大），越島健介（リクルート），村田昇（早稲田大） q (ε) = f (z)ε + c ∇ f (z)ε + O(ε ) 4(p/2+1) z p osition 1 z ε + 1) 4(p/2 2 2 p+2 p+4 X = ε ε に含まれるサンプル点数の比 ε qzp•(ε) (11) 4 qcエントロピー推定量として，従来は一定半径 /n c p εp ∇ε f (z)ε kεp+2 + O(ε ) zp(ε) p+ε1)f (z) n + O(ε 1 ! ) ˆε (z) = n p/nで近似した確率質量関数の一次展開による密度推定量 2 p+2 p+4 Y f k X ˆ ˆ 率 " H (D) = − ln f (x ) (2) (11) p i ) = cp f (z)ε + cp ∇ f (z)ε + O(ε ) Proposition 1) z 2 kε (11)14(p/2n +i=1 4/n q (ε) k z ε = f (z) + Cε + O(ε ) 利用されていた．! q (ε) ε p z nc ε ε (11) c p εp (12) kε が p ncp ε D kε C= ● Y3. 1ncp Leave ε = εp 4(p/2+1) One Out Estimator with Least −10 Y: f(z) ≃Ykfε(z) CXε X2 (13) 4 4=+ f (z) + Cε + O(ε ) (12) (13) p Y とみなすことで，曲率情報 Xncp ε 2 Yεn) ≃ f3(z) + CX n∇ fi (z) ε kε xi+l − xi , C (1 =< i < +l < = 4(p/2+1) = Y(3) ε = nc εp p Y ≃ f (z) + CX (13) (z) + CX (13) ε ε ε X ε = ε2 ε 4 を取り込んだエントロピー 3 l spacing Y X 3 3 Estimator ave One Out with Least Squares 推定量を提案する εYε ●●● ●● ● ●● ● ● ● ● ● ● ●● ● ●● ●● ● ●●● ● ● ●● 0.18 KH (x) = ● "n # 2 (13) ● ● ● 0.16 n−l ! X) p ● ● 4 X: epsilon^2 ● ● ● ● ● d=1 ● ● 0 5 10 Gaussian Distribution Mean: 0,Std Dev: 2 Inspection Point: 0.2 κε (xd ), Y x = (x1 , . . . , Density Estimates KDE : 0.186 Proposed : 0.195 True : 0.198 ● ● ● 6 ● 8 1 Yε (x ≃ i+l f (z)− +xCX (13)Least Squares 3) H X ˆ l (D) = ε Y ln ) (4) 3. 1 Leave One Out Estimator with i Leave One Out Estimator with Least Squares n i=1 timator with Leastl Squares −5 x ●● 0 0.10 dnorm 0.00 0.22 0.24 ● 0.20 24 εcing 0.20 Yε ≃ f (z) + CXε c p εp n p p+4 2 • qz二次展開をして，複数の半径 kε cp ∇2 f (z)εp+2 n∇ f (z) kε 4) p 2 (ε) = c f (z)ε + + O(ε p kε /n ε Cε C q= z (ε) pY (12) ε =+ 1)= f (z)c+ 4(p/2+1) 4(p/2 + psample-spacing ncO(ε εp ) p ncp ε 3 (11) において成立する近似式 2 ε 4 n ! R ) + Cε +ε kO(ε ) 4X ∈2(12) 1 2 ε ˆ 4f (z) n∇ k fκ (x) = KH (x − xi ) ε = f (z) + Cε +< O(ε ) < (12) C = Y = n ε p p < nc n i=1 4(p/2+1) ncp ε Dp ε=X{xi }i=1 x1 = x 2 = · · · = xn p (11) kkε /n cp ε ε z (ε) 2 Y = ε2qと ε 4 ε をXε = n∇ の回帰式 p f (z) kε l ncp ε n p 1 κε (x) = 1{|x| < ε} = 2