ESPフォーキャスト調査(2014 年度)の予測評価について

ESPフォーキャスト調査(2014 年度)の予測評価について
平成 27 年 9 月 25 日
公益社団法人 日本経済研究センター
ESP フォーキャスト調査においては、2014 年度を対象に、今回 11 回目となる年度パフォー
マンス評価を行った。具体的には、フォーキャスター計 41 人(2014 年 4 月調査時点)の予測
が実績と対比してどのように評価できるか、また、毎月公表している予測総平均や高位・低位
8 機関平均が同じくどのように評価できるかを調査委員会(委員長:小峰隆夫法政大学教授)
において検討した。検討結果の概要は次のとおりである。
1.総合成績が特に優秀なフォーキャスター
2014 年度予測について、総合成績の対象とした 40 名のうち、成績が特に優秀なフォーキ
ャスターは次のとおりである。
ESP フォーキャスト調査予測における総合成績優秀フォーキャスター(敬称略)
2014 年度(機関名 50 音順)
(株)第一生命経済研究所 新家 義貴
(株)東レ経営研究所
増田 貴司
(株)ニッセイ基礎研究所 斎藤 太郎
(株)日本総合研究所
下田 裕介
BNP パリバ証券(株)
河野 龍太郎
(参考)2013 年度(機関名 50 音順)
インフォーマ グローバル マーケット ジャパン(株)
荒田 健児
(株)第一生命経済研究所
新家 義貴
(株)ニッセイ基礎研究所
斎藤 太郎
富国生命保険相互会社
森実 潤也
三井住友信託銀行(株) 花田 普
2.予測総平均(コンセンサス)等の評価
毎月のとりまとめ結果に掲げている総平均や高位・低位 8 機関平均が、どの程度の予測精
度があるか、フォーキャスターの項目別予測成績順位との関係で見ると、以下のとおり(過
去に遡った結果については参考1を参照)
。総平均は総合で 7 位と 11 年連続で一桁台の順位
であり、安定して良好なパフォーマンスを示していると言える。
総平均及び高位・低位 8 機関平均の評価(2014 年度予測)
低位 8 機関
項目
年
度
四
半
期
高位 8 機関
総平均
対象者数
実質 GDP
1位
32.87
24 位
48.78
38 位
68.25
41 人
名目 GDP
6位
41.55
12 位
44.50
38 位
66.92
41 人
為替レート
32 位
50.56
14 位
45.19
38 位
60.56
40 人
実質 GDP
1位
35.08
21 位
46.65
41 位
70.38
41 人
CPI
31 位
52.17
8位
42.95
36 位
60.86
41 人
失業率
30 位
52.70
6位
41.02
39 位
61.65
41 人
総合成績
7位
44.15
7位
44.85
40 位
64.77
40 人
注: ① 項目欄の総平均、高位8機関平均、低位8機関平均は毎月のとりまとめ結果に掲げている集計結果
である。
② 順位は各項目の評価対象人数における相当順位。
③ 数字は偏差値で、数値は低いほど良い。
1
また、高位・低位8機関の予測値に挟まれた区間は、年度予測の実質GDP成長率、CP
I上昇率については、平均確率分布の結果から見て、調査時点を通じて均してみると総平均
のいわば 50%信頼区間と解釈できる。今回 2014 年度について計算してみると、同区間は 50%
信頼区間よりはやや狭い、40%台の区間であった(参考2参照)
。
なお、今回、参考までに毎月フォーキャスターが提出する予測値の不確実性(主観的な確
率分布)についても評価を試みた。これは予測の精度を評価する際に、より正しい値をより
確信をもって予測されたものを高く評価する仕組みである。各フォーキャスターの確率分布
を平均した平均確率分布(分布のコンセンサス予測)の偏差値と順位は、年度の実質 GDP
成長率で 49.81 と 13 位、CPI 上昇率で 49.62 と 10 位であった。上で計算した 6 指標に、こ
の 2 指標を加えた計 8 指標でみると、コンセンサス予測の総合成績は偏差値が 46.06、順位
は 7 位となり、6 指標の結果とあまり変わらなかった。
[参考]評価方法の概要
(1) 対象項目・・・①年度予測については実質及び名目の GDP 成長率、為替レート(年度平
均値)
、②四半期予測については実質 GDP 成長率(季調済前期比年率)
、消費者物価上昇率
(生鮮食品除く総合、前年同期比)
、失業率(季調値)の計 6 項目。
(2) 評価の基準・・・①、②とも最初に公表された実績値(月次データについては四半期集計
の小数点第 1 位数値)。
(3) 評価の対象となる予測の時期・・・①及び③2014 年 1 月から実績公表直前までの調査分
(実質及び名目 GDP 成長率の場合は 2015 年 5 月まで)
、②各四半期の実績公表直前から 6
ヶ月遡った間の調査分。
(4) 各指標の評価方法・・・各時点のウェイト付き予測誤差平方を平均した上で、その平方根
を求めた。ウェイトは、推計式を用いて、予測時点の違いによる不確実性を均一化するよう
計算した。また、②では、四半期毎に求めたウェイト付き予測誤差平方の平均を、さらに 4
四半期分平均した上で平方根をとった。各項目の計算結果について偏差値(平均 50、標準
偏差 10)を求め(偏差値が低いほど成績が良いこととなる)
、ランキングした。
(5) 予測値がない場合の扱い・・・予測誤差平方の計算の際に、原則として、その月の有効回
答の予測誤差平方平均の 1.5 倍をもって代用した。ただし、年度または四半期でみて回答数
が少ないものについては、評価の対象から除外した。
(6) 総合評価の方法・・・評価対象 6 項目の偏差値を平均し、ランキングした。
(7) 留意事項・・・以下のような点によって、フォーキャスターの評価結果も変わる可能性が
ある点には留意が必要である。①評価方法としては、今回の評価のように予測誤差平方に基
づくもののほかにも様々な方法があること。②実績値の有効数字を小数点第1位としている
こと。③多くの予測項目の中から 8 項目のみを取り上げ、項目による重要性の違いについて
は考慮していないこと。
(8) 参考指標について・・・主観的確率分布については年度の実質成長率と CPI 上昇率につい
て計算した。具体的には、主観的確率分布から累積分布を求め、実績値から求められる累積
分布との乖離の二乗和を計算した上で、毎月偏差値による得点化を行い、期間平均を求めた。
(9)資料・・・評価方法の詳細や関連する分析結果については、当センターHP に掲載される予
定の資料(河越正明「2014 年度 ESP フォーキャスト調査の評価に関するテクニカルノート」
)
を参照のこと。
2
(参考1)これまでの総平均及び高位・低位平均の評価(除く主観的な確率分布)
年度予測
年度
2004 高位平均
総平均
低位平均
2005 高位平均
総平均
低位平均
2006 高位平均
総平均
低位平均
2007 高位平均
総平均
低位平均
2008 高位平均
総平均
低位平均
2009 高位平均
総平均
低位平均
2010 高位平均
総平均
低位平均
2011 高位平均
総平均
低位平均
2012 高位平均
総平均
低位平均
2013 高位平均
総平均
低位平均
2014 高位平均
総平均
低位平均
実質GDP成長率
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
ランキング
偏差値平均
35
60.63
10
44.57
14
45.23
6
41.6
16
46.92
34
56.32
33
68.71
17
46.59
1
29.35
33
65.47
8
43.85
1
34.62
33
71.84
13
46.74
1
21.32
1
31.62
12
44.49
31
60.57
37
64.73
15
46.76
4
34.96
27
53.84
5
39.11
24
50.70
35
62.04
11
46.63
8
42.99
37
62.71
11
43.04
21
49.69
38
68.25
24
48.78
1
32.87
四半期予測
名目GDP成長率
31
66.45
15
47.62
1
33.41
32
64.86
12
45.48
1
29.52
31
70.84
13
47.17
1
26.1
33
61.78
4
38.15
28
56.48
37
66.44
15
47.25
1
36.15
38
62.23
12
44.96
6
40.54
36
64.77
13
46.84
5
38.64
35
64.85
12
44.56
10
43.40
38
66.92
12
44.50
6
41.55
実質GDP成長率
26
52.47
8
41.7
27
55.63
2
38.76
14
45.15
37
66.81
23
53.83
8
42.08
32
62.17
1
30.07
11
45.17
29
71.29
31
73.32
10
47.15
2
26.21
1
23.48
13
45.87
34
73.66
38
75.83
8
42.91
2
33.35
26
51.7
7
42.16
36
64.97
38
67.53
12
44.04
6
40.21
37
65.43
11
44.50
20
48.35
41
70.38
21
46.65
1
35.08
総合評価
CPI上昇率
34
62.15
16
44.53
17
46.19
6
40.47
6
42.1
35
66.82
31
66.37
7
41.91
17
46.78
3
37.04
13
47.47
29
68.32
20
48.85
7
46.93
18
48.49
29
59.36
1
38.11
27
54.68
19
48.62
6
41.89
35
64.53
9
42.49
10
43.67
36
63.56
34
67.57
4
39.24
16
46.92
25
49.25
11
43.42
37
63.74
36
60.86
8
42.95
31
52.17
失業率
35
63.75
11
43.71
15
45.26
27
51.69
13
44.8
31
55.37
28
55.99
4
38.03
30
59.47
25
62.82
6
41.04
13
46.04
28
61.01
1
39.56
21
51.75
33
67.87
16
46.32
29
59.13
35
63.1
5
40.88
21
49.47
35
65.26
15
46.09
10
43.82
36
68.33
3
38.73
5
40.09
36
63.15
10
43.05
18
46.63
39
61.65
6
41.02
30
52.70
36
59.75
5
43.63
15
48.05
5
43.13
8
44.74
35
61.33
30
62.27
6
43.26
13
46.24
21
52.05
9
44.6
17
49.97
27
65.17
7
45.51
1
34.77
17
48.82
3
42.59
32
60.9
38
63.74
6
43.94
6
43.69
31
55.1
4
43.2
27
52.72
37
67.04
6
44.02
1
39.72
35
57.90
7
43.60
30
53.11
40
64.77
7
44.85
7
44.15
(参考2)総平均の信頼区間について(実質 GDP 成長率と CPI 上昇率の年度予測)
年度
2008
2009
2010
2011
2012
2013
2014
実質GDP成長率
平均
標準偏差
53.77
9.43
56.71
18.59
44.35
12.58
48.36
13.07
38.97
14.34
41.52
11.84
43.03
13.52
3
CPI上昇率
平均
標準偏差
51.16
12.10
50.61
13.62
47.58
14.16
50.70
16.07
44.87
12.58
47.94
15.81
48.08
13.91
(注)高位8機関平均と
低位8機関平均の平均
確率分布における
位置(パーセンタイル)
の差分を計算。