第16回 「追跡調査・評価」分科会 資料７ プロジェクトのアウトプットを測るための 新 な指標 検討 新たな指標の検討 １ 目的 １．目的 これまでに実施した追跡調査の結果を活用して、プロジェクトの成果（アウトプット）を実用化・事 業化 観 業化の観点から測る新たな指標を検討し、今後のプロジェクト運営および評価の改善に反映する。 測 新 指標 検討 、今後 運営 評価 改善 反映す 。 ２．概要 NEDOプロジェクトの技術的成果（アウトプット）は、多くの場合、参加企業等が終了後に行う継続 NEDOプロジ クトの技術的成果（アウトプット）は 多くの場合 参加企業等が終了後に行う継続 的な研究開発等の活動を通じて初めて実用化される。即ち、プロジェクト終了から、そのアウトプッ トが実用化され社会・経済的効果として具現化するまでの間には、時間等の面でのギャップがあ る 従 て 確実にアウトプ トを実用化 と なげるために る。従って、確実にアウトプットを実用化へとつなげるために、NEDOはプロジェクト期間中に達成 はプ ジ クト期間中に達成 すべきマイルストーンを明確化しておく必要がある。 追跡調査においては、調査項目のひとつとして、プロジェクトで開発した技術が参加企業の売上 跡調 、調 目 、 開発 技術 業 売 に繋がったか否かを把握している。そこで本情報を活用して、プロジェクトのアウトプットを実用化の 観点から測るための新たな指標の検討に着手したので、現状を報告する。 ２－（１） 概念図 1 狙い ①何を達成すれば 実用 ①何を達成すれば「実用 化技術として目処が立っ た」と言えるか？ ② ③ 開発した技術を上市 ②・③ 開発した技術を上市・製 製 品化に繋げるために、プロジェ クトでは何を達成すべきか？ 民間企業等 社会・ 経済 ＮＥＤＯ ＮＥＤＯプロジェクトの特徴 社会的・ 経済的効果 経済的 社会的 必要性 ③上市・ 製品化 ノウハウ ウ ウ 人的資源 ②継続的な 研究開発活動 NEDOプロジェクト NEDOプ ジ クト ①実用化技術 とし としての目処 目処 研究開発予算 目標設定 事後評価 中間評価 インプット 成果((アウトプット) 成果 アウトプット) 本資料で示す 取り組み ①アウトプット指標： 終了時点における1) 達成段階､2) 特許出願数、 3) 論文数、4) NEDO事後評価点 追跡調査（55年間） 追跡調査（ 効果( 効果(アウトカム) アウトカム) ②追跡調査結果： 1) 継続的な取り組み、2) 実用化、商 用化(売り上げ等)の状況 アウトプット指標と追跡調査との比較分析 2 ３．今回使用したデータ プロジェクト終了時点の各種アウトプット指標（事後評価での実用化見通し評点を含む）を、追跡調査 プ ジ クト終了時点の各種アウトプット指標（事後評価での実用化見通し評点を含む）を、追跡調査 で把握した終了後5年間の売上状況と比較した。 ● 事後評価 「実用化の見通し」評点 プロジェクト終了時のアウトプットの指標 ◆ 事後評価時点の事業原簿※１に記載された特許出願数、査読付 き論文発表数 ● 事後評価における実用化見通し評点 ※１ プロジェクト立ち上げから終了までの経緯や成果等をまとめた 資料。事後評価時に評価委員に提示される。 ◆ 特許出願数 ◆ 査読付論文発表数 ★ 終了時点の研究開発段階 ★ 平成13年度～15年度終了プロジェクト※２計７３件の参加企業延 べ408社 に対する追跡調査（アンケート）結果より、終了時点の 研究開発段階および売上の有無 ※２ プロジェクト終了後5年間の追跡調査対象期間が完了したプロ ジェクト。但し平成15年度終了プロジェクトは本年度が最後の 調査年度であるため、8月末時点までに回収した企業のデータ を使用。 比較分析 終了後５年間の実用化状況の指標 ★ 売上の有無 事後評価はプロジェクト単位で行われるが、一方で追跡調査結果は個別企業を対象としている。 追跡調査結果をプ ジ クト単位で整理するため 以下の指標を設定 追跡調査結果をプロジェクト単位で整理するため、以下の指標を設定 「平均達成段階」 ：初回の簡易追跡調査で把握した「現状の研究開発段階」の参加企業間の平均 「売上企業率」 ：参加企業のうち、終了後５年以内に一度でも売上を出した企業の割合 3 ４．事後評価結果と売上企業率の比較 １） ＮＥＤＯのプロジェクト評価における「評点」の説明 ＮＥＤＯのプ ジ クト評価における「評点 の説明 外部有識者からなる研究評価委員会が評価。アウトプットである事後評価書は、「評価コメント」および「評 点 等により構成される 点」等により構成される。 １) 各委員が４つの評価軸に対し、A（優），B（良），C（可），D（不可）の４段階の評点付け ＜４つの評価軸＞ １．事業の位置付け・必要性 ２．研究開発マネジメント 研究開発 ネジ ト ３．研究開発成果 ４．実用化、事業化の見通し ２) A=3，B=2，C=1，D=0として数値に換算。 最終的に各委員の評点を平均 例 １．事業の位置付け・必要性 2.6 ２．研究開発マネジメント 1.9 ３．研究開発成果 ４．実用化、事業化の見通し （実用化見通し） 0.0 2.1 1.4 1.0 2.0 平均値 3.0 4 ４．事後評価結果と売上企業率の比較 ２） 事後評価結果と売上企業率の比較 各プロジェクトについて、事後評価における「実用化・事業化の見通し」評点と、プロジェクト毎の売上企業率と を比較したところ、評点が1点未満であったプロジェクト群については、4社中3社の売上企業率が0（残り1社は 0 6）であった （左図参照） 0.6）であった。（左図参照） 一方、事後評価では、「研究開発成果」と「実用化見通し」のふたつの評点の合計が3点未満のプロジェクトを 不合格、4点以上のプロジェクトを優良と見なしている。この区分毎に、終了後5年以内に上市・製品化に至った 企業の割合を整理したところ 不合格プロジェクトでは割合が低く 優良プロジェクトでは高かった （右図参照） 企業の割合を整理したところ、不合格プロジェクトでは割合が低く、優良プロジェクトでは高かった。（右図参照） 本 ※図は、平成 年度・ 年度終了プ ロジェクトの参加企業を母数とする 13 14 上市・ 製品化に至った割合 各プロジェクトの売上企業率 ● エネルギー分野プロジェクト ▲ 産業技術分野プロジェクト 18.0% 16.0% 14.0% 8.0% 11.7% 6.0% 4.0% 4.1% 2.0% 0.0% 事後評価での実用化見通し評点 16 2% 16.2% 12 0% 12.0% 10.0% 「研究開発成果」評点 + 「実用化見通し」評点 不合格 ＝ 3点未満 合格 優良 ３点～４点未満 ４点～5点 5 ５．プロジェクト終了時の平均達成段階と売上企業率の比較 １） 平均達成段階とは 下表の各段階の定義を追跡調査アンケートにて対象企業に提示し、自社が該当する段階を択一式で選択。 アウトプット(成果) アウトプ ト(成果) イメージ 番 号 段階 定義 0 (中止) 継続的取り組み 中 の中止 1 研究段階 基礎的/要素的な 研究 研究開発 部門 現象の新規性や性能の進歩性等について把握。 2 技術開発 段階 製品化/上市を視 野に入れた研究 研究開発 部門 無償サンプル作成やユーザーへのマーケティング調査に 無償サ プ 作成や ザ の ケテ グ調査に 製品化/上市の判断材料 より、技術やコストの優位性、量産化技術の課題等につ となる研究結果等 いての把握。 3 製品化 段階 製品化、量産化 技術の確立 事業部 事業部門 製品化への社内承認、試作機の製造、所管省庁/監督団 有償サンプル、量産試作 体による販売承認/検査、製品を市場に投入するための の実施、製造ライン設置、 設備投資の実施等。 原価計算等 4 上市段階 市場での取引 活動主体 活動の内容 プロジェクト成果を活用し、プロジェクトの目的を果たす為 の継続的活動を中止(本来の目的と異なる分野への転用 研究テーマ中止の決定 等を行 ている場合も同様) 等を行っている場合も同様) 事業部門 (販売部門) 社内レポート、特許、論文 等 製品ラインアップ化(カタロ グ掲載)、継続的な売上発 生等 「プロジェクト終了時の平均達成段階」 ＝追跡調査で把握した終了翌年度の段階を左端の数値に置換し、プロジェクト毎に平均 6 ５．プロジェクト終了時の平均達成段階と売上企業率の比較 ２） 結果 プロジェクト毎に、プロジェクト終了時の平均達成段階と、売上企業率を比較した。 その結果、平均達成段階が中止～研究段階に位置するグループＡは、他のプロジェクト群と比較して明らか に売上企業率が低い傾向が見られた。 に売上企業率が低い傾向が見られた 各プロジジェクトトの売上上企業率 また、売上企業率が１であったグループBのプロジェクト３件は、終了時の平均達成段階が3（製品化）以上で あった。 Ｂ ● エネルギー分野プロジェクト ▲ 産業技術分野プロジェクト Ａ （中止） （研究） （技術開発） （製品化） （上市） 終了時の平均達成段階 7 ６．特許出願数、論文発表数と売上企業率の比較 プロジェクト期間中の特許出願数及び論文発表数（それぞれプロジェクト予算額あたりの数）を、終了時の達成 プロジェクト期間中の特許出願数及び論文発表数（それぞれプロジェクト予算額あたりの数）を 終了時の達成 フェーズや売上企業率と比較した。 その結果、特許出願数および論文発表数は、売上企業率との間で明確な相関は見られず、それぞれの数のみ に着目した場合はアウトプット指標としては適切でないことが示唆された。 個々のプロジェクトに着目すると、特に特許出願については殆どの企業が行っていることから、実用化の観点か ら考えると今後は特許の質について検証する必要がある。 バブル直径：PJ中の特許出願数 バブル直径：PJ中の論文発表数 （予算額あたり） 1.2 1 1 各プロジェクトの 売上企業率 Ｂ 0.8 0.6 0.4 0.4 Ａ 02 0.2 Ａ 02 0.2 0 0 0 ‐0 0.2 2 Ｂ 0.8 0.6 ‐1 （予算額あたり） 1.2 1 2 3 4 ‐1 0 1 2 3 4 ‐0 0.2 2 終了時の達成フェーズ 終 時 達成 ズ 終 時 達成 終了時の達成フェーズ ズ ※プロットの位置は前スライドのグラフと同じ 8 ７．技術開発段階に移行した年度と終了後５年以内の売上の有無 技術開発段階に移行した企業の割合 事前準備調査で把握している「各段階の達成予定年度」、およびその後の追跡調査結果から、研究段階を完 了し技術開発段階へと移行した年度を個別企業毎に整理し、プロジェクト終了年度を基準として集計した。 その結果、終了後５年以内に売上を出した企業７７社のうち４９社（６４％）が、プロジェクト期間中に研究段階を 完了しており、5年以内に売上を出さなかった企業と比較して早期に技術開発段階へと移行している事がわ かった。（左図参照） また、プロジェクト期間中に技術開発段階へと移行していた企業82社を母数と見た場合、そのうち５年以内に 売上を出していた企業は６０％（49社）であるのに対し、プロジェクト期間中に研究段階を完了しなかった企業 170社を母数とみた場合、５年以内に売上を出したのは１６％（28社）のみであった。（右表参照） 100.0% 90.0% 80.0% 70.0% 60 0% 60.0% 50.0% 40.0% 30.0% 20.0% 10.0% 0.0% 売上有 売上無 (n=77) (n=175) 49/77社 33/175社 ‐5 ‐4 ‐3 ‐2 ‐1 0 1 2 3 4 5 プロジェクト実施期間 年度（プロジェクト最終年度＝0年） PJ中に 研究段階 完了 PJ中に 研究段階 未完 計 売上 有り 49 社 49 社 28 社 77 売上 無し 33 社 142 社 175 計 82 170 252 ※以下の企業は含まない。 ・売上が無く途中段階で継続的活動を中止した企業 ・該当設問に回答のない企業 ・研究段階を最終目標としている企業 9 ８．まとめ １）考察 今回扱ったアウトプット指標の中で、プロジェクト終了後５年以内の売上を目指す場合のマイルストーンとして 有望なのは、「プロジェクト期間中の技術開発段階への移行」であった。 即ち、早期実用化を目指すプロジェクトを実施するにあたって、NEDOは、プロジェクト立案の段階から技術 開発段階への移行を意識して開発内容を検討し、当該段階の定義である 「無償サンプル作成やユーザーへ のマーケティング調査による、技術やコストの優位性、量産化技術の課題等の把握」 に着手することをプロ ジェクト基本計画に明示することで、実用化・事業化を促進できる可能性がある。 さらに、プロジェクトのアウトプットを実用化の観点から測るための指標としても、技術開発段階の達成状況の 評価が有効ではないかと考えられる。 なお、NEDOは５年以上の比較的長期間での実用化を目指す基盤的な技術の開発も重要視しており、その 運営や評価については、上記とは異なる視点をもって行う事が求められるであろう。 ２） 本取り組みの今後の課題 本資料で示した取り組みは端緒の段階であり、今後は少なくとも以下のような課題を踏まえた追加的分析が 必要と考えられる。 ・対象のプロジェクト（または個々の参加企業）が当初より５年以内の実用化を目指していたか否かの分類 ・プロジェクト実施体制における参加企業間の役割の違いの反映 プ ジ クト実施体制における参加企業間の役割の違いの反映 ・特許や論文の質的分析 10
© Copyright 2024 ExpyDoc
