EASEプロジェクトの現状と展望 JEITAソフトウェアエンジニアリング技術専門委員会大阪大学井上克郎プロジェクトの概要ソフトウェア開発の現状と問題点  ソフトウェアの信頼性 多数のバグを含んだソフトの流通 一度ダウンすると多大な社会的損失  ソフトウェアの生産性 開発期間の短縮要請 人海戦術による限界経験的なノウハウやアドホックな手法，ツールを使う場合が多い  個別要素技術研究の他に管理・統合技術研究が必要  科学的手法に基づくソフトウェア開発   多くの他の科学、工学分野では、計測して定量化・モデル化し、評価を行い、それをフィードバックして改善を行うのが普通（フィードバックループ）ソフトウェア開発の分野では？  30年に亘って，いろいろな技法，システム，ツールなどの提案がなされたが，その多くは消え去り，十分な評価も行われていない．  評価するために手間暇かかる →歴史で評価（ICSE n-10) EASEプロジェクトにおけるエンピリカルソフトウェア工学定量的なデータに基づいてソフトウェアの生産性や品質の向上を目指す諸技術  データの収集が必須  実際の開発現場のデータ オープンソース開発プロジェクトのデータ  エンピリカルソフトウェア工学に関する雑誌、国際会議、研究会などができている Journal by Kluwer Empirical Software Engineering International Symposium on Empirical Software Engineering 第1回：2002年，日本（奈良）第2回：2003年，イタリア（ローマ）第3回：2004年，米国（ロサンジェルス）・・・ ISERN （International Software Engineering Research Network）  米国，ドイツ，オーストラリア，日本をはじめとする世界12カ国の産学の研究者により1993年に創設  会員制の形態をとり，年一度の会合  ソフトウェアの開発・利用・管理を支援する技術について，理論面での議論と共に，技術の有用性を確かめる実証実験も行う e-Society:基盤ソフトウェアの総合開発    15年度予算における科学技術振興費 35,916億円（前年度35,444）：472億円増ライフサイエンス、情報通信、環境、エネルギー、ナノテクノロジー・材料、製造技術、社会基盤、フロンティアの各分野情報通信分野の施策   ユビキタスネットワークの研究開発（総） 25億 e-Society基盤ソフトウェアの総合開発（文） 12億→10億(16 年度)    戦略的情報通信研究開発推進制度（総） 25億超高速コンピュータ網形成（文） 20億ビジネスグリッドコンピューティング（経） 07億高い生産性を持つ高信頼ソフトウェア作成技術の開発（代表片山卓也）テーマ一覧片山卓也（北陸先端大）湯淺太一(京都大) 中島達夫(早稲田大) 高信頼組込みソフトウェア構築技術石川裕(東京大) 次世代高性能コンピュータシステム上の高信頼ソフトウェアシステムの開発支援技術米澤明憲(東京大) 大堀淳（北陸先端大）プログラム自動解析に基づく高信頼ソフトウェアシステムの構築技術鳥居宏次(奈良先端大) 井上克郎(大阪大) 松本健一(奈良先端大) データ収集に基づくソフトウェア開発支援システム武市正人(東京大) 高信頼構造化文書変換技術阿草清滋（名古屋大）鰺坂恒夫（和歌山大）高信頼WebWareの生成技術情報の高信頼蓄積・検索技術の開発（代表村岡洋一）喜連川優（東京大）先進的なストレージ技術およびWeb解析技術村岡洋一（早稲田大）インターネット上の知識集約を可能にするプラットフォーム構築技術鹿野清宏（奈良先端大）河原達也(京都大）猿渡洋（奈良先端大学）武田一哉 (名古屋大 ) 河原英紀（和歌山大学）ユーザ負担のない話者・環境適応性を実現する自然な音声対話処理技術従来の研究プロジェクトとの違い  社会に役立つプロダクトを作り、産業を活性化するようなインパクトを与える  産学連携が必須事項  人材養成  研究プロジェクトとして、論文、特許も「データ収集に基づくソフトウェア開発支援システム」 EASEプロジェクト 1. エンピリカル環境の提案と構築 2. エンピリカル環境の配布・実プロジェクトへの適用 3. エンピリカルデータやその分析による知見の蓄積適用先の組織の生産性、品質の向上 4. プロジェクトのホームページ： http://www.empirical.jp/ プロジェクトの推進方法：ラボ方式による技術移転実データ産業界結果の検証プロジェクトラボフィードバック大学モデル、知見プロジェクトの構成中核大学 •奈良先端大 •大阪大プロジェクト・ラボ -専任スタッフ中核企業 -大学兼任者 •NTTソフトウェア -企業出向者 •日立製作所 •日立公共システム •SRA 協力大学 -国内・国外大学協力企業 -国内・国外企業協力組織 -SEC … エンピリカルSEラボ in千里     産官学の交流の拠点エンピリカル環境の各種ツールの開発拠点企業からの出向研究者大阪・千里中央・千里ライフサイエンスセンター11階  大阪空港、新大阪駅までそれぞれ15分程度  奈良先端大東京オフィス（田町駅前）でも活動国際アドバイザー  Prof. Victor R. Basili  Prof. Dr. Dieter H. Rombach  Prof. Barry W. Boehm  Prof. Ross Jeffery （米国・メリーランド大学教授，フラウンホーファセンター・メリーランドセンター長）（ドイツ・カイザースロータン大学教授、フラウンホーファ実験的ソフトウェア工学研究所所長）（米国・サザンカリフォルニア大学教授）（オーストラリア・ニューサウスウェールズ大学教授）エンピリカル環境エンピリカルソフトウェア工学  目的に応じた定量的なデータに基づいてソフトウェアの生産性や信頼性向上を行う諸技術  科学的根拠に基づいてプロジェクトの改善を行うには必須エンピリカルソフトウェア工学の３つのフェーズ収集分析改善エンピリカルソフトウェア工学の規模による分類規模巨大本プロジェクトのターゲット大既存の技術小収集分析改善本プロジェクトのターゲット１～何万というプロジェクトを扱うことができるエンピリカルソフトウェア工学支援環境エンピリカル環境ターゲット選定理由      （実用化はまだまだだが）個人や組織を対象としたソフトウェア工学の技術は多数ある多数のプロジェクトまでを対象としたソフトウェア工学技術（Mega Software Engineering）まだない組織の利益に直結する結果が得やすい基礎となる技術の種はいろいろある計算機のパワーアップ、ネットワークの高速化によって、実現できそうな気配本プロジェクトの目標 1. 2. 3. 4. エンピリカル環境の構築エンピリカル環境の配布・実プロジェクトへの適用エンピリカルデータやその分析による知見の蓄積適用先の組織の生産性、品質の向上エンピリカル環境の概念組織内で情報のやりとり外部に流す必要なし収集分析インターネット（パブリックドメインソフト、オープンソース開発データ）改善関連会社ソフトウェア開発会社エンピリカル環境の実現（１）収集に関する実現方針  目標を決めてから収集するデータを決める（理想的しかし組織によって目標は異なる）      → 取れるデータ全てを取っておく（現実的アプローチ）プロダクトデータを中心に収集（プロセスデータはプロダクトデータから計算して得る）できるだけ簡単で、開発作業者の負担なく収集できる仕掛け人為的な操作の少ない生データを収集できるだけリアルタイムに収集既存の開発環境と連携しつつ種々なプロジェクトに対応   小規模 XPなど非ウォーターフォールプロセス（２）分析に関する実現方針段階的実現（簡単なものから順に）困難５． … ４．再利用部品・知識抽出検索３．プロジェクト分類、発展解析２．複数プロジェクトにまたがるメトリクス容易１．プロジェクト内のプロセス・プロダクトメトリクス（３）改善に関する実現方針  目的に応じたフィードバック 様々な仕掛けが必要当面は収集データおよび１，２の分析結果を視覚的に表示するブラウザ Empirical Project Monitor EPM エンピリカル環境の一部として開発中  プロジェクトの制御に有益な作業情報を収集、分析、表示  データ収集源  構成管理ツールCVS メーリングリスト管理ツールMailman 障害管理ツールGNATS EPMのアーキテクチャ分析Tool群開発者管理者個別プロジェクト、プロジェクト間メトリクス計測 PostgreSQL(Repository) 標準エンピリカルSEデータ形式（XML）開発者管理者構成管理履歴メール履歴障害履歴 CVS, Mailman, GNATS, (WinCVS, CorporateSource) 既存の開発環境その他: メトリックス予測他ツールのデータなど EPMの特長オープンソース開発に使われているツール利用 → 容易に導入可能  データ収集の負担 → 簡単な規約で可能  プロダクトデータ（例えば1日1回CVSに保存） 連絡はメールで、障害は管理ツールで記録を残す  他のツールから標準エンピリカルSEデータ形式への変換容易 EPMの適用対象  大規模プロジェクト 情報の共有がリアルタイムで可能 管理の負荷が低減 人為的なデータ操作が入りにくい  小規模プロジェクト 今まで手間等の問題で管理しにくかったプロジェクトにも適用しやすい いろいろなプロセス（XPなど）や組織をまたがる分散開発にも適用可能 Empirical Project Monitor の機能 EPMの分析ツール  個別分析 ソースコード規模 障害解決時間 累積・未解決障害件数/平均障害滞留時間，ほか  関連分析 更新/参照数 更新・障害報告/メール投稿数 更新と障害件数，ほか個別分析(ソースコードの規模の推  プロジェク移) トの進捗状   況が把握できる類似プロジェクトを参考に予実管理もある程度可能になる詳細見積もりとスケジュールから予定作成も可能ソースコード規模の推移（3ヶ月）ソースコードの規模推移オープンソース開発プロジェクトnkf 累積・未解決障害件数/平均障害滞留時間関連分析(更新と障害件数)  障害件数の推移  CVSの更新時期を線で示し，バージョンごとの障害状況を確認できる関連分析(更新・障害報告とメール投稿  メール投稿数とCVSの更新時期、障害発生・解決時期の関連数) CVS詳細情報  更新一覧  CVSの更新情報を一覧できるメール詳細情報  トップメールトピックス一覧   議論の活発な話題を確認できるトピックはサブジェクトからML名、”Re:”を除いて作成 EPMの発展分析や改善に関する機能拡張より深い分析や解析を行い、組織の知識蓄積する  より手軽に知識が取り出せて、有効利用されるようにする  Code clone detection Component search Metrics measurement Product data archive (CVS format) Process data archive (XML format) Format Translator Managers Corporate Source Developers GUI Project categorization Versioning (CVS) Format Translator Mailing (Mailman) Format Translator Issue tracking (GNATS) Cooperative filtering EPM（開発中） Format Translator Other tool data Project x Project y Project z ... エンピリカル環境拡張機能利用のシナリオ (1) プロジェクトXの進捗予定 1 実際のプロジェクトXの進捗 2 E W A X Y P Xの類似プロジェクトを探す - プロジェクト分類技術 - 協調フィルタリング C T Q V 拡張機能利用のシナリオ(2) 3 同類の再利用率 Xの再利用率 - コードクローン検出 4 ソフトウェアの再利用を促進させる - ソフトウェア部品検索エンジン期待される効果社内的な再利用やオープンソースの利用でプログラムの生産性が劇的に上がった  管理しきれなかった膨大な社内資産が、見通しよく整理できた  過去の同類のプロジェクト情報を有効利用して、コスト管理が厳密になった  蓄積した欠陥情報を利用して、信頼性を大幅に改善された  分析技術（1）コードクローン検出：（ソースコード中に存在する類似したコード片） NetBSD 1.5 Linux 2.4.0 FreeBSD 4.0 FreeBSD 4.0 Linux 2.4.0 NetBSD 1.5 分析技術（2）クローンに基づくソフトウェアシステムの類似度分析技術（３）協調フィルタリングに基づく類似プロジェクトの発見とメトリクス予測   ソースコードA と「テスト済みソースコードB，C，D」との間で類似度を計算する「B，C，D のバグ数」と「類似度」から「Ａのバグ数」を予測する．言語行数複雑さ実装者のスキルバグ数ソースコード A Java 1000 非常に複雑 (9) 低い (4) 予測値？ 37 ソースコード B Java 1100 複雑 (7) 低い (3) 38 類似度：高（0.8）ソースコード C Java 700 非常に複雑 (9) 低い (4) 33 類似度：高（0.7）ソースコード D C++ 2000 普通 (5) 高い (7) 48 類似度：低（0.2）分析技術（４） Javaプログラム検索エンジンまとめまとめ EASEプロジェクトの概要  エンピリカル環境の概念の提案  エンピリカル環境の一部としての Empirical Project Monitor EPMの紹介  導入の壁が低い いろいろな環境に適応可能  EPM EPMの拡張の方向性 より深い分析と知見の抽出エンピリカル環境エンピリカル環境導入のメリット（１） まだプロジェクトの計測を行っていない場既存の開発環境と連携して手軽にプロ合ジェクトのモニターができる プロジェクトの異常検出 過去や予想との比較  プロジェクトの蓄積が容易 どんなプロジェクトでも将来に残せるエンピリカル環境導入のメリット（２）  全社的に統一的なデータをリアルタイムで揃えすでに計測を行っている場合られるようになる  個人の目標と比べて  部署やプロジェクトの間の比較  他社と比べて、海外と比べてどうか？  エンピリカルデータの統合により、情報の共有や再利用が（個人の経験や勘に頼らずに）自動的に行えるようになる  似たようなプロジェクト、似たようなソフトウェア開発での知見の発掘、重複作業の排除プロジェクトの今後スケジュール  現在 EPMα版、数社で適用中  今月末 プラグイン化したEPMのリリース 分析ツール（SRGM)の追加 2月に一度の頻度で研究会開催中＠田町  SECとの協力、役割分担  プロジェクトデータ収集（SEC) データの分析方法