使えるメトリクス！ 「予測に基づく定量的管理の実現」 内容 1. データ解析と測定プロセスモデル 2. VBの生産性は高いか？ 3. ワークミックス問題 4. 層別とバラツキの関係 5. ソフトウェアの規模と生産性の関係は？ 6. 生産性要因とモデル化 7. プロセス実績モデル（PPM) 8. 作業効率評価モデル Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 1 自己紹介 氏名： 梶山昌之 略歴: 1981年 日本IBMの製品保証部門に配属。ATMなどの製品保証を担当。また、ソフトウ ェア信頼性の研究を行い習熟S字モデルを発表。 1988年 光磁気ディスクドライブの開発製造部門に配属。品質管理および生産管理に 従事。マレーシアにおいてドライブの製造、テストラインを構築。品質と生産性の向上 に取り組む。 2002年 サービス部門に異動しメトリクス共通化のため多くの企業のデータを分析。FP による計測データの分析のため、某大手運輸系企業に出向し、IT の可視化によるお 客様満足度の向上に取り組む。 2007年 サービス部門にてIT 計数管理のフレームワークを展開。またCMMI L5の取得 に向けて各種のプロジェクト実績モデル(PPM)を開発。 2010年 某大手電力系企業にて、システム開発プロジェクトの可視化・効率化・品質向 上を支援。 2011年 某大手銀行にてFPおよびSLOCベースの見積りシステムを構築 2012年 株式会社DSR取締役副社長。プロフェッショナルコスト評価士（PCEA）の資 格を取得しプロジェクトの定量的管理およびコスト見積りを支援。 2014年 JFPUG役員およびメトリクス活用セミナー講師として活動中。 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 2 衛星の打ち上げコスト予測 従って、200kgの衛星 の打ち上げコストは70 億円です。 * 数値は概念の説明用であり実際の値ではありません。 この判断で よいのだろうか？ Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 3 データ解析と統計解析 データ解析は術である データ 正しいデータ 解析技術 数理統計学 適切な変数 固有技術 ＩTメトリクスの場合、 プロジェクトの特性、 FP、工数、欠陥数などの性質 統計解析は学である Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 4 ソフトウェア開発プロセス改善の枠組みと関連規格 1993 1998 2000 SPICE CMM ISO/IEC 15504 （SPA） CMMI/MA PSM CMMI 2002 ISO/IEC 15939 2005 2014 ISO/IEC 15504 CMMI PSM ISO/IEC 15939 CMMI/MA （JIS X 0141） SPICE: Software Process Improvement and Capability dEtermination ISO/IEC 15504: Software engineering - Process assessment CMMI: Capability Maturity Model Integration SPA: Software Process Assessment PSM: Practical Software Measurement ISO/IEC 15939: Software Measurement Process Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 5 JIS X 0141 測定プロセスモデル 測定に対する要求事項 技術プロセス及び 管理プロセス 情報ニーズ 測定利用者のフィードバック 情報成果物 測定プロセスの中核 測定に対する コミットメント （確約）の確立 及び保持 コミットメント 測定プロセス の計画 計画内容 測定プロセス の遂行 測定経験データベース JIS X 0141の適用範囲 測定の評価 情報成果物と 効果を測定する ための測定量 情報成果物と 評価結果 改善活動 （JIS X 0141から引用） Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 6 生産性の定義 一般に生産性は仕事の効率を表す量である。 生産性で投入量を予測する 成果量 生産性 = 投入量 （予測） 成果量 投入量 = 生産性 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. 【例】 燃費（リッター当たりの走行距離） 【例】 目的地までの距離と燃費から必要 なガソリンの量を予測する。 Page 7 VBの生産性は高いか？ VBはCOBOLやJava に比べて生産性が 高い言語です。 本当？ Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 8 FP生産性と SLOC生産性 FP生産性とSLOC生産性（新規開発） 言語 COBOL(*1) Java VB(*2) (*2)÷(*1) FP生産性 [FP/人月] 7.7 13.4 15.8 2.1 SLOC生産性 [ＳLOC/人時] 5.6 5.9 5.8 1.0 FP生産性とSLOC生産性の 特性は異なる。 従って、FPとSLOCを組み 合わせて予測する方法も 考えられる。 （IPA/SEC ソフトウェア開発データ白書 2012-2013 より引用） FP生産性 = FP 工数 SLOC SLOC生産性 = 工数 【要点】 1. SLOC生産性は言語による生産性の差がないのに対し、FP生産性は言語による差が大きい。 2. FP生産性はプロジェクトの機能的な面のみを表す生産性である。 3. SLOC生産性は、機能的な面のみではなく、品質要件、技術要件も反映した生産性である。 4. FP生産性とSLOC生産性は特性の異なる量である。そのため工数を予測する方法も異なる。 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 9 生産性が下がっている！ 生産性年次推移 30,000 8.0 25,000 7.5 20,000 15,000 7.0 10,000 FP 生産性 2006年に生産性向上施 策を実施しました。 その後、生産性は年々低 下しています。施策は誤り であったと考えれられます。 6.5 5,000 0 6.0 2005 2006 2007 2008 本当? 10 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 10 生産性が下がっている！ A部門生産性年次推移 20,000 15,000 10,000 5,000 0 2005 2006 8,000 2007 4.8 4.6 4.4 FP 4.2 生産性 4.0 3.8 3.6 B部門生産性年次推移 2008 11.5 11.0 6,000 10.5 4,000 10.0 2,000 C部門生産性年次推移 0 8,000 7,000 6,000 5,000 4,000 3,000 2,000 1,000 0 すべての部門で生産性が 向上しています。 生産性向上施策の効果が 現れているといえます。 2005 2006 25.0 2007 FP 生産性 9.5 9.0 2008 20.0 15.0 10.0 FP 生産性 5.0 0.0 2005 2006 2007 2008 11 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 11 生産性が下がっている！ 各部門の生産性 は向上している。 従って、全社の 生産性も向上し ているはず。 生産性向上施策は正 しかったのか！？ 12 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 12 生産性は規模が大きいほど低下する！ 生産性は規模が大きい ほど低下します。規模 の増加に伴い、コミュ ニケーションのオー バーヘッドが増大する ためです。 規模別生産性 25.0 20.0 生 15.0 産 性 10.0 5.0 0.0 小規模 規模 小規模 中規模 大規模 区分（MM) 工数<3.0 3.0≦工数<12.0 工数≧12.0 合 計 中規模 件数 378 685 358 1,421 FP 16,702 69,175 140,340 226,217 大規模 工数 802 4,183 13,144 18,129 生産性 20.8 16.5 10.7 12.5 * 注： 実データを元にして作成していますが、数値は変えています。 13 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 13 生産性は規模が大きいほど低下する！ 規模別生産性 16.0 14.0 生産性は規模が大きいほど、 向上します。大規模ソフト ウェアでは、多くの機能を効 率的に開発できるためです。 12.0 生 10.0 産 8.0 性 6.0 4.0 2.0 0.0 小規模 規模 小規模 中規模 大規模 区分 FP<30 30≦FP<155 FP≧155 合 計 中規模 件数 338 722 361 1,421 FP 5,506 53,401 167,310 226,217 大規模 工数 1,187 5,647 11,295 18,129 生産性 4.6 9.5 14.8 12.5 * 注： 実データを元にして作成していますが、数値は変えています。 14 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 14 ソフトウェアの規模と生産性の関係は？ 開発する機能が多 いほど工数が大き くなるのは当然。 従って、大規模 になるほど生産 性も低いはず。 どちらを信じれ ばよいのか！ 15 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 15 生産性分布 100 90 80 70 度数 60 50 40 30 20 10 0 生産性 1. 生産性裾長い分布 になっている。そのため低生産性または高生産性の基準を明確にすることができない． 2. 生産性の異常値を検出するための基準を決定することができない． Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 16 貯蓄現在高階級別世帯分布 （総務省統計局HPより引用） 貯蓄現在高は右裾が長い歪んだ分布となる。 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 17 生産性の分布と性質 生産性の対数は正規分布に従う性質がある。 正規分布として扱うことにより、統計解析の知見を活用できる。 生産性分布 LN(生産性）分布 正規分布 45 100 40 90 80 LN(10)=2.3 35 10 70 30 度数 度数 60 50 25 20 40 15 30 10 20 5 10 0 0 生産性 FP生産性分布 （左: 直値、右: 対数） 【計算例】 【分析結果】 FP生産性10 [FP/人月] の自然対数は LN(10)=2.3 である。生産性の自然対数 LN(生産性） はどのような 分布となるだろうか？ 1. 生産性(FP）は右裾が長い歪んだ分布である。 2. 生産性(FP）の対数はベル型の分布となり、正規分 布に従うことが確認されている。 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 18 層別とバラツキの関係 言語 COBOL C VB Java 全体 FP生産性 [FP/人月] 7.7 10.4 15.8 13.4 12.8 言語を区分しない全体の平均生産性 COBOL生産性 COBOL生産性は 平均より低い。 言語で区分しないと 生産性は大きくばらつく 7.7 7.7 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. 12.815.0 Page 19 層別とバラツキの関係 言語 COBOL C VB Java 全体 FP生産性 [FP/人月] 7.7 10.4 15.8 13.4 12.8 言語を区分しない全体の平均生産性 VB生産性 COBOL生産性 VB生産性は 平均より高い。 COBOL生産性は 平均より低い。 言語で区分しないと 生産性は大きくばらつく 7.7 7.7 12.815.0 15.8 特性で層別するとバラツキが低減し予測の精度が向上する。 特性による生産性の差は中央値の差として捉えることができる。 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 20 回帰の意味は？ 子供は親と同じくらいの 身長になるのだろうか 直線 Y=X 子 の 身 長 Y 親の身長 X Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 21 回帰の意味は？ 子は親と同じくらいの 身長になるのだろうか 直線 Y=X あてはめた直線 子 の 身 長 Y 背の高い親から生まれる子供 は親よりも背が低く、背の低 い親から生まれる子供は親よ り背が高くなる傾向がある。 親の身長 X ゴールトンは親と子の身長を調べ、生まれる子供の身長は平均に近づくことを示し、 このことを「平均への回帰現象」と呼んだ。 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 22 FPと工数の散布図 ～Ａ社事例～ 工数 FP vs 工数 FP 全体を表示すると小規模プロジェクトの部分はプロットが集中し分布状況を把握できない。 また、外れ値に見える大規模プロジェクトを排除しても同じ形が現れる。 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 23 FPと工数の散布図 ～両対数散布図～ 両対数散布図 FP vs 工数 工数 工数 散布図 FP vs 工数 FP FP 両対数散布図にプロジェクトデータをプロットすると分布状況を把握できる。 対数を取った値に意味はない。変数変換は関係性を理解するための手段であると心得ること。 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 24 両対数散布図 工数 生産性区分図 FP FPおよび工数は対数を取ることで統計的規則性を確認することができる。 この例では、ある規模以上の工数を持つプロジェクトのみをFP測定対象としている。 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 25 生産性区分図 生産性区分図 -3σ -2σ -σ 低生産性 +σ +2σ 工数 +3σ 高生産性 FP 両対数散布図に生産性を区分する線をプロットすると生産性の分布パターンを識別しやすくなる。 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 26 生産性区分図と回帰直線 生産性区分図 -3σ -2σ -σ 低生産性 +σ +2σ 工数 +3σ 高生産性 FP 大規模ほど生産性が高くなると結論するかもしれない。（平均への回帰のパラドックス） Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 27 ソフトウェアの規模と生産性の関係は？ 生産性区分図 FPの工数に対する回帰 工数 工数のFPに対する回帰 FP 28 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 28 それでも、生産性は規模が大きいほど低下する！ 工数 生産性区分図 FP 29 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 29 ハイパーキューブ プラットフォームの次元 メインフレーム M1 M 2 M3 Web C/S W1 W2 C1 C2 期間の次元 2Q 2Q 1Q 3月 2月 1月 1 2 3 4 5 6 MF Web C/S 領域A 領域B 業務領域の次元 領域C 領域A A1 A2 A3 領域B 領域C B1 C1 B2 C2 任意の次元の任意の階層の組み合わせでデータを集計 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 30 ２要因カテゴリー別両対数散布図の活用 言語: Java 言語: その他 言語: C 工数 言語: 言語:ASM COBOL 2要因カテゴリー別散布図 0 1 2 領域:A1 3 4 0 1 2 領域:A2 3 4 0 1 2 3 4 領域:A3 FP 1. データは多次元であるため、単純な層別では正しく実態を説明できない。 2. 要因を組み合わせて散布図を作成することにより密（または過疎）となる要素を発見する。 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 31 生産性要因とモデル化 1/2 機能規模 (FP) および様々な 手段や環境 (要因) が工数に 影響する。 交絡 言語 OS 業務 特性 開発 環境 案件 特性 FP 工数 未知 領域 スキル 1. 要因間の関係を把握し FP と工数の関係を最もよく説明するモデルを作成する。 2. 要因間に交絡がある場合は要因の効果が分離できない場合がある。 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 32 生産性要因とモデル化 2/2 アプリケーション 開発 環境 交絡 OS 言語 案件 特性 FP 業務 特性 工数 領域 未知 スキル 1. この図ではアプリケーションが、領域・言語・OS、業務特性、その他の特性に対応している場合を示している。 2. アプリケーションを中心としたグループ化を行うことにより相互作用の影響を分離せずに分析を進めることができる。 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 33 アプリケーション別散布図と回帰分析 アプリケーション別散布図 No. No.2 No.3 No.4 No.5 No.6 No.7 No.8 No.9 工数 No.1 1 2 3 4 5 6 7 8 9 決定 係数 14% 69% 75% 86% 84% 84% 69% 20% 71% 回帰式 a 0.833 0.216 0.165 0.395 0.177 0.183 0.150 0.577 0.238 b 0.379 0.807 0.982 0.645 0.724 0.926 0.845 0.475 0.824 FP 1. アプリケーションによる層別は非機能要件も反映し、FPと工数の相関が高くなる場合が多い。 2. 分布パターンを観察し回帰式が適用可能かどうかを検討する。 3. 自由度調整済決定係数 ５０％以上を回帰式採用の基準とする。 （決定係数: FP で工数を説明できる割合） Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 34 分布パターンの検討と回帰分析適用 生産性区分図と回帰直線 工数 回帰式による推定 幾何平均による推定 FP パターン認識による検討の結果、小規模(60FP未満)では幾何平均による推定を行い、 中大規模（60FP以上)では回帰分析による推定を行う方式が考えられる。 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 35 FP氷山モデル 海面上に浮かぶ氷山の大きさから海面下の氷 全体の大きさを推定できることに価値がある。 プロジェクトが小さい場合、 機能量の大きさはばらつく 計測容易なFPで 全体を推定できる FPで説明できる部分 は氷山の一部 大きくなれば一定 の割合になる 機能要件 品質要件 技術要件 客観的 測定容易 FP 測定対象 主観的 測定困難 FP氷山モデル Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 36 ITプロジェクト実績ベンチマーキング 外部 リポジトリ 凡例: 外部 べンチマーク データ ユーティリティ データを 提供する リポジトリを 管理する プロジェクト を測定する 支援活動 道具 中核活動 ベンチマーキング リポジトリ （蓄積データ） ベンチマーク （参照値）を 作成する 内部 べンチマーク （参照値） ツール 道具立てを 整える プロジェクトの 測定量 ベンチマー キングを 実施する ベンチマーキ ングの結果を 活用する 手法 ガイド ベンチマークは目標とし て参照する基準値です。 例えば、健康のために体 重を管理するには過去の 計測値を元に基準値 （ベースライン）を設定し、 測定した体重と比較しま すが、標準体重（ベンチ マーク）と比較し評価する ことも必要です。 ＊ SO/IEC 29155 FCD (ITプロジェクト実績ベンチマー キング）を参照 37 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 37 プロセス実績モデル 外部 リポジトリ 予測の精度の向上を実績データ の蓄積と分析で達成 外部 べンチマーク データを 提供する リポジトリを 管理する ベンチマーキング プロジェクト リポジトリ 実績DB （蓄積データ） プロジェクト を測定する プロジェクトの 測定量 FPまたはFP近似値 を計測 FP、プロジェクト特性、 実績値を収集、記録 ベンチマーク ベースライン分析内部 （参照値）を * 層別分析 べンチマーク 作成する （参照値） * 予測モデルの係数算出 ツール 道具立てを 整える パーフォーマ ンスを予測 する 予測の結果を 活用する 手法 ガイド Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. 工数、コスト、欠陥数、 工期を予測し、プロ ジェクトの定量的管 理に活用 注: この図はISO/IEC 29155 FCD (ITプロジェクト実績 ベンチマーキング） を参照し、定量的管理への適用を表 現した図です。 Page 38 プロセス実績モデル（PPM） プロジェクト 計画時 進捗の モ ニタ リ ング PPM-1 PPM-1 工数見積り PPM-3 PPM-3 品 質 の モ ニタ リ ング 予測欠陥数を 計画時の見積 りに活用 ソリューション・アウトライン ～ マイクロ設計 構築 展開 （開発/統合テスト/システム・テスト） （システム統合テスト） 保守 PPM-2 PPM-2 EAC EAC ≦ ≦ BAC内の完了可能性を予測 BAC内の完了可能性を予測 （月次にてトラッキング） （月次にてトラッキング） PPM-3 PPM-3 各テスト局面の欠陥検出数予測、及びライフサイクルを通じた欠陥検出数を予測 各テスト局面の欠陥検出数予測、及びライフサイクルを通じた欠陥検出数を予測 PPM-4 PPM-4 次局面以降の混入欠陥数を予測 次局面以降の混入欠陥数を予測 （各局面終了時に実施） （各局面終了時に実施） PPM-7 PPM-7 統合テストからシステム統合テスト局面の 統合テストからシステム統合テスト局面の 各テストの欠陥密度を予測 各テストの欠陥密度を予測 完了時の累積欠陥数を予測 完了時の累積欠陥数を予測 PPM-5&6 PPM-5&6 テスト完了時の テスト完了時の 推定欠陥除去率を 推定欠陥除去率を 予測 予測 PPM-M1 PPM-M1 問題発生数 問題発生数 を予測 を予測 PPM-M2 PPM-M2 障害発生率 障害発生率 MTTF/信頼度を MTTF/信頼度を 予測 予測 (注) PPM: Process Performance Model プロジェクトの実績データをもとに工数、品質、工期、リスクの予測モデルを構築 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 39 FP生産性は仕事の効率を表すか？ ＦＰ生産性は直ちに仕事の効率であるとは言えない。 FP生産性のみでは工数を予測できない。 FP FP生産性 = 工数 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 40 作業効率評価モデル 工数モデルによれば、ベンチマークおよび自社実績によるベースラインに基づ き、そのプロジェクトの特性を反映した「あるべき工数」を算出できる。この工数 は過去の実績を反映した標準的工数であるため「標準工数」と呼ぶこともできる。 実績または効率はこの標準工数と比較して評価されるべきである。 作業効率 標準工数 実績工数 標準工数 =A 作業効率による生産性の管理は、工数モデルの精緻化に伴い、柔軟に工数の説 明要因を追加できるため、FP生産性による管理より柔軟性がある。 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 41 まとめ 役立つ情報成果物を提供することが成功のポイント ワークミックス問題に配慮すること 回帰分析には平均へ回帰があることを知ること 両対数散布図で関係式（CER）を作成 生産性区分図を用いて生産性を明確化 ２要因カテゴリー別散布図は、多変量の層別に有効 アプリケーションよるグループ化で交絡の問題を回避 定性的要因も反映し予測モデルを構築 生産性は作業効率で計測 ©DSR Inc, 2013 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 42 参考資料 (発表年度順） [1] Capers Jones著 鶴保征城 富野 壽 監訳，ソフトウェア開発の定量化手法第２版，共立出版，ISBN4-320-09722-X、P206-207， 1998 [2] John McGarry et Al. 著, 古川恒夫, 富野壽 監訳: “実践的ソフトウェア測定,”共立出版, ISBN4-320-09741-6, pp. 120-135, 2004. [3] 金子英一, 梶山昌之: “アプリケーション・マネジメント・サービス(AMS)における開発生産性評価プロセスの確立,” IBM ProVISION Winter 2006 No. 48, pp. 100-107, 2006. https://www-304.ibm.com/connections/blogs/ProVISION46_50/resource/no48/48_ppr4.pdf?lang=ja [4] 金子英一, 梶山昌之: “プロジェクト初期段階のFPによる効果的見積りモデル構築手法の提案,” 2007年度PM学会春季研究発表大 会予稿集, pp. 116-121, 2007. http://ci.nii.ac.jp/els/110007602625.pdf?id=ART0009420557&type=pdf&lang=jp&host=cinii&order_no=&ppv_type=0&lang_sw=&no=141247 1269&cp= [5] JIS X 0141-2009 システム及びソフトウェア技術−測定プロセス http://kikakurui.com/x0/X0141-2009-01.html [6] 梶山昌之, 合田英二, 千野智子: “ソフトウェア開発プロジェクトの計数管理フレームワークによる定量的管理,” プロジェクトマネジメ ント学会誌 Vol.13 No.5, pp. 3-8, 2011. http://ci.nii.ac.jp/els/110008897387.pdf?id=ART0009854808&type=pdf&lang=jp&host=cinii&order_no=&ppv_type=0&lang_sw=&no=141247 1411&cp= [7] 佐藤浩明: “201306_定量的マネジメントを目指したメトリクス分析の実践” ユニシス研究会 BITS 2013 U-5 発表資料, 2013. https://evesys.unisys.co.jp/public/file/document/download/70 Copyright (C) DSR Inc. 2012-2014 All Rights Reserved. Page 43
© Copyright 2024 ExpyDoc
