FP size - ISBSG

IT Confidence 2014
Tokyo
ソフトウェア開発データ白書2014-2015の
新規分析例
New topics of “IPA/SEC White Paper 2014-2015 on
Software Development projects in Japan”
2014年 10月22日
佐伯正夫（Masao Saeki）
三縄俊信（Toshinobu Minawa）
塚元郁児（Ikuji Tsukamoto）
独立行政法人情報処理推進機構技術本部ソフトウェア高信頼化センター
Software Reliability Enhancement Center , Technology Headquarters,
Information-technology Promotion Agency, Japan （IPA/SEC）
Copyright © 2014 IPA, All Rights Reserved
1
目次（Index）
IPA/SECのソフトウェア開発データ白書に関する活動を紹介すると共に、本年
10月1日に発行した「ソフトウェア開発データ白書2014-2015」（及び今年末公開予定
の補遺）の中から、次の新たな分析結果を紹介する。
１．生産性に関する変動要因について
The productivity variation factors
２．信頼性に関する変動要因について
The reliability variation factors
３．各工程における規模、成果物量および工数の相関
The correlation among functional size, amount of
deliverables and effort in each development phase.
Copyright © 2014 IPA, All Rights Reserved
2
ソフトウェア開発データ白書の定期的発行
IPA/SEC is continuously collecting software development project data
every year and publishing the White Paper every two years.
組織／企業における定量的管理
Quantitative Management in a organization
Own
Repository
◇Benchmarking and management decisions
about software development practices.
◇Areas for improvement are identified.
参考
from
29 companies
in Japan.
collect
every year
Repository
3,541
project data set
Copyright © 2014 IPA, All Rights Reserved
Improve software
productivity and
reliability
use as reference
ソフトウェア開発データ白書
White Paper
IPA/SEC
Software
Development
Project data
生産性向上, 信頼性向上
publish
every
2 years
◇統計情報 statistical Information
プロファイル、規模、工数、工期、
Profile, Size, Effort, Duration
生産性、信頼性とそれらの変動要因
Productivity, Reliability and their
Variation Factors
◇データ項目、ﾒﾄﾘｸｽ、分析方法、知見
Data Items, Metrics, Analyzing
Methods, Knowledge
3
ソフトウェア開発データ白書の定期的発行（つづき）
IPA/SEC published White Paper 2014-2015 on 2014/10/1.
☆IPA/SECは、ソフトウェア開発データ白書作成を
通じて得られた知見を基に、IT プロジェクトベンチ
マーキング国際標準規格（ISO/IEC 29155 シリー
ズ）の標準化に貢献している。
IPA/SEC has been contributing standardization
of ISO/IEC 29155 series ” Information
technology project performance benchmarking
framework” by using knowledge of the White
Paper.
今秋10月1日に、ソフトウェア開発
データ白書2014-2015を発行
Copyright © 2014 IPA, All Rights Reserved
4
０．生産性・信頼性の変動要因と結果指標について
There are productivity/reliability variation factors in various areas：
Requirements, Cooperation Degree of Customer, Development Process , Profile,
Maturity of Organization,etc.
Example of productivity/reliability variation factor model
Q,C,D要求 Requirements
信頼性要求レベル
顧客の協力度合い Cooperation
Degree of Customer
発注仕様の確定時期
システムリスク
開発期間
要件定義への顧客参加度合い
・・・
レビュー・承認の実施時期
テスト密度
レビュー工数比率
テスト工数比率
レビューでの欠陥摘出率
・・・
プロファイル
Profile
組織の成熟度 Maturity
of Organization
新規／改良
CMMIレベル
業種、ｼｽﾃﾑ種別
品質保証体制
開発規模
スキルレベル
・・・
・・・
Copyright © 2014 IPA, All Rights Reserved
生産性の結果指標
FP当り実績工数
・・・
開発プロセス Development Process
設計文書化密度
Result Index of
Productivity
SLOC当り実績工数
・
・
・
Result Index of
Reliability
信頼性の結果指標
開発環境
Environment
KFP当り
発生不具合密度
ｿﾌﾄｳｪｱ資産の
・
整備度
・
・
・・・
KSLOC当り
発生不具合密度
・
・
・
5
１．生産性に関する変動要因について
New topics of productivity variation factors
factors are shown here.
Q,C,D要求 Requirements
信頼性要求レベル
Reliability-Requirements-Level
Result Index of
Productivity
開発プロセス Development Process
設計文書化密度
テスト密度
Documentation Density：
The Number of Design
Document Pages per Unit
FP Size
Test Density:
The Number of Test
Cases per Unit FP
Size
(Basic Design + Detailed
Design)
(Integration Test +
System Test)
生産性の結果指標
FP当り実績工数
Work Effort per Unit
FP Size
プロファイル Profile
開発規模
Functional Size (FP)
Copyright © 2014 IPA, All Rights Reserved
6
１．生産性に関する変動要因について（つづき）
New topics of productivity variation factors
＜検索条件（Search Criteria）＞
◇ 新規開発（New Development）
◇ FP計測手法（FP Count Approach）： IFPUG, SPR or NESMA
◇ FP規模（FP Size） > 0
◇ 開発工数（Work Effort） > 0
◇ 開発5工程が揃っているプロジェクト
（Development Phases are from Basic Design to System Test.）
＜比較方法（Comparison Method）＞
◇ 中央値を境に２群に分けて、両者のFP当り実績工数を比較する。
Divide numeric data into two groups by the median, and compare
the work effort per unit FP size of both.
◇ 対数化データに対して、平均の差の検定（Welchのｔ検定）を行う。
Perform Welch's t test for the data after logarithmic transformation.
Copyright © 2014 IPA, All Rights Reserved
7
１．生産性に関する変動要因について（つづき）
New topics of productivity variation factors
FP当り実績工数
（man-hours/FP）
50
低
40
←
F
P
生
産
性
30
→
10
高
信頼性要求レベル
Reliability-Requirements-Level
N = 86
N = 83
IF Reliability-RequirementsLevel is high,
then FP productivity is low.
20
0
低い (Low)
高い (High)
信頼性要求レベルが高い集合の方がFP当りの工数が大きい傾向が見られる。（1%有意）
つまり、信頼性要求レベルが高くなると、FP生産性が低下する傾向が窺える。
Copyright © 2014 IPA, All Rights Reserved
8
１．生産性に関する変動要因について（つづき）
New topics of productivity variation factors
FP規模
FP size
FP当り実績工数
（man-hours/FP）
60
低
N = 193
N = 193
50
←
IF FP size is large,
then FP productivity
is low.
→
F 40
P
生 30
産
性 20
高
10
0
FP小（Small）
FP大（Large）
FPが大きい集合の方がFP当りの工数が大きい傾向が見られる。（3%有意）
つまり、開発規模が大きくなると、 FP生産性が低下する傾向が窺える。
Copyright © 2014 IPA, All Rights Reserved
9
１．生産性に関する変動要因について（つづき）
New topics of productivity variation factors
FP当り実績工数
（man-hours/FP）
60
低
←
50
設計文書化密度
Documentation Density：
Document Pages per Unit FP Size
N = 70
N = 69
IF Documentation Density
is high,
then FP productivity is low.
→
F 40
P
生 30
産
性 20
高
10
0
低い (Low)
高い (High)
設計文書化密度が高い集合の方がFP当りの工数が大きい傾向が見られる。（1%有意）
つまり、規模当りの設計書ページ数が多くなると、 FP生産性が低下する傾向が窺える。
Copyright © 2014 IPA, All Rights Reserved
10
１．生産性に関する変動要因について（つづき）
New topics of productivity variation factors
FP当り実績工数
（man-hours/FP）
60
低
テスト密度
Test Density:
Test Cases per Unit FP Size
N = 137
N = 136
←
50
IF Test Density is high,
then FP productivity is low.
→
F 40
P
生 30
産
性 20
高 10
0
低い (Low)
高い (High)
テスト密度が高い集合の方がFP当りの工数が大きい傾向が見られる。（1%有意）
つまり、規模当りのテストケース数が多くなると、 FP生産性が低下する傾向が窺える。
Copyright © 2014 IPA, All Rights Reserved
11
１．生産性に関する変動要因について（つづき）
New topics of productivity variation factors
まとめ（Summary）
ソフトウェア開発データ白書用に収集した現行プロジェクトデータによれば、開発規模（FP）
と工数には強い相関関係が見られるものの、バラツキが小さくない。
業種、開発プロジェクトの種別（新規／改良）、開発規模の他、規模当りの設計書ページ数、
規模当りのテストケース数、信頼性要求レベル等によって変動する傾向が見られる。
⇒
自組織のソフトウェア開発プロジェクト群のデータに基づいて、自組織における生産性変動
要因を見出すこと、そして見積り／計画の妥当性評価にあたっては、その生産性変動要因
による変動を勘案しながら評価することが望ましい。
◇ Find productivity variation factors in each organization.
◇ Evaluate the validity of estimated efforts by taking the productivity
variation factors into account.
Copyright © 2014 IPA, All Rights Reserved
12
２．信頼性に関する変動要因について
New topics of reliability variation factors
factors are shown here.
Q,C,D要求 Requirements
信頼性要求レベル
Reliability-Requirements-Level
開発プロセス Development Process
組織の成熟度 Maturity of Organization
定量的な出荷品質基準
Quantitative Criteria of Quality Evaluation for Delivery
Result Index of
Reliability
信頼性の結果指標
KFP当り
発生不具合密度
Defect Density：
The number of
defects per 1000 FP
in the first 6 months
of use of the software
テストスキル
Test Skill
Copyright © 2014 IPA, All Rights Reserved
13
２．信頼性に関する変動要因について（つづき）
New topics of reliability variation factors
＜検索条件（Search Criteria）＞
◇ FP計測手法（FP Count Approach）： IFPUG, SPR, NESMA
◇ FP規模（FP Size） > 0
◇ 開発5工程が揃っているプロジェクト
（Development Phases are from Basic Design to System Test.）
◇ 稼働時の発生不具合数（The number of defects in the first 6 months
of use of the software） >= 0
＜比較方法（Comparison Method）＞
◇ 変動要因のカテゴリ間で、FP当り実績工数を比較する。
Compare the work effort per unit FP size between categories of
each variation factor.
◇ 平均の差の検定（Welchのｔ検定）を行う。
Perform Welch's t test for the data.
Copyright © 2014 IPA, All Rights Reserved
14
２．信頼性に関する変動要因について（つづき）
New topics of reliability variation factors
発生不具合密度
（No. of defects/1000FP）
25
低
信頼性要求レベル
Reliability-Requirements-Level
N = 89
N = 98
20
←
IF Reliability-RequirementsLevel is high,
then FP reliability is high.
F
15
P
信
頼 10
性
→
5
高
0
高い（High）
低い（Low）
信頼性要求レベルが高い集合の方が発生不具合密度が低い傾向が見られる。（4%有意）
つまり、信頼性要求レベルが高いとFP信頼性が高くなる傾向が窺える。
Copyright © 2014 IPA, All Rights Reserved
15
２．信頼性に関する変動要因について（つづき）
New topics of reliability variation factors
発生不具合密度
（No. of defects
/1000FP）
40
低
35
←
30
N = 46
N = 102
IF criteria are established,
then FP reliability is high.
25
20
15
→
F
P
信
頼
性
定量的な出荷品質基準の有無
Quantitative Criteria of Quality Evaluation for Delivery
10
高
5
0
基準有り
Criteria are established
基準無し
No Criteria
組織に定量的な出荷品質基準が有る方が発生不具合密度が低い傾向が見られる。（8%有意）
つまり、定量的な出荷品質基準が有ると信頼性が高くなる傾向が窺える。
Copyright © 2014 IPA, All Rights Reserved
16
２．信頼性に関する変動要因について（つづき）
New topics of reliability variation factors
テストスキル
Test Skill
発生不具合密度
（No. of defects/1000FP）
低
←
F
P
信
頼
性
→
高
50
45
40
35
30
25
20
15
10
5
0
N =68
N = 45
IF test skill is sufficient,
then FP reliability is high.
スキルが十分
Sufficient Skill
スキルが不足
Insufficient Skill
テスト要員のスキルが十分な方が発生不具合密度が低い傾向が見られる。（5%有意）
つまり、テスト要員のスキルが十分であると信頼性が高くなる傾向が窺える。
Copyright © 2014 IPA, All Rights Reserved
17
２．信頼性に関する変動要因について（つづき）
New topics of reliability variation factors
まとめ（Summary）
ソフトウェア開発データ白書用に収集した現行プロジェクトデータによれば、開発規模、
業種、開発プロジェクトの種別（新規開発／改良開発）の他、信頼性要求レベルおよび
組織の成熟度に関する要因（定量的出荷品質基準の有無、テストスキル）によって、
FP信頼性が変動する傾向が見られる。
⇒
自組織のソフトウェア開発プロジェクトデータ、自組織の成熟度に関するデータおよび
出荷後の（あるいはサービスイン後の）不具合密度等に基づいて、自組織における
信頼性変動要因を見出すこと。そして、それらの信頼性変動要因に関して信頼性向上
方策を検討することが望ましい。
◇ Find reliability variation factors in each organization.
◇ Consider reliability Improvement policy in relation to the reliability
variation factors.
Copyright © 2014 IPA, All Rights Reserved
18
３．各工程における規模、成果物量および工数の相関
The correlation among functional size, amount of deliverables
and effort in each development phase.
開発規模（FP 規模）と各工程の成果物量との間、および各工程の成果物量と各工程の工数との
間には、強い（又は中程度の）正相関が見られることが分かった。
開発規模
FP size
correlation
工程（phase）*
各工程の成果物量
Amount of deliverables
In each phase
correlation
各工程の開発工数
Effort(man-hour)
In each phase
成果物量（Amount of deliverables ）
要件定義
Requirement Definition
要件定義書ページ数
The Number of Pages of Requirement Definition Documents
基本設計
Basic Design
基本設計書ページ数
The Number of Pages of Basic Design Documents
詳細設計
Detail Design
詳細設計書ページ数
The Number of Pages of Detail Design Documents
製作
Manufacturing
実効KSLOC実績値
Actual Source Lines of Code÷1000
結合テスト
Integration Test
結合テストケース数
The Number of Test Cases of Integration Test
総合テスト（ベンダ確認）
System Test by vender
総合テスト（ベンダ確認）ケース数
The Number of Test Cases of System Test by vender
(＊) Phase name mapping to SLCP is shown on the White Paper.
Copyright © 2014 IPA, All Rights Reserved
19
３．各工程における規模、成果物量および工数の相関（つづき）
The correlation among functional size, amount of deliverables
and effort in each development phase.
＜相関係数（R）表 correlation coefficient table＞
Phase
FP ⇔ Amount of
deliverables
Amount of deliverables
⇔ Effort
FP ⇔ Effort
Requirement
Definition
Basic
Design
Detail
Design
manufacturing
Integration
Test
System Test
by vender
0.56
0.68
0.72
0.77
0.64
0.43
0.67
0.81
0.80
0.79
0.65
0.42
0.76
0.79
0.84
0.81
0.76
0.73
＜条件（Conditions）＞
◇ 新規開発（New Development）
◇ FP計測手法（FP Count Approach）： IFPUG, SPR or NESMA
◇ FP規模（FP Size） > 0
◇ 成果物量（Amount of deliverables）＞0
◇ 開発工数（Work Effort） > 0
◇対数化したデータで相関係数（R）を求める。
Calculate coefficient of correlation from data after logarithmic transformation.
次ページ以降に、詳細設計および結合テストにおける相関を表す散布図等を示す。
（他の工程の散布図等は割愛する。）
Copyright © 2014 IPA, All Rights Reserved
20
３．各工程における規模、成果物量および工数の相関（つづき）
The correlation among functional size, amount of deliverables
and effort in each development phase.
＜工程：詳細設計 Detail Design Phase＞
詳細設計書
ページ数
No.of Pages
1000000
FPと詳細設計書ページ数との関係
FP ⇔Number of Pages of Detail Design doc.
（logarithmic）
N=93
R=0.72
100000
Pages /FP
FP当りの詳細設計書ページ数
Detail Design Document Pages /FP
4.0
3.5
3.0
2.5
10000
2.0
1000
1.5
100
1.0
10
0.5
1
0.0
1
10
100
1000
10000
100000
機能量（FP size)
Copyright © 2014 IPA, All Rights Reserved
21
３．各工程における規模、成果物量および工数の相関（つづき）
The correlation among functional size, amount of deliverables
and effort in each development phase.
＜工程：詳細設計 Detail Design Phase＞
詳細設計工数
Effort
(man-hour)
詳細設計書ページ数と詳細設計工数との関係
Number of Pages ⇔ Effort (Detail Design)
（logarithmic）
人時/ページ詳細設計書ページ当りの詳細設計工数
Man-Hour
Effort /Page (Detail Design)
/Page
8
7
6
10000
N=93
R=0.80
1000
5
4
3
100
2
10
1
0
1
1
100
10000
詳細設計書ページ数
Number of Pages of Detail Design
Copyright © 2014 IPA, All Rights Reserved
1000000
22
３．各工程における規模、成果物量および工数の相関（つづき）
The correlation among functional size, amount of deliverables
and effort in each development phase.
＜工程：結合テスト Integration Test Phase＞
FPと結合テストケース数との関係
FP ⇔ Number of Test Cases of Integration Test
（logarithmic）
結合テスト
ケース数
No.of Test
Cases
1000000
N=192
R=0.64
100000
ケース/FP
Cases/FP
FP当りの結合テストケース数
Integration Test Cases/FP
8
7
6
5
10000
4
1000
3
100
2
1
10
0
1
1
10
100
1000
10000
機能量（FP Size）
Copyright © 2014 IPA, All Rights Reserved
100000
23
３．各工程における規模、成果物量および工数の相関（つづき）
The correlation among functional size, amount of deliverables
and effort in each development phase.
＜工程：結合テスト Integration Test Phase＞
工数
結合テストケース数と結合テスト工数との関係
Effort
Number of Test Cases ⇔ Effort (Integration Test)
（man-hour）
（logarithmic）
100000
人時/ケース
Man-Hour
/Test Case
結合テストケース当りの結合テスト工数
Effort/Test Case (Integration Test)
7
6
5
10000
4
1000
N=192
R=0.65
100
3
2
1
10
0
1
1
100
10000
1000000
結合テストケース数
Number of Test Cases of Integration test
Copyright © 2014 IPA, All Rights Reserved
24
３．各工程における規模、成果物量および工数の相関（つづき）
The correlation among functional size, amount of deliverables
and effort in each development phase.
まとめ（Summary）
開発規模（FP 規模）と各工程の成果物量との間、および各工程の成果物量と各工程の
工数との間には、強い（又は中程度の）正相関が見られることが分かった。
⇒
自組織の各ドメインにおいて、開発規模、各工程の成果物量、各工程の工数との間の
相関を確認した上で、各工程の成果物量に着目した「見積りの妥当性評価」を行うこと
が有効と考えられる。
◇ Examine the following correlation in each organization.
・Correlation among functional size and amount of deliverables
in each phase.
・Correlation among amount of deliverables and efforts in each phase.
◇ Evaluate the validity of estimated efforts by taking the above
correlation into account.
Copyright © 2014 IPA, All Rights Reserved
25
おわりに（Closing Remarks）
ソフトウェア開発データ白書用に収集した現行プロジェクトデータを分析することによっ
て、生産性および信頼性に関して新たに見られた傾向を紹介した。
これらの傾向は、業種を始め様々なプロファイルのプロジェクトデータが混在した中でも
見られる傾向であることから、各組織の同種のドメインにおいては、より強い傾向が見ら
れることが期待される。
☆各組織において、定量的管理（定量データを活用したマネジメント）を推進しよう。
Let’s promote quantitative management based on own repository
in each organization.
☆各組織の定量的管理推進において、ソフトウェア開発データ白書の次の情報を、
ご参考にして頂きたい。
◇収集データ項目 ◇メトリクス ◇分析方法 ◇分析結果（統計情報および知見）
Please use the following information on the White Paper as reference.
◇Data Items ◇Metrics ◇Analyzing Methods
◇ Statistical Information and Knowledge
☆本講演で紹介した内容を含む、ソフトウェア開発データ白書2014-2015の補遺を、
今年末にWebサイトに掲載する予定である。併せてご参考にして頂きたい。
The addendum of White Paper2014-2015 will be placed in the web site
at the end of this year. Please use it as reference, too.
Copyright © 2014 IPA, All Rights Reserved
26

Download Report