SQiP 2016
既製ソフトウェア製品開発における
JIS X 25051:2016に対応した品質保証
プロセスの構築とその運用効果
ウイングアーク1st株式会社
BI技術本部 BI品質統括部
加藤 大受
首都大学東京大学院
システムデザイン研究科
石川 博
当社における品質の分類
ソフトウェア品質シンポジウム2016
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
品質の分類
製品の品質
機能および非機能の両面を含めた品質
利用時の品質
当社製品を利用したアプリケーション/システムの品質
利用者文書の品質
マニュアル（ホワイトペーパー等も含む）の品質
問い合わせ品質
テクニカルサポートの品質
ソフトウェア品質シンポジウム2016
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
2
品質は特定の利用者に依存する
製品の品質
管理者
開発者
利用時の品質
一般利用者
管理者
利用者文書の品質
管理者
開発者
問い合わせ品質
開発者
管理者
ソフトウェア品質シンポジウム2016
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
3
品質がいいということ
品質
管理者
開発者
製品の品質
利用時の品質
一般利用者
管理者
利用者文書の品質
管理者
開発者
問い合わせ品質
開発者
管理者
どの利用者にとってもバランスがいい＝品質が良い
ソフトウェア品質シンポジウム2016
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
4
利用者を笑顔にする品質とは
一般利用者を意識し、
『製品の品質』と『利用時の品質』に
優れた製品を継続的に提供すること
ソフトウェア品質シンポジウム2016
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
5
ウイングアーク流でいうと
利用者文書の品質
製品の品質
利用時の品質
問い合わせ品質
Surprise 1st!
ソフトウェア品質シンポジウム2016
Customer1st!
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
6
品質特性を利用した
品質情報の提供の背景
ソフトウェア品質シンポジウム2016
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
品質特性の導入の背景
派生開発で開発しているパッケージ
製品の品質をとにかく向上させたい
品質向上をユーザーに
伝わる仕組みも必要
開発時の品質データでは品質向上を第三者に伝
えることは困難。品質を細分化した品質特性を
利用することで品質を網羅的に説明できるだけ
でなく、客観的に品質情報の提供が可能
ソフトウェア品質シンポジウム2016
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
品質特性を利用した品質評価プロセス
開発プロセスと品質評価プロセスの概略図
β2
RC
β1
開発工程（開発部門）
基本
設計
詳細
設計
実装
単体
テスト
統合
テスト
システム
テスト
テストレベル(品質保証部門)
αステージ
β1
ステージ
β2
ステージ
β3
ステージ
RC
ステージ
テストレベル定義例：
α ステージ：テスト計画
β1ステージ：単機能テスト
β2ステージ：組み合わせテスト β3ステージ：システムテスト
RC ステージ：最終品質確認
ソフトウェア品質シンポジウム2016
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
品質特性を利用した品質評価プロセス
時
間
Vision
Doc
品質保証部門Kick Off Document
Reference
開発部門
kick off
PRD
(Draft)
品質基準
品質要求案
ステージ
定義
クライテリア
基準
MTP(ISO/IEC 29119-3利用)
MRD
Market
Requirement
Document
Reference
PRD
Product
Requirement
Document
ソフトウェア品質シンポジウム2016
テストタイプ
定義
クライテリア
体制
リスク
管理方針
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
品質特性を利用した品質評価プロセス
品質特性を利用した品質要求の定義例
品質特性
機能適合性
性能効率性
副特性
内
容
完全性
要求仕様書に記載されているとおりの動作をする
こと。
正確性
計算結果が正しいこと。
適切性
新機能の仕様が要件を満たしていること。
時間効率性
性能測定（定点観測）を行い、過去バージョンか
ら劣化していないこと。
性能改善項目で効果が出ていること。
資源効率性
1ヶ月程度の長時間実行で、過去バージョンと資
源消費に大きな差がないこと。メモリリークがない
こと。
容量満足性
設定されたマシンスペックでの性能目標を満たし
ていること
ソフトウェア品質シンポジウム2016
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
品質保証体制の推移
品質保証体制とプロセス
～
2011
2012
2013
2014
2015
2016
•
•
下流工程による品質保証
開発部隊による独自品質保証体制
•
•
•
•
•
•
•
•
•
•
出荷品質基準の制定
品質保証部門の分離
受入検査の実施
定量的分析(一部導入)
製品開発仕様の文書化
上流工程での品質保証開始
定量的品質分析
マイルストーン判定、プロセスQAの実施
PSQ認証取得を目指し、ISO/IEC 25051:2011を
意識した品質保証プロセスモデルの導入
検証結果の開示に向けた取り組みの開始
•
•
•
PSQ認証取得(MB, Dr.Sum, SVF)
SQuaRE導入
ISO/IEC 25051:2014の適用
•
•
•
利用者文書への品質基準の適用
利用時の品質への取り組み強化
PSQ認証更新(MB, Dr.Sum, SVF)
各種標準規格への対応
JIS X 0129-1
機能性 - 正確性
効率性 - 時間効率性
JIS X 0129-1
機能性 – 正確性、合目的性
効率性 - 時間効率性、資源効率性
使用性 – 理解性
JIS X 0129-1 すべての品質副特性
JIS X 0133 品質評価プロセス
ISO/IEC 15498 セキュリティ方針
SQuaRE(JIS X 25010, JIS X 25051)
ソフトウェア品質の最新規格対応
ISO/IEC/IEEE 29119
ソフトウェアテストプロセス標準の導入
ISO/IEC 33063
ソフトウェアテストのアセスメント
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
PSQ認証取得済
販売する全製品(パッケージ製品)：
『SVF』,『Dr.Sum EA』,『MotionBoard』
最新版でPSQ認証を取得済
ソフトウェア品質シンポジウム2016
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
SQuaRE利用へ
ソフトウェア品質シンポジウム2016
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
SQuaRE導入背景
第三者が客観的に判断できる品質情報の提供が
可能な品質保証プロセスのさらなる構築を検討
社内プロセスの整備だけでなく、第三者認証で
あるISO/IEC 25051準拠のPSQ認証の取得を検討
PSQ認証では、プロセスは審査対象外であるが、
品質保証プロセスへの標準規格の適用は品質情報
を提供時にプロセス説明も含め有益であると判断
ISO/IEC 25051:2014(後にJIS X 25051:2016)を意
識し、品質保証プロセスにSQuaREの導入を決定
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
SQuaRE導入後の品質保証プロセス
WingArc1st品質保証プロセス基盤
規格関連
品質モデル 評価プロセス
JIS X 25010
JIS X 25020
JIS X 25030
JIS X 25040
ISO/IEC/IEEE 29119
社内基準
品質保証方針
アセスメント
ソフトウェア品質シンポジウム2016
セキュリティ テスト文書
評価
ISO/IEC 15408
Protex
CodeCenter
品質保証基準
ISO/IEC/IEEE
29119-3
検証結果
報告書
JIS X 25051
各種ガイドライン
内部監査
ISO/IEC 33063
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
品質保証プロセス体系図(抜粋)
品質保証方針
品質保証基準
テスト計画ポリシー
テスト設計ポリシー
クライテリアガイドライン
受入テスト設計
ガイドライン
マイルストーンガイドライン
機能テスト設計
ガイドライン
テストレベルガイドライン
テスト管理ポリシー
インシデント管理ガイドライン
テスト管理ガイドライン
ソフトウェア品質シンポジウム2016
性能テスト設計
ガイドライン
ユースケース設計
ガイドライン
マニュアルベーステスト
設計ガイドライン
検証結果報告書
ポリシー
検証結果報告書
作成ガイドライン
セキュリティ
ポリシー
OSS利用
ガイドライン
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
プロセス更新作業の流れ
品質保証プロセスに組み込む標準規格の選定
各種ポリシー/ガイドラインの更新
テスト資産の再マッピングルールの策定
新しいMTP/LTP作成プロセスの作成
利用時の品質の方針検討
検証結果報告書のガイドライン作成
ソフトウェア品質シンポジウム2016
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
利用時の品質の取り組み
ソフトウェア品質シンポジウム2016
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
利用時の品質の検証方針
JIS X 0129-1の頃より、利用時の品質は定義されているが、
利用時の品質に対する取り組みは非常に難しい
• 利用時の品質のメトリックスがあいまいである
• 開発プロジェクトでそもそも検証できるものであるのか
品質特性が定義されているので、
ひとまず検証方法を検討
２つのテストタイプにて利用時の品質をテスト
• ユースケースベースのシナリオテスト
• マニュアルベーステスト
それぞれのテストタイプでテスト観点で利用時の品質を考慮
メトリックスでのクライテリアを定義するのでは
なく、検証結果の定性分析を中心とする方針を導入
ソフトウェア品質シンポジウム2016
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
検証結果報告書の
ガイドライン作成
ソフトウェア品質シンポジウム2016
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
検証結果報告書のガイドライン
MTPはテンプレートを用意し、記載粒度を
統一していたが、検証結果報告書の記載に
関するガイドラインは存在しなかった
出荷承認会議提出のため、
レビュー工数が増大していた
JIS X 25051:2016を参考に検証結果報告書
のガイドラインを整備し、記載事項の内容と記載
粒度の統一を図り、レビュー工数削減を狙った
ソフトウェア品質シンポジウム2016
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
22
検証結果報告書の目次（抜粋）
1. プロジェクト概要
2. 品質要求
•
•
•
•
5. 品質要求への対応結果
•
•
•
•
ソフトウェア検証結果
システム検証結果
利用時品質の検証結果
マニュアルの検証結果
ソフトウェア製品品質目標
システム製品品質目標
利用時品質の品質目標
6. 総論
マニュアルの品質目標
3. 検証計画および検証方針
•
•
•
•
製品の品質保証レベル
テスト戦略
テストスケジュール
リスクマネジメント
4. 品質評価報告
•
•
•
•
ソフトウェア製品評価
システム製品評価
利用時品質の評価
マニュアルの評価
ソフトウェア品質シンポジウム2016
Appendix（別冊構成）
•
•
•
•
•
•
機能検証結果
効率性検証結果
セキュリティ検証結果
利用時の品質の検証結果
マニュアルの検証結果
品質分析結果
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
検証結果ガイドライン
ガイドラインから抜粋
2.品質要求
品質目標を記載する。IEEE 829の品質目標はソフトウェア製品品
質のみを記載していたが、今後は次の品質目標をすべて記載。
• ソフトウェア製品品質目標
JIS X 25010のソフトウェア製品/システム製品の品質特性に従い、品
質目標を記載する。
• システム製品品質目標
WA製品では実現できない機能を他社製品で補う場合のみ、JIS X
25010のソフトウェア製品/システム製品の品質特性に従い、品質目標
を記載する。
• 利用時の品質の品質目標
JIS X 25010の利用時の品質特性に従い、品質目標を記載する。
ここの記載では、マニュアルベーステストとシナリオテストで保証す
る品質特性を分ける必要はない。
• マニュアルの品質目標
JIS X 25051の利用者文書の品質特性に従い、品質目標を記載する。
ソフトウェア品質シンポジウム2016
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
検証結果ガイドライン
ガイドラインから抜粋
3.検証計画および検証方針
ISO/IEC/IEEE 29119-3に準拠したMTPから、検証計画および検証
方針を抜粋し、記載する。必ず、MTPのどこに記載されているか
記載すること。
• 製品の品質保証レベル
社内基準のどの品質保証レベルを満たす必要があるかを記載。
• テスト戦略
今回のプロジェクトのテスト戦略を記載。
• テストスケジュール
MTP作成時の予定と実績が分かるように記載。受入テストの
期間についても必ず記載。
• リスクマネジメント
MTPに記載したリスクのうち、プロダクトリスクに関わる部
分について記載。対応方針のないリスクのみの記載はNG。
ソフトウェア品質シンポジウム2016
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
プロジェクトへの適用例
ソフトウェア品質シンポジウム2016
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
新プロセス導入教育
次の方針に従い、開発部門および品質保証
部門の全メンバーに新プロセス教育を実施
① 品質特性の差異(JIS X 0129-1とJIS X 25010)
② JIS X 25010の品質特性に対応するテストタイプ例の
紹介およびテスト設計ガイドライン
③ 既存テスト資産のJIS X 25010の品質特性への分類
ルールと新規追加の品質特性の取り扱い方針
④ ソフトウェア製品品質と利用時の品質の品質特性を
含めたテスト観点テンプレート
⑤ MTP/LTPのガイドラインと承認プロセス
⑥ 検証結果報告書のガイドライン
ソフトウェア品質シンポジウム2016
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
27
適用結果
2016年前半にPSQ認証を更新予定のBI製品および帳票
製品の計3つの製品開発プロジェクトに新プロセスを適用
新プロセス適用による問題は発生しなかった
• 新プロセスの導入教育を徹底したこと
• 検証結果報告書のガイドラインにより、アウト
プットのイメージの共有ができたこと
• すでに品質特性を利用した品質評価プロセスを利
用したこと
利用時の品質、利用者文書の品質に品質特性を活用
できたことにより、ソフトウェアだけでなく、製品
全体の品質を客観的に判断できるようになった
ソフトウェア品質シンポジウム2016
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
28
まとめ
ソフトウェア品質シンポジウム2016
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
JIS X 25051導入効果
効果
 製品全体に対し、品質特性による品質要求を定義する
ことにより、開発プロジェクトのゴールが明確になった
 すべてのテスト資産とバグ情報に品質特性が紐付いて
いるので、品質特性によるカバレッジ測定が可能となった
 品質が向上しただけでなく、テストの見積精度が向上した
 利用時の品質に対する取り組みを開発プロジェクト期間
中に実施することができた
課題
 テストに参画する全メンバーに品質特性の理解が必要な
ため、協力会社の選定基準が大幅に高くなった
 標準規格動向の調査と最新規格への追随が必要
ソフトウェア品質シンポジウム2016
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
さらなる改善へ向けて
利用時の品質の評価プロセスの改善
 マニュアルベーステストの実施要件の明確化
 シナリオテストのカバレッジ測定方法の策定
製品サポート時のユーザーからの要望や各種指摘
の品質特性による分類
利用時の品質のためのメトリックス策定(ISO/IEC
25022を活用)
利用時の品質のメトリックス策定により、品質向上を実
現できているかを定量的に分析することが可能だと推測。
テクニカルサポートへの問い合わせの分類により、製品
のエンハンスの指針としての利用、各品質特性と問い合
わせの相関関係を予測し、質の高いサポートを提供する
ための材料となるだけでなく、利用時の品質低下につな
がる障害情報の蓄積等、今後の改善を検討中。
ソフトウェア品質シンポジウム2016
Copyright © 2016 WingArc1st Inc. All Rights Reserved.
ソフトウェア品質シンポジウム2016

年度前期追試験の時間割変更について