IV&Vの概要 - IPA 独立行政法人 情報処理推進機構

1
JAXA IV&Vの概要
~IV&Vと評価戦略可視化の関係~
2016年01月19日
国立研究開発法人
宇宙航空研究開発機構
研究開発部門 第三研究ユニット
Copyright © 2015 JAXA all rights reserved.
© 2015 JAXA
2
本発表の目的
1. JAXA IV&Vでは、なぜソフトウェア品質や評価
戦略の可視化が必要であったのか理解する
2. JAXA IV&Vで利用している、GSN(Goal
Structuring Notation)を拡張した可視化手法を
紹介し、IV&Vコンテストの成果物を見るための
前提知識を得る
3
© 2015 JAXA
目次
第1章
本発表の前提
1-1 宇宙機ソフトウェアの開発
1-2 アシュアランスケース等の導入における課題
第2章
JAXA IV&Vの特徴
2-1 JAXA IV&V とは?
2-2 論理の可視化の必要性と効果
第3章
JAXA IV&Vの戦略可視化手法
3-1 ワークフローにおける可視化対象
3-2 評価戦略の概要
3-3 評価戦略の見方
4
© 2015 JAXA
本発表の前提①
 ソフトウェア品質=ISO/IEC25000シリーズの
ソフトウェア品質モデル
 品質保証活動の一つとしてV&VやIV&Vがある
影響
プロセス
品質
内部
品質
影響
依存
開発手順や方法
SW内部特徴の品質
外部
品質
影響
利用時
品質
依存
依存
SW実行時の品質
(例:モジュール性、追跡可能性)(例:テスト実行結果)
利用時の品質
5
© 2015 JAXA
1-1. 宇宙機ソフトウェアの開発

人工衛星


ロケット
姿勢制御、データ処理、セン
サー類など組込み系が中心



アセンブラ、C言語


再利用/シリーズ化


放射線の影響
航法誘導制御系等
高信頼性/多数決
アセンブラ、C言語
リアルタイム性
© JAXA
© JAXA

宇宙ステーション





© JAXA
管制システム、マニュピュ
レータ、実験装置など膨大な
数のソフトウエア
高い安全要求
システム構成に人が入る
Ada、C言語
地上管制システム



© JAXA
管制システム
安全性
C、JAVA言語
6
© 2015 JAXA
アリアン5型の打上げ失敗
(1996年)
• アリアン4型の慣性基準装
置ソフトウェアにおいて使
用環境の変化に対する考
慮漏れあり。
• 経済損失:
80億ドル
7
© 2015 JAXA
1-1. 宇宙機ソフトウェアの開発
 開発失敗を防ぐために品質保証に関わる数々の
活動が行われる
【プロセス品質】
•
•
【外部品質】
システムズエンジニ
アリングの適用
プロセスアセスメン
ト
•
•
•
ソフトウェアテスト
レビュー
解析
• 第三者検証
(IV&V)
【内部品質】
•
•
レビュー、ウォーク
スルー
ハザード解析
【利用時品質】
•
• 第三者検証
(IV&V)
•
© JAXA
システムズエンジ
ニアリングの適用
訓練、マニュアル
8
© 2015 JAXA
1-2.アシュアランスケース等の導入における課題
 アシュアランスケース等の導入には、下記のような課題
作成者
作るのが面倒だ
作り方がわからない
多数のメンバー
図を書くことで得られる
恩恵が分からない
レビュー者
記載内容の意味がわか
らないからレビュー
出来ない
レビュー者
ツリーが大きくて
読む気にならない
9
© 2015 JAXA
目次
第1章
本発表の前提
1-1 宇宙機ソフトウェアの開発
1-2 アシュアランスケース等の導入における課題
第2章
JAXA IV&Vの特徴
2-1 JAXA IV&V とは?
2-2 論理の可視化の必要性と効果
第3章
JAXA IV&Vの戦略可視化手法
3-1 ワークフローにおける可視化対象
3-2 評価戦略の概要
3-3 評価戦略の見方
© 2015 JAXA
 IV&V誕生の経緯
 NASAでは、スペース
シャトル「チャレンジャー」
事故の事故調査を経て、
IV&Vプログラムを設立
(1993年)
 JAXAでは、宇宙ステー
ション計画の参加国合意
文書においてソフトウェア
IV&Vを要求され、試行錯
誤で開始(1995年)
出典: JAXA/NASA
10
11
© 2015 JAXA
2-1. JAXA IV&Vとは?
I
ndependent
Verification and Validation
ソフトウェアの独立検証と妥当性確認
ソフトウェアを開発する組織から技術面、組織面、及び資
金面で独立している組織が実施する検証と妥当性確認
技術的独立
組織的独立
資金的独立
12
© 2015 JAXA
2-1. JAXA IV&Vとは?
 JAXAにおけるIV&V活動の保証範囲、評価対象
IV&Vの保証範囲
ソフトウェア
品質モデル
(ISO/IEC25010:
2013より)
内部
品質
プロセス
品質
開発手順や方法
V字モデル
SW内部特徴の品質
外部
品質
試験
文書まで
SW実行時の品質 利用時の品質
実際の評価対象
要件定義
利用時
品質
SW適格性確認テスト
方式設計
SW結合テスト
詳細設計
構築
SW単体テスト
13
© 2015 JAXA
2-1. IV&Vとは?
 独立であることの効果
例えば多様な機器が連携する
システムにおいては、第三者
による客観的な独立評価で以
下の効果あり
 品質に対する説得力
事故発生
私達に
問題はない
B社
A社
 責任の所在の明確化
事故の原因、責任はXXです
私達に
問題はない
第三者
14
© 2015 JAXA
2-1. IV&Vとは?
 第三者による評価なので、評価結果を根拠をもって論理的に
顧客に説明できなければいけない
評価結果の論理的な説明が重要
客観性の欠如
経験豊かな私が評価
したので多分大丈夫
です。
第三者
論理的、具体的な説明
この様な理由と根拠により、
問題があると考えます。
2-2. 論理の可視化の必要性と効果
論理とは
「思考の形式・法則。議論や思考を進める道筋・論法。」
(三省堂 大辞林)
 見えないもの
 頭の中から引っ張り出さなければならない
思考の可視化の例(ロジックツリー)
© 2015 JAXA
2-2. 論理の可視化の必要性と効果
IV&Vでは「独立」組織として価値を出すため、
以下が特徴
1. リスクベースで評価
問題が潜在する可能性が高い箇所を識別し、独自に抽出したリ
スクに対して評価
2. 論理的な網羅性をもってリスクおよび問題
の有無を確認
上記の実現には、何をどう考えて評価したか(=戦略)
を可視化することが必須
17
© 2015 JAXA
2-2. 論理の可視化の必要性と効果
 拡張したGSNの導入による効果
ステークホルダ
・何をしてくれたのか分かる
・GSNの蓄積によりPDCAが回っ
ているように見える(安心感)
IV&V担当
評価の視点が偏っている
新IV&V担当
IV&V後に
不具合
発生
・当時何を評価したのか分かる
・どうすれば不具合を防げたのか
の考察、報告が簡単!
18
© 2015 JAXA
目次
第1章
本発表の前提
1-1 宇宙機ソフトウェアの開発
1-2 アシュアランスケース等の導入における課題
第2章
JAXA IV&Vの特徴
2-1 JAXA IV&V とは?
2-2 論理の可視化の必要性と効果
第3章
JAXA IV&Vの戦略可視化手法
3-1 ワークフローにおける可視化対象
3-2 評価戦略の概要
3-3 評価戦略の見方
19
© 2015 JAXA
3-1.ワークフローにおける可視化対象
 評価戦略と評価結果が可視化対象
P
計画立案
問題候補の羅列
問題候補の蓄積
(リファレンスモデル)
基本
システム分析
リスク評価
評価対象となる問題の確定
(リスク導出経緯)
追加
システム分析
D 評価作業
C 結果分析
問題/リスクに対する検証戦略
リスク評価
尺度
抽象化
汎用化
リスク導出経緯、
保証シナリオの蓄積
問題と検証戦略の
セットの蓄積
評価作業/結果分析
(評価結果)
IV&Vプロジェクト実施結果の分析
A
蓄積改善
20
© 2015 JAXA
3-2. 評価戦略の概要
 JAXA IV&Vでは、GSNを拡張した表現を利用
•
•
GSN : Goal Structuring Notation
GSNはアシュアランスケースを表現する技法
ロジックツリーの
精度が十分である。
上位主張
論拠
なぜそう
思ったか
下位主張
論拠
下位主張
構成要素を
単一と複数
単一ノードの
精度が十分である。
なぜそう
思ったか
単一ノードの
内容の精度がある。
ロジックツリーは、
ノードと線で構成
プロダクトのみに限
定。(プロセス除外)
複数ノードの関係性の
精度が十分である。
2つのノード間の
直接的な関係に限定
内容と表現
単一ノードの表現
の精度がある。
1ノードの構成要素は、
内容と表現
同一階層の分類基
準が合っていない。
水平階層
上位下位
上位ノードに対し、下位
ノードの精度が低い。
21
© 2015 JAXA
3-2. 評価戦略の概要
 GSNの表記方法(基本記号)
ノード名
ゴール
記号
説明
主張
(ゴール)
自分の主張の結論。最上位の結論は「トップ
ゴール」、戦略の下位に位置する結論は「サブ
ゴール」とよぶ。
ストラテジー
戦略
(方法・
根拠)
上位の結論と下位の結論を分解するための
説明、視点、方法。
コンテキスト
前提
(方法・
根拠)
ゴールとストラテジーの前提、根拠や補足事
項。結論/説明を設定するための前提情報
や根拠、説得相手との合意事項を記載する。
エビデンス
証拠
(根拠)
結論(自分の主張)が達成されていることを示
す証拠。
22
TR02-LD-1400-2 Ver. 1.0
3-2. 評価戦略の概要
■ 評価戦略はトゥールミンロジックと対応
トゥールミンロジック
評価戦略(GSN)の構造
(簡略化)
(一例)
主張
• 自分の意見、考え
• 結論
論拠
• 主張に対して真偽を
判定する切り口
事実
根拠
• 真偽を判定する材料
• 主張が成立する事を
支える事実
上位主張
(結論)
戦略
前提
(方法・根拠)
(根拠・方法)
下位主張
前提
(結論)
証拠
(根拠)
(根拠・方法)
23
TR02-LD-1400-2 Ver. 1.0
3-2. 評価戦略の概要
■ 評価戦略はリスク導出経緯と検証戦略で構成
主張
IV&VでSWを評価し
「リスクが無い」ことを言う
↑
そのためには…
何を(何について)
根拠
+
どのように
(どのポイントについて)
評価したか(するか)という方針
+
証拠
評価の元となる情報
(エビデンス)
を合せて言うことが必要
(=どう主張をするかの戦略)
リスク導出経緯
システム
仕様情報
IV&V保証事項
(SWリスク低減)
観点選択の
根拠
リスク導出
観点
SWリスク
(SW不具合要因)
1:1対応
検証戦略
SW仕様情報
評価目的
観点選択の
根拠
評価観点
評価項目
(判定基準)
分析結果
(開発成果物)
24
© 2015 JAXA
3-3.評価戦略の見方
 評価戦略の例
論拠
靴自体のリスクを構造と
素材に分けて捉える
根拠
靴の内部品質として考えられる
のは「構造」と「素材」
上位主張
登山靴の設計に懸念
(リスク)がある
25
© 2015 JAXA
3-3.評価戦略の見方
 評価戦略を見るポイントの例
 深く分析されているか?
 広く分析されているか?
 重複なく論理展開されているか?
 偏りなく論理展開されているか?
上記を判断するには・・・?
次ページへ
26
© 2015 JAXA
3-3.評価戦略の見方
 論理展開が網羅的かを判断する基準の例として、下記が
挙げられる
1. 二項対立な事項で分解
例: ハードとソフト、ミクロとマクロ、変動と固定、質と量
2. 重要な機能を抽象化
例:
(もれなく、だぶりなく)
登山靴: 構造 – 素材
スポーツ精神: 心 – 技 – 体
3. ある前提において抽出される特徴
例: レストラン(一般):
価格 – おいしさ – 店の雰囲気
レストラン(和食):
旬の食材 – ダシ – 器
© 2015 JAXA
27
本発表のまとめ
 JAXA IV&Vでは「独立」という性質から、
何をどのように考えて評価を行ったのかの論理(=
戦略)を可視化する必要があった。
 JAXA IV&Vで利用しているGSNを拡張した可視化
手法を紹介した。コンテスト成果物の詳しい見方に
ついては、次の発表でご紹介します。