1 第2回IV&Vコンテストの概説 2016年01月19日 国立研究開発法人 宇宙航空研究開発機構 研究開発部門 第三研究ユニット Copyright © 2015 JAXA all rights reserved. 2 © 2015 JAXA 目次 第1章 第2回IV&Vコンテストの概要 1-1 開催概要 1-2 参加チームの紹介 第2章 参考 第2回IV&Vコンテストの内容 2-1 審査範囲の説明 2-2 テーマの説明 技術審査指標の事例紹介 参考 審査指標の紹介 参考 採点の事例紹介 3 開催概要 ■開催目的： 産業分野を問わずソフトウェア検証に従事している方々へ、コンテスト形式の 体験を通してJAXAが実施しているIV&V活動を普及していくこと。 ■想定参加者 ・ソフトウェア検証業務に従事している人 ・自社で行うソフトウェア検証に課題を持たれている方 ※ソフトウェア検証に関する業務歴が10年未満程度であることが望ましい ・アシュアランスケースや検証の可視化に興味がある方 ■定員 6チーム（3名×6チームで18名程度の募集） ■スケジュール概要 ・11月 参加者が成果物を作成 ・12月 審査 ・1月 審査講評（本日） 4 ■参加チームの紹介 時間帯 チーム名 14:00～ チーム① DC-R5 14:10～ チーム② SAYURIST 14:20～ チーム③ TeamSanpei 14:30～ チーム④ ビッグマウス 14:40～ チーム⑤ プレミアム・テバサキ 14:50～ チーム⑥ ぶんぶん 15:00～15:15 聴衆の投票タイム 15:15～15:30 休憩 15:30～16:15 講評・授賞式 5 審査範囲の説明 提示（11月） ■評価対象 ・電子レンジ ・電子レンジ ・電子レンジ ・電子レンジ 参加者が作成（12月） IV&V活動として システム方式設計書 運用シナリオ ソフトウェア要件定義書 ソフトウェア方式設計書 ■参考資料 ・IV&Vガイドブック ・IV&V戦略フレームワーク基準書 ・IVVケースエディタ（ツール） 最優秀賞（技術審査） リスク導出経緯 リスク ・なぜ（どんなSWリスクを） ・何を（どんな対象に） 検証 戦略 ・どうやって（どの視点で） 評価項目 検証するのか、表現 （GSN形式を活用） ベストプレゼンテーション賞 ・概要： 審査基準に対し、合計得点の最も高いチーム ・概要： 聴講者による投票を行い、最も票数高いチーム ・審査員： JAXA内部のIV&V活動従事者 ・投票者： 本日のWOCS参加者 6 第13回クリティカルソフトウェアワークショップ IV&Vコンテスト「ベスト・プレゼンテーション賞」 【概要】 聴講者による投票によって、プレゼンテーションの優秀チームを選出します。 【投票資格】 各チームのプレゼンテーション聴講された方全員に投票権利があります。 ※プレゼンテーション実施の途中入場や途中退室の場合は、投票資格がありません。 全チームのプレゼンテーションを聴講することが必須となります。 【投票】 各聴講者は、1票ずつの投票資格となります。 全チームのプレゼンテーションが終了した時点で、最も良いと判断したチームに 投票をお願いします。 【ベスト・プレゼンテーション賞】 最も投票数が多いチームに、表彰状と副賞（SEC BOOKS一式）を贈呈します。 7 コンテスト題目 電子レンジ開発プロジェクトに対するIV&Vの依頼を受けました。 IV&Vスポンサの要望に応えるためにはどのような評価を実施すれば 良いのか、戦略をGSN形式で作成して下さい。 ・リスク導出経緯のトップゴールは、「電子レンジソフトウェアにSWリスクがある。」 ・検証戦略のトップゴールは、「電子レンジソフトウェアにSWリスク※1が十分低減されている。 （又は、SWリスクがない） 」 ※1：導出された「SWリスク（＝問題事象）」の内容を記述する。 【要望】 以前、多機能電子レンジを開発したチームに、今度はシニア 向けの電子レンジを開発してもらっている。 前回は多機能だけあって、ユーザテストの時点からの手戻り も多く発生した。今回は出来るだけ手戻りなく開発を進めた い。 IV&Vスポンサ IV&V戦略の提示 IV&V結果の説明 IV&Vチーム （皆さん） 【懸念情報】 開発担当者：「本プロジェクトは、過去の 電子レンジ開発の成果物を流用してい るが、流用と新規開発部分が完璧には 管理されていない。」 資金提供 開発成果物の 提示 IV&V結果の提示 問題点の提示 電子レンジ開発 プロジェクトチーム 8 参考： 審査範囲 業務 説明先 開発プロジェクト 主張：ソフトウェアリスクがないこと （十分に低減されていること） イメージ ソフトウェアリスクがある 証拠 観点選択の 根拠 リスク導出 観点 SWリスク （SW不具合要 因） SW仕様情報 評価目的 ・・・ 観点選択の 根拠 IV&V活動の分析結果 証拠：エビデンス （修正された開発成果物） IV&V保証事項 （SWリスク低減） リスクA、B、 C・・・ IV&V実施組織 検証戦略 根拠 システム 仕様情報 リスク導出経緯 状態遷移処理にSW不具合 要因となるリスクがある 説明元 GSN記法 評価観点 評価項目（判定基準） 分析結果 （評価作業結果） 修正された 開発成果物 分析結果 （開発成果物） 9 参考： 審査基準（概要） ・指標1： 論理性 「IV&V検証戦略フレームワークにおける基準書」に準拠しており、論理性があるか。 ・指標2： 独自性 一般的に行われる開発活動内で行われる妥当性確認や検証活動と異なるか。 ・指標3： 懸念点 ソフトウェアの不具合要因となる懸念点を具体的に提示できるか。 深く ・指標4： 評価作業性（分析の深さ） 末端ゴールが評価作業な内容まで具体化されているか。 ・指標5： 多角性（分析の広さ） 評価観点（戦略）が多角的及び網羅的であるか。 IVVケース 広く 10 参考： 審査基準（得点方法） 指標 審査内容 審査項目 対象ノード 計算方式 1 論理性 「IV&V検証戦略フ レームワークにおけ る基準書」に準拠して おり、論理性がある か。 ・記法上の誤り事例に該当する（-1点） ※ナンバリングは含みません。 ・上位と下位ゴールに論理性がない ＝反例がある（-1点） 全ノード 基礎点6点 （減点方式） 2 独自性 一般的に行われる開 発活動内で行われる 妥当性確認や検証活 動と異なるか。 分析フレームワークや事例が提示 ・分析方法が独自（工夫有）である。（＋6点） ・既存の分析方法を活用している。（＋3点） ※分析フレームワークや事例が提示されて いない場合は加算されません。 コンテキスト スコープ 加算方式 3 懸念点 ソフトウェアの不具合 要因となる懸念点を 提示できるか。 ・本SWでありうる懸念事項（＋2点） ・一般的にありうる懸念事項（＋1点） ※加算される懸念事項は1回のみ コンテキスト 【懸念事項】 加算方式 4 評価作業 性 ソフトウェアの不具合 要因となる懸念点を 提示できるか。 末端ストラテジー毎に下記を加算 ・誰が作業しても変わらない。（＋2点） ・前提知識があれば同じ判定となる。 （＋1点） 末端ゴール 加算方式 5 多角性 評価観点（戦略）が多 角的及び網羅的であ るか。 ・ストラテジーの種類毎に（＋1点） ストラテジー 加算方式 No 11 参考： 審査事例（論理性） 審査項目： 基礎点（各3点）から、該当箇所がある毎に減点。 ・記法上の誤り事例に該当する（-1点） ・上位と下位ゴールに論理性がない（-1点） 電子レンジ制御SW の にリスクがある。 電子レンジ制御SW の にリスクがある。 減点対象の事例 電子レンジ制御SW の データ処理にリスク がある。 ・「戦略（視点）」が不明 ・制御SWを構成する要素は、デー タ処理以外も存在する。 （反論例：状態遷移処理等） 開発文書毎に確 認する 過去の不具合か ら確認する ・「戦略（視点）」に相関（包含関係） があり、以降の展開で多数の重複 が発生する。 ※過去の不具合は分析結果を コンテキストとして引用することを推奨 12 参考： 審査事例（独自性） 審査項目： 分析フレームワークや事例が提示された場合 ・分析方法が独自である。（＋6点） ・既存の分析方法である。（＋3点） だたし工夫点があれば独自とみなす。 電子レンジ制御 SWの にリスクがある。 非安全ガイドワードとは ・制御操作（データ）が来ない ・誤った制御操作が来る ・意図しないタイミングで正しい制御 操作が来る ・制御操作が途中で停止、または長 く続く。 非安全ガイド ワードに沿って 分解する。 ・ ・ ・ 電子レンジ制御SW にデータが来ない 場合、データ処理 にリスクがある。 【評価対象】 制御SWと外部機器の 双方向通信 STAMP/STPA分 析 分析フレームワークと、電子レンジの仕 様情報を用いて、事例を提示している。 （＋6点） ※独自手法（JSTQB等の一般書籍にな い）場合、名称を独自に付けて下さい。 一般的手法でも、工夫点があれば、捕 捉説明して下さい。 入力情報 来ない 早過ぎる 遅すぎる 誤り 13 参考： 審査事例（懸念点） 審査項目： 分析フレームワークや事例が提示された場合 ・本SWでありうる懸念事項（＋2点） ・一般的にありうる懸念事項（＋1点） 電子レンジ制御SW の入力処理に リスクがない （又は品質が十分） 【評価対象】入力処理は ・ユーザIF ・センサー の2種類がある。 入力順番の組合せ を分ける。 【懸念事項】 過去に、ボタン操作の順番 に誤りがあり、制御SWがエ ラーとなった。 運用シナリオ分析 ・ ・ ・ SWの開発でよくある誤 りの場合、＋1点 電子レンジの特性を言 及している場合、＋2点 参考： 審査事例（評価作業性） 14 審査項目：末端ストラテジー毎に下記を加算 ・誰が作業しても変わらない。（＋2点） ・前提知識があれば同じ判定となる。（＋1点） 電子レンジ制御SWと HWのインターフェー スが整合している。 評価対象と判定基準が明 確であるため、客観性が 高く、誰が作業しても変わ らない。（＋２点） レジスタの名称（ID） が整合している。 レジスタの構成要素毎 に確認する。 レジスタの型が整合 している。 レジスタのアドレス番 地が整合している。 【懸念事項】 SWとHWのレジスタに関す る項目が不一致で問題が 発生した。 レジスタのデータ長 が整合している。 15 参考： 審査事例（多角性） 審査項目： ・ストラテジーの種類毎に（＋1点） 電子レンジ制御SWに リスクがある。 ストラテジーは、 「シナリオ」 「構成」 の2つで、合計2点 シナリオで分ける 電子レンジ制御SWに Aシナリオでリスクがある。 構成で分ける 電子レンジ制御SWに Bシナリオでリスクがある。 構成で分ける 同じストラテジー であるため、1点 ※2点とならない
© Copyright 2024 ExpyDoc
