シナリオを用いたレビュー手法PBRの追証実験 - UMLで記述された設計仕様書を対象として - 松川文一井上研究室背景ソフトウェアの生産性と品質の向上, 低コスト開発への要求の高まりソフトウェアレビューソフトウェアのプロダクトの内容について, 作成者と他の開発者たちとの間で議論し, プロダクト内のバグを早期発見することを目的とする. これまでに多くの手法が提案されている.  Checklist-based Reading(CBR)  Scenario-based Reading(SBR) - Perspective-based Reading(PBR) etc… 2015/10/1 特別研究報告会 2 CBRとPBR（1/2）チェックリストクラス図，状態図，シーケンス図，コンポーネント図に対して，以下の項目についてチェックしてください．チェックした際にバグを見つけた時には，図上のバグの箇所に印をつけて，バグ調査表に記入してください． CBR（Checklist-based Reading）   いくつかのチェック項目を並べたリストを元に, それに対して yes/no形式で答えながらレビューを行う yes/no形式で答えるのでレビューは容易に行うことができる反面,プロダクトの全体を網羅する必要があり, レビューに費やす時間や負担は大きくなってしまう 2015/10/1 クラス図 1. 2. 3. 4. 5. 特別研究報告会クラス図と要求仕様書の間に矛盾はありませんか？必要なクラス，関連が全て定義されていますか？冗長なクラスはありませんか？  yes  no  yes  no  yes  no 全ての関連について多重度は定義されていますか？プログラムを書く上で十分な情報が記入されていますか？  yes  no  yes  no 3 CBRとPBR（2/2）チェックリスト（ユーザ） PBR（Perspective-based Reading）    プロダクトに関わるいくつかの立場（ユーザ, 設計者, プログラマ等）を設定し, それぞれの異なった視点からレビューを行う各役割毎に, レビューの順序, 方法, チェック項目等が記されたシナリオを用いる各役割でのレビュー対象がプロダクトの一部に限られるので, レビューにかかる時間や負担は少ない 2015/10/1 あなたはこのソフトウェアのユーザであると思ってください．あなたの目標は，要求仕様書，ユースケース図，状態図，シーケンス図があなたの要求を満たしているかどうかをチェックすることです．具体的には，ユーザの立場で，状態図とシーケンス図にバグがないかどうかをチェックしてもらいます．チェックは，以下のStep1～Step5に従って行ってください．各Step では指定された設計図を用意して，チェック項目に従って確認してください．バグを発見した時には，図上のバグの箇所に印をつけて，バグ調査表に記入してください．シーケンス図と要求仕様書をチェックします． Step4 要求仕様書から，あなたが必要と思われるオブジェクトをリストアップしてください．次にシーケンス図に表れているオブジェクトをリストアップしてください．2つのリストを比較して，以下の質問に答えてください． 4.1 要求仕様書から得られたオブジェクトが少なくとも一つのシーケンス図上にありますか？シーケンス図とユースケース図をチェックします． Step5 ユースケース図の各ユースケースの横に，対応するシーケンス図の名前を書いてください．次に，以下の質問に答えなさい．特別研究報告会 4 関連研究レビュー手法の比較評価   オブジェクト指向設計で用いられる開発言語 UML(Unified Modeling Language)で記述された設計仕様書に対する2つのレビュー手法(CBR, PBR)の比較評価実験[1] 実験で用いられたUML図は2種類（クラス図, コラボレーション図）であったため, 様々なコンテキストに対して比較評価を行う必要がある. [1]O. Laitenberger, C. Atkinson, M. Schlich, K. El Emam. “An experimental comparison of reading techniques for defect detection in UML design documents”, The Journal of Systems and Software, 53:183204, 2000. 2015/10/1 特別研究報告会 5 目的より多くの種類のUML図に対してCBR, PBRの2つの手法での比較評価実験を行う 2015/10/1 特別研究報告会 6 評価実験（1/2）被験者  情報科学科3年生59人レビュー対象システム   セミナ情報システム医療情報システム PBR CBR ユーザ設計者プログラマセミナ情報システム 7 6 6 11 医療情報システム 7 6 6 10 2015/10/1 特別研究報告会 7 評価実験（2/2）入力出力 CBR 要求仕様書  UML図  - ユースケース図 - クラス図（バグ数3） - ステートチャート図（バグ数4） - シーケンス図（バグ数5） - コンポーネント図（バグ数3）  チェックリスト（シナリオ）  UML図 - 検出したバグの該当場所に印を付けたもの PBR（ユーザ）  PBR（設計者）バグ報告書 - 検出バグについて該当UML図, チェックリストの項目, 検出時刻等を記録 PBR（プログラマ） 2015/10/1 特別研究報告会 8 収集データバグ時間 ( min ) 人数セミナ情報システム医療情報システム 2015/10/1 検出可能数平均発見数 max/min 平均 max/min PBR（ユーザ） 7 7 4.43 6/3 60.43 90 / 46 PBR(設計者） 6 6 5.00 6/4 65.50 80 / 51 PBR(プログラマ） 6 9 6.50 9/5 76.67 95 / 40 CBR 11 15 10.55 13 / 8 74.64 90 / 62 PBR(ユーザ） 7 7 4.43 6/3 48.29 70 / 25 PBR(設計者） 6 6 3.83 5/3 59.17 73 / 30 PBR(プログラマ） 6 9 6.33 7/5 63.30 77 / 44 CBR 10 15 10.50 12 / 8 70.10 94 / 60 特別研究報告会 9 バグ検出率 CBR (%) PBR 80 70 60 50 全体ユーザが検出可能なバグ設計者が検出可能なバグプログラマが検出可能なバグ検出率 = （検出バグ数）/（検出可能バグ数）どの項目においても大きな差は見られなかった 2015/10/1 特別研究報告会 10 バグ検出率（バグの種類別）バグのタイプ別 CBR PBR (%) 90 80 70 60 50 構文的バグ意味的バグ他図との関連バグ構文的なバグについてはCBR, 意味的なバグや他の図との関連バグについてはPBRに高い検出率 CBRは広くチェックする分, 表面的なバグは発見しやすい PBRは範囲が限られる分, より深くチェックできる 2015/10/1 特別研究報告会 11 バグ検出率（UML図別） U ML図別 (%) CBR PBR 90 80 70 60 50 クラス図ステートチャ－ト図シーケンス図コンポーネント図クラス図についてはCBR, その他の図においてはPBRに高い検出率クラス図には構文的なバグが多い ⇒ CBRで検出しやすいコンポーネント図には他の図に関連したバグが多い ⇒ PBRで検出しやすい 2015/10/1 特別研究報告会 12 チーム間の比較一般的にレビューは複数の人数（チーム）で行う被験者で仮想的にチームを作り, バグ検出数について比較を行った  検出可能バグ数   CBR - 1（人/チーム） PBR - 3（人/チーム, 各役割から無作為に一人ずつ選ぶ） ⇒PBRに有効性  人数   CBR - 3（人/チーム, 無作為に選ぶ） PBR - 3（人/チーム, 各役割から無作為に一人ずつ選ぶ） ⇒CBRに有効性 2015/10/1 特別研究報告会 13 まとめと今後の課題まとめ   UMLで記述された設計仕様書を対象とし, 2つのレビュー手法CBRとPBRを用いた評価実験を行った構文的なバグ検出にはCBRに, 意味的なバグ検出に関してはPBRに有効性が認められた今後の課題   チーム間でのより詳細な比較分析更なる追証実験によるデータ収集 2015/10/1 特別研究報告会 14 2015/10/1 特別研究報告会 15 バグについて（1）番号図 1 クラス図クラス間の関連が無い 2 クラス図冗長なクラスの存在 3 クラス図クラス間の多重度の定義漏れ 4 状態図要求仕様に矛盾した状態の存在 5 状態図状態の名前漏れ 6 状態図状態の順番の違い 7 状態図冗長な状態の存在 2015/10/1 内容特別研究報告会 16 バグについて（2） 8 シーケンス図必要なオブジェクトが存在していない 9 シーケンス図矛盾したメソッド呼び出し 10 シーケンス図メッセージ名の漏れ 11 シーケンス図必要なユースケースが実現されていない 12 シーケンス図重複したメソッド呼び出し 13 コンポーネント図必要なクラスが存在していない 14 コンポーネント図必要なコンポーネントが存在しない 15 コンポーネント図冗長なコンポーネントの存在 2015/10/1 特別研究報告会 17 チームの組み合わせについて CBR C1 C2 母平均の差の検定グループ1 2015/10/1 設計者 (U1.. U7) (D1.. D6) 総比較回数 7P6 × 6! × 6! = 3,628,000 プログラマ (I1.. I6) U1 D1 I1 U2 D2 I2 : : U6 D6 I6 U1 D1 I6 U2 D2 I1 : : D6 I5 : : : : C10 ユーザ : U6 特別研究報告会 PBR グループ1 グループ2 ：：： 18