講演資料

つながるシステムにおける
利用時の品質向上にむけた
品質要求事項定量化の提案
-NEMの応用-
株式会社 U’eyes Design 神田周一
諸熊浩人
有限会社エムエスエス入江哲
ＵＸ測研伊藤潤
13th WOCS2
1/20/2016
Copyright © 2016 U'eyes Design Inc. All Rights Reserved.
1
はじめに
• 本発表のＰｏｉｎｔ
利用時の品質を定量化し品質目標に加えることの重要性
品質目標を定義しやすい定量化手法の紹介と改善提案
• 利用時の品質と定量化事例の紹介
• ユーザーに使われないシステム開発を防ぐため
利用時の品質を品質目標に加える
• つながるシステムに適した利用品質定量化手法の改善提案
13th WOCS2
1/20/2016
Copyright © 2016 U'eyes Design Inc. All Rights Reserved.
2
国際的な品質標準SQuaREシリーズ
• 「つながるシステム」の品質を語る共通言語SQuaREシリーズ
– Systems and software Quality Requirements and Evaluation
– ISO/IEC 25000シリーズ、JIS X 25000シリーズの呼称
つながる世界のソフトウェア品質ガイド（IPA 2014）
13th WOCS2
1/20/2016
Copyright © 2016 U'eyes Design Inc. All Rights Reserved.
3
SQuaREの品質モデル
• 製品品質、利用時の品質、データ品質が定義されている
つながる世界のソフトウェア品質ガイド（IPA 2014）
13th WOCS2
1/20/2016
Copyright © 2016 U'eyes Design Inc. All Rights Reserved.
4
利用時の品質（利用品質）とは
特定の利用状況において、特定の目標を達成するために、特定の利用者が
彼らのニーズを満たすために、有効性、効率性、リスク回避性及び満足性を
満足して製品またはシステムを使用することができる度合い(JISX:25010)
お客様が製品を使うときに感じる品質(利用品質)と、製品品質とは分けて考える
つながる世界のソフトウェア品質ガイド（IPA 2014）
13th WOCS2
1/20/2016
Copyright © 2016 U'eyes Design Inc. All Rights Reserved.
5
利用時の品質の定量化
• 有効性、効率性、満足性の定量化方法
– ユーザーテスト実施時に以下を測定することで定量化が可能
– 有効性
• タスク完了率、
• エラー数、
• 支援を要した回数など
– 効率
• タスク完了時間
• NEM(後述）
– 満足度
• 利用率
• System Usability Scale (SUS) :Brooke(1996) など
– そのシステムは使いやすいと思うか、など10の質問に5段階で回答
回答結果を０から100のスコアに換算する
13th WOCS2
1/20/2016
Copyright © 2016 U'eyes Design Inc. All Rights Reserved.
6
利用時品質の定量評価事例
• 複合機(Multi Function Printers)での実施事例リコー2006
– 社内プロセスに定義。競合他社との比較や過去モデルとの比較が可能に
– 開発部署と評価部署が、同じ認識のもと議論できるようになった
タスク
達成率
タスク
達成時間
Human Interface Symposium 2006
13th WOCS2
1/20/2016
Copyright © 2016 U'eyes Design Inc. All Rights Reserved.
7
利用時品質の定量評価事例
• SUS測定結果の分布
既発表の129件をサーベイ
– 60以下なら満足度低い、80超えると高いシステムと見なせることがわかった
ユーザーエクスペリエンスの測定東京電機大学出版局(2014)
13th WOCS2
1/20/2016
Copyright © 2016 U'eyes Design Inc. All Rights Reserved.
8
Novice Expert ratio Method(1999)
•開発者と、一般ユーザーとの操作所要時間比(NE比)に着目
–U’eyes Design 鱗原らの開発手法
–利用品質が高い操作のNE比は小さい
Human Interface Symposium 1999
13th WOCS2
1/20/2016
Copyright © 2016 U'eyes Design Inc. All Rights Reserved.
9
Novice Expert ratio Method(NEM)
•ＮＥＭの特徴
–慣れないと操作が難しい、という効率性の課題が検知可能
–わかりにくく試行錯誤を要するような、有効性の課題が検知可能
–ＮＥ比の値に意味がある/意味を持たせられる
•4.5倍以上あったら、重篤な使いやすさ課題が存在（問題検知）
•運転中に操作するエアコンなどは2倍未満が望ましい（品質目標）
–改善効果がＮＥ比の変化として定量的にわかる
–競合などと比較せずともNE比の知見参照すれば品質レベルがわかる
–タスクや機器の違いによらない共通指標として使える可能性あり
–など
Human Interface Symposium 1999
13th WOCS2
1/20/2016
Copyright © 2015 U'eyes Design Inc. All Rights Reserved.
10
NEMの測定事例
•電子政府ガイドライン基本調査結果(2009)
–電子政府ユーザビリティガイドライン制定(2009)根拠として活用された
•「電子政府の総合窓口（e-Gov）」の電子申請手続（社会保険・労働保険分野）[下左]
•「国税電子申告・納税システム（e-Tax）」の電子申請手続き（国税分野）[下右]
6.67
13th WOCS2
1/20/2016
5.67
Copyright © 2016 U'eyes Design Inc. All Rights Reserved.
11
しかし…
• 国内で利用品質の定量化は普及せず、定性が主流のまま
– ユーザーテスト実施工数の確保が容易でない
• 定量化には8名以上のモニターが推奨されていた
– モニター数を減らしても定性的な問題把握は可能
– 専門家による評価結果の説得力が上がってきた
• モニターが不要なので、実施コストは低い
• 一方、ユーザー行動を示すアクセス解析は普及
– ユーザー行動と利用品質との対応の議論は置き去りに
13th WOCS2
1/20/2016
Copyright © 2016 U'eyes Design Inc. All Rights Reserved.
12
これではいけない
測らなくてはマネジメントできない！
13th WOCS2
1/20/2016
Copyright © 2016 U'eyes Design Inc. All Rights Reserved.
13
目指したい姿
• 利用品質もシステム品質目標の一つにすること
– 適切に動作するシステムの開発では不十分
– 利用者が使えるシステムとなるように利用品質においても
質目標設定、達成確認といった、品質マネジメント導入が必要
– 使われない電子申請システム↓類似問題の再発防止に有効
品
日経コンピュータ 2005年11月14日号
13th WOCS2
1/20/2016
Copyright © 2016 U'eyes Design Inc. All Rights Reserved.
14
目指したい姿の実現事例出現
利用品質を品質目標の一つとして全社的に導入
賞
–
–
–
–
名
ソニー(2013)
特定タスク達成で、ユーザーが操作に要する時間に着目し数値化
ユーザーの我慢限界時間を調べ、品質基準設定の参考に
トライアル導入で使い方問い合わせ7割減など効果確認
2013年度、全社的に導入した
事例名
受賞者氏名
所属名
優秀賞
(株)日立製作所 ITプラットフォーム製
三好雅史氏
品事業部でのUXリード人財育成と組織
粟田真悠子氏
変革プログラム
株式会社日立製作所
情報・通信システム社
優秀賞
使いやすさの品質目標値を定金田富美子氏
義した全社的な品質管理
伊藤潤氏
ソニー株式会社
奨励賞
奨励賞
Turtle Taxi（タートル・タクシー）
常盤晋作氏
夏目和彦氏
株式会社アイ・エム・
ジェイ
自社プロダクト、ワイヤレスオーダー株式会社セカンド
システム（QOOpa）開発
ファクトリー
HCＤ-Net ベストプラクティスアワード(2015）
13th WOCS2
1/20/2016
Copyright © 2016 U'eyes Design Inc. All Rights Reserved.
15
目指したい姿 NE比の活用
ＮＥ比もシステム品質目標の一つとして推奨されていた
– 適切に動作するシステムの開発では不十分
– 利用者が使えるシステムとなるように利用品質においても
品質目標設定、達成確認といった、品質マネジメント導入が必
要
– 使われない電子申請システム↓類似問題の再発防止に有効
電子政府ユーザビリティガイドライン付属文書(2009)
13th WOCS2
1/20/2016
Copyright © 2016 U'eyes Design Inc. All Rights Reserved.
16
NE比を品質目標に活用
• ＮＥ比を品質目標に使うメリット：目標値を決めやすい
– 1次元の単純な尺度であること
– 他の機器やタスクにおける測定結果の間で比較できる
– 4.5以上は深刻な使いやすさ課題があるなど、値に対する過去知見が
蓄積している。
– 過去知見を品質目標値設定時の拠り所として活用できる
– 他で設定した品質目標値を参照できる
– 測定が比較的容易で、自動測定の実現可能性も高い
電子政府ユーザビリティガイドライン付属文書(2009)
13th WOCS2
1/20/2016
Copyright © 2016 U'eyes Design Inc. All Rights Reserved.
17
NE比を品質目標に活用
• ＮＥ比測定における課題：エキスパート値の獲得が困難
– 第3者評価の場合、開発に関わった設計者を確保できない
– つながるシステムの場合、全体に関わった設計者は存在しない
– 一般が行なう多様な達成ルートを網羅的に想定するのは容易でない
– 事前に対象サイトにおける様々な操作経験を積ませ準エキスパートとし
て育成したが、エキスパートほどには習熟しない。
– エキスパートの設定が不適切だとNE比の結果を読み誤る恐れがある
• 藤沢市ＮＥ比：エキスパート=6.07
準エキスパート=2.45
• 札幌市ＮＥ比：エキスパート=7.47 準エキスパート=2.12
• 神戸市ＮＥ比：エキスパート=5.69 準エキスパート=2.10
• 熊本市ＮＥ比：エキスパート=7.11 準エキスパート=3.37
情報処理学会
13th WOCS2
1/20/2016
デジタルプラクティスVol.6 No.4(2015)
Copyright © 2016 U'eyes Design Inc. All Rights Reserved.
18
新提案：NEM2.0
• ＮＥＭのエキスパート値を実測ではなく理論的に見積もる
– 開発に関わった設計者が不要になる
• 第3者や、つながるシステムでもエキスパート値が獲得可能
– 見積もるロジックを共有することで、エキスパート値の再現が容易に
• 事前にエキスパート値を獲得し忘れた一般の操作手順が生じても、
後からの獲得に困らなくなる
– 古典的なKeystroke Level Model(KLM)の適用で見積もり可能と予想
• 実績のあるＫＬＭの適用なので、理論の妥当性議論を回避できる
• 設計者という人依存でなく、モデル式からの算出なので再現性がある
13th WOCS2
1/20/2016
Copyright © 2016 U'eyes Design Inc. All Rights Reserved.
19
Keystroke Level Model(KLM)とは
• インタラクティブシステムを用いた作業時間予測の手法
– 作業時間 Tを以下のような単位要素に分解した総和で捉える
• T=K+P+H+M
• 打鍵オペレータＫ：キー移動やマウスクリック
– 平均的なタイピストなら 0.2秒
• ポインティングＰ：マウス使いディスプレイ上を目標まで移動
– フィッツの法則を使って算出 or 代表値1.1秒を用いる
• 手の移動 H：キーボードからマウスへと手を移動
– 定数 0.4秒を用いるのが一般的
• 精神的準備 M:どんなコマンド入力するかなど考える時間
– 定数 1.35秒を用いるのが一般的
– 実際に操作系列に合わせて、単位要素を加算して予測する
– タッチパネルなど、新たな操作方法に応じたモデル構築は必要
Cardら(1980). Communications of the ACM 23
13th WOCS2
1/20/2016
Copyright © 2016 U'eyes Design Inc. All Rights Reserved.
20
予測値と実測値との対応確認
• 自治体引っ越しタスク(2015)での実測結果で相関0.63を確認
–
–
–
–
事前に操作に習熟したウェブサイト設計経験者をエキスパートと見做す
3つの自治体の引っ越しタスクが対象で3回繰り返した
画面スクロール発生しない、目標ポインティング操作4種120回が対象
KLMは以下にて推定
• 操作A：画面内の目標をポイントしてクリック
T＝K(0.2)+P(1.1)+M(1.35)=2.65
• 操作B：画面内を3回ポイントしてクリック（次ページ参照）
T=K(0.2)+3*P(1.1)+M(1.35)=4.85
• 操作C：画面内のコピー対象文字先頭をポイントしてドラッグ開始
T=0.5*K(0.2)+P(1.1)+M(1.35)=2.55
• 操作D：コピー対象文字列の最後までドラッグして、CTRL+Cを入力
その後、次の操作対象をポイントしてクリック
T=2.5*K(0.2)+2*P(1.1)+M(1.35)=4.05
⇒上記4種操作について、エキスパート値と、KLM値とて相関0.63を確認
 今後はポインティングにフィッツの法則の適用を検討などより精緻化させていく
13th WOCS2
1/20/2016
Copyright © 2016 U'eyes Design Inc. All Rights Reserved.
21
予測値と実測値との対応確認
• 操作B：画面内を3回ポイントしてクリック
– メニュー項目をポイントすると下の階層が展開するユーザーインターフェース
↑ﾎﾟｲﾝﾄ
13th WOCS2
1/20/2016
↑ﾎﾟｲﾝﾄ
↑ﾎﾟｲﾝﾄ＞ｸﾘｯｸ
Copyright © 2016 U'eyes Design Inc. All Rights Reserved.
22
参考：KLMオペレータの算出例
• タッチパネル（ＡＴＭを想定）10key入力
– U’eyes Design 鱗原ら(2001)
– ランダムに提示した4桁の数字の入力操作を30回実施(25名）
• 打鍵オペレータＫ：1.00 秒
• ポインティングＰ：1.10 秒
• 手の移動
H：0.40 秒
13th WOCS2
1/20/2016
１
２
３
４
５
６
７
８
９
０
Copyright © 2016 U'eyes Design Inc. All Rights Reserved.
23
つながるシステムでの適用イメージ
• スマホで動画サービスを楽しむまずはサービス登録
– さまざまなステークホルダのUser Interface(UI)を操作
– 開発設計者というエキスパート定義では限界⇒理論的な見積り必要
①スマホUIで
ブラウザアプリを選択
②ブラウザアプリのUIで
サービスサイトを検索
③検索サイトのUIにて
対象サイトを選択
④サイトのUIを操作し
スマホUIで文字入力（右図）
……
13th WOCS2
1/20/2016
Copyright © 2016 U'eyes Design Inc. All Rights Reserved.
24
利用品質を品質目標に加える文化
• ISO25062:2006 がＪＩＳ化されます(2015年度）
– Common Industry Format for Usability Test Reports
– ソフトウェア製品の調達において、そのユーザビリティをわかりやすく
表現し、伝達できるように、ユーザビリティテスト結果の報告書の書式
を定めた規格
– 利用品質の副特性である有効さと効率（および満足度）に関する客
観的な指標の記述が定められている。
調達条件の一つに利用品質を加える文化
=利用品質を品質目標に加える文化
普及を推進したい
13th WOCS2
1/20/2016
Copyright © 2016 U'eyes Design Inc. All Rights Reserved.
25
まとめ
目指したい事
• ユーザーに使われないつながるシステムの開発を防ぐため
利用時の品質を品質目標に加える
主張
• 利用品質の品質目標設定にＮＥ比が有効なこと
• エキスパート値の獲得というＮＥ比算出時の課題を
KLM手法で見積もるNEM2.0の提案
• ISO25062のJIS化を機に、利用品質を品質目標にする文化を
普及を推進したい
13th WOCS2
1/20/2016
Copyright © 2016 U'eyes Design Inc. All Rights Reserved.
26
感謝
• ありがとうございます
13th WOCS2
1/20/2016
Copyright © 2016 U'eyes Design Inc. All Rights Reserved.
27

Download Report