電子マニュアルの構造を利用した 文書評価メトリクス 川口真司 谷口真也 松下誠 井上克郎 大阪大学大学院基礎工学研究科 Software Engineering Research Group, Graduate School of Engineering Science, Osaka University 背景 ソフトウェアが分野を問わず広く利用 開発・利用のためにわかりやすいマニュアルが必要 文書の電子化が進行 電子マニュアルの構造に着目した評価メトリクス † 構造的欠陥をもつマニュアルの検出 改善の補助 † 谷口他: “電子マニュアルの文書構造に対する文書評価メトリクス” 電子情報通信学会ソフトウェアサイエンス研究会 (2001) 2001/9/26 2 Software Engineering Research Group, Graduate School of Engineering Science, Osaka University 評価メトリクスの定義手順 文書構造 モデル 評価基準 HTML マニュアル 対応 計測 計測項目 計測結果 2001/9/26 3 Software Engineering Research Group, Graduate School of Engineering Science, Osaka University 目的 提案されているメトリクスの検証はされていない 実際のHTMLマニュアルにおける計測結果の収集, 分析を 行い, 計測項目の妥当性を調査する 構造化文書モデル, 評価基準, 計測項目の説明 HTMLマニュアルの収集 計測ツールの作成 データ計測 計測結果の分析 2001/9/26 4 Software Engineering Research Group, Graduate School of Engineering Science, Osaka University HTMLで記述された構造化文書 モジュール ファイル 情報ブロック モジュール 情報ブロック 階層（見出 し） 階層(構造リン ク) ページ内参照リンク モジュール モジュール ページ外参照リンク ファイル ファイル モジュール モジュール HTML記述された構造化文書の模式図 2001/9/26 5 Software Engineering Research Group, Graduate School of Engineering Science, Osaka University 各要素とHTML構文との対応 モジュール <H1>…<H6>タグによって分割された一連の情報 情報ブロック <P>...</P>タグで記述されている段落 階層 <H1>…<H6>タグの数字の大小 構造リンク 参照 ページ内参照リンク ページ外参照リンク <A>タグによって記述 2001/9/26 6 Software Engineering Research Group, Graduate School of Engineering Science, Osaka University 提案されている評価基準 モジュールに関する評価基準 1. モジュールのサイズは１ウィンドウ程度 2. 各モジュールのサイズは均等 3. モジュールは複数の情報ブロックから構成 階層に関する評価基準 4. モジュールの階層は基本的に３階層 5. 各モジュールの子供は適切な数にする ファイルに関する評価基準 6. １ファイルに記述されるのは１モジュール 参照に関する評価基準 7. １モジュールにつき１つのページ内参照リンク 8. 関連のあるモジュール間でのページ外参照リンク 2001/9/26 7 Software Engineering Research Group, Graduate School of Engineering Science, Osaka University 計測項目 マニュアルにつき一つ ファイル数(6) 階層の深さ(4) 構造リンク数 / 1000字(4，5) ページ内参照リンク数 / 1000字 (7) ページ外参照リンク数 / 1000字 (8) 外れファイル数:構造リンク(4，5) 外れファイル数:ページ内参照リンク (7) 外れファイル数:ページ外参照リンク (8) モジュール・ファイルごとに一つ （マニュアルにつき複数存在） 文字数 / モジュール (1，2) 情報ブロック数 / モジュール (1， 2，3) 子供の数 / モジュール (5) 文字数 / ファイル (7，8) モジュール数 / ファイル (6) 2001/9/26 8 Software Engineering Research Group, Graduate School of Engineering Science, Osaka University 計測項目 マニュアルにつき一つ ファイル数(6) 右の５項目については以下の 階層の深さ(4) 統計量について分析する 構造リンク数 / 1000字(4，5) •最大 ページ内参照リンク数 / 1000字 (7) •最小 ページ外参照リンク数 / 1000字 •平均 (8) •分散 外れファイル数:構造リンク(4，5) •標準偏差 外れファイル数:ページ内参照リンク •正規化分散 (7) •尖度 外れファイル数:ページ外参照リンク (8) •変動係数 モジュール・ファイルごとに一つ （マニュアルにつき複数存在） 文字数 / モジュール (1，2) 情報ブロック数 / モジュール (1， 2，3) 子供の数 / モジュール (5) 文字数 / ファイル (7，8) モジュール数 / ファイル (6) 2001/9/26 9 Software Engineering Research Group, Graduate School of Engineering Science, Osaka University 計測項目の算出 142件(7885ファイル)のHTMLマニュアルを 無作為に収集 Internet Explorer 5.5 800×600 のウインドウ フォントサイズ 中 計測ツールを用いて各種計測項目の算出 2001/9/26 10 Software Engineering Research Group, Graduate School of Engineering Science, Osaka University 試作ツール – 概要 HTMLで記述された電子マニュアルから，各種計測 項目を算出する 構成 構造解析部 指定されたURLから, HTMLマニュアルを特定 ファイル間の構造を解析 計測部 抽出された木構造を元に各種計測項目を算出 2001/9/26 11 Software Engineering Research Group, Graduate School of Engineering Science, Osaka University 試作ツール – 構成図 トップページURL 計測結果 計測部 •各種項目の計測 •結果出力 構造解析部 •HTMLマニュアルに含ま れるファイルの特定 •ファイル構成の把握 マニュアルの ファイル構成 構造評価メトリクス計測ツール 2001/9/26 12 Software Engineering Research Group, Graduate School of Engineering Science, Osaka University 試作ツール – 出力例 マニュアル ごとに １つだけ 存在 マニュアル ごとに 複数 存在 ~/JIKKEN/www.iph.pref.hyogo.jp/users/info/dokugeki/kensahou.htm the number of file = 11 tree depth = 3 structure link = 1.33067198935462 inside link = 0.332667997338656 reference link = 3.2435129740519 odd file of structure link = 1 odd file of inside link = 0 odd file of reference link = 1 avg. sd. cv module size 1.9e+02 1.9e+02 1 module block 0.76 1.5 2 module child count 5 (中略) 7 1.4 file size 1.1e+03 5.1e+02 0.46 module count per file 5.7 3.9 0.68 2001/9/26 13 Software Engineering Research Group, Graduate School of Engineering Science, Osaka University 分析の概要 1. 項目の集約 主成分解析等の統計的手法 2. 各項目について, 異常値を示した文書を抽出 異常値: 平均から標準偏差の2倍以上離れている値 3. 構造的欠陥の有無を調査 2001/9/26 14 Software Engineering Research Group, Graduate School of Engineering Science, Osaka University 集約した計測項目 マニュアルにつき一つ ファイル数(6) 階層の深さ(4) 構造リンク数 / 1000字(4， 5) ページ内参照リンク数 /1000 字(7) ページ外参照リンク数 /1000 字(8) モジュール・ファイルごとに一 つ（マニュアルにつき複数存 在） 文字数 / モジュール (1，2) 情報ブロック数 / モジュール (1，2，3) 子供の数 / モジュール (5) 文字数 / ファイル (7，8) モジュール数 / ファイル (6) 2001/9/26 15 Software Engineering Research Group, Graduate School of Engineering Science, Osaka University 集約した計測項目 マニュアルにつき一つ ファイル数(6) 右の５項目については以下の 統計量について分析する 階層の深さ(4) •平均 構造リンク数 / 1000字(4， •標準偏差 5) •変動係数 ページ内参照リンク数 /1000 字(7) ページ外参照リンク数 /1000 字(8) モジュール・ファイルごとに一 つ（マニュアルにつき複数存 在） 文字数 / モジュール (1，2) 情報ブロック数 / モジュール (1，2，3) 子供の数 / モジュール (5) 文字数 / ファイル (7，8) モジュール数 / ファイル (6) 2001/9/26 16 Software Engineering Research Group, Graduate School of Engineering Science, Osaka University 分析結果 異常値を示したマニュアルの数 合計 48 個 ファイル数 3 ブロック数/モジュール-平均 2 階層の深さ 5 ブロック数/モジュール-標準偏差 7 構造リンク数 4 ブロック数/モジュール-変動係数 4 ページ内参照リンク数 9 子供の数/モジュール-平均 4 ページ外参照リンク数 11 子供の数/モジュール-標準偏差 7 文字数/モジュール-平均 2 子供の数/モジュール-変動係数 6 文字数/モジュール-標準偏差 3 文字数/ファイル-平均 3 文字数/モジュール-変動係数 3 モジュール数/ファイル-平均 3 2001/9/26 17 Software Engineering Research Group, Graduate School of Engineering Science, Osaka University 検出されたマニュアルの例 「山地酪農の技術指導書」 http://group.lin.go.jp/souchi/honmokuji.htm 異常値項目 「階層の深さ」 15 (平均 3.2) 「文字数 / モジュール-変動係数」 3.0 (平均 1.1) 「子供の数 / モジュール-変動係数」 2.7 (平均 0.87) 2001/9/26 18 Software Engineering Research Group, Graduate School of Engineering Science, Osaka University 「階層の深さ」での検出例（1） ある手順の操作説明が線形に記述 手順2を直接見る手段がない 親モジュールへ 手順の概要 手順1 手順2 子モジュールへ 2001/9/26 19 Software Engineering Research Group, Graduate School of Engineering Science, Osaka University 「階層の深さ」での検出例（2） モジュール構成を改善 一覧性の向上 階層の深さ減少 親モジュールへ 手順の概要 手順1 手順2 2001/9/26 20 Software Engineering Research Group, Graduate School of Engineering Science, Osaka University 考察 異常値を示した文書は何らかの構造的欠陥を抱えていた 文字数/モジュール:平均 モジュールが切られていない 子供の数/モジュール:標準偏差 ほとんどすべてのモジュールがトップの子になっている 構造的欠陥がない文書を検出する項目も存在した ファイル数 大規模なドキュメントが検出 ページ外参照リンク数 「次へ」「前へ」「上へ」等のリンクが各モジュールに存在 2001/9/26 21 Software Engineering Research Group, Graduate School of Engineering Science, Osaka University まとめ 数多くのマニュアルに対して計測を行った 各計測項目において異常な値を示したマニュアルに ついて分析を行い, 計測項目の有効性を確認した 今後の課題 他の電子構造化文書フォーマットへの対応 2001/9/26 22 Software Engineering Research Group, Graduate School of Engineering Science, Osaka University
© Copyright 2024 ExpyDoc
