コンピュータプラクティスⅠ

コンピュータプラクティスⅠ
再現性
水野嘉明
本日の予定
 「再現性」
実験の再現と実験環境について
前回の実験1、2について、追実験
をおこなう
 実験レポート
R4として提出する
2
科学的方法 – 第三者による検証
 論文(実験レポート)による成果の発表
実験が正しいことの検証
帰納的推論、演繹的推論に誤りがな
いことの検証
批判に耐えることにより、研究成果は
受け入れられる
3
実験の再現
 実験の正しさは、どのようにして証明
されるか?
誰がやっても同じ結果になれば、正し
いものと認められる
追実験が重要である
4
実験の再現
 第三者が、同じ条件で実験を再現で
きなければならない
 論文・レポートには
実験環境
実験の方法・手順
実験の経過や結果
を明記する
5
実験の環境
 実験環境とは、実験に影響すると思
われるすべての要因
ハードウェア
ソフトウェア
ネットワーク
人的要素
6
実験の環境
 ハードウェア
CPU
メモリ (メインメモリ)
キャッシュメモリ
ディスク
ビデオカード(ディスプレイ)
その他
7
実験の環境
 ソフトウェア
OS (種類、バージョン、SP/パッチ)
プログラムの実行条件
(優先順位、仮想記憶)
同時に動いているソフト
(サービス/デーモン、アプリ)
使用ツール
その他
8
実験の環境
 プログラムの実験に関する注意
同じソースファイルでも、生成される実
行ファイルはコンパイラにより異なる
コンパイラの種類、バージョン、最適
化レベル、使用ライブラリ、その他
の設定
9
実験の環境
 環境の確認
(Windows XPの場合)
「マイコンピュータ」で右クリック
→ [プロパティ]
[アクセサリ] → [システムツール]
→ [システム情報]
10
実験の環境
実行中のプログラムを調べる
ctrl+alt+delete → タスクマネージャ
実行中のサービスを調べる
[管理ツール] → [サービス]
11
実験の環境
 ネットワーク
通信相手の処理内容、環境
通信路の性能、混み具合など
 IPアドレスは直接関係しないが、ネット
ワークのどの部分にどのように接続さ
れているかが、性能等に影響する
12
実験の環境
 人的要素
人の振る舞いは様々な要因に依存
再現性に乏しい
⇒ 統計的に扱う必要
13
演習1
 実験環境を調べよ
実験用PCの仕様
ソフトウェア環境
14
追実験
 追実験は、
元実験と同じ方法・手順で行う
環境の影響を、出来るだけ取り除く
例えば、同時にアプリケーションを
動かさない、など
どのような影響があるかを、見極
める事が大事
15
追実験
 元実験側の責任が大
実験環境、手順・方法、経過や結果
を、レポート(論文)にきちんと書く
 実験環境に左右されない 実験方法
例)応答時間を測定する時には、ネッ
トワーク経由のサーバーではなく、
ローカルなディスク(C:) を用いる
16
追実験
 実験環境を明示する理由
(1) 実験結果が環境に左右 されて
いないか、検証する
例:ネットワーク経由の起動時間
(2) 結果の違いが環境の違いで
説明できるか どうか、判定する
例: CPU速度の換算
17
追実験
 影響を避けることの出来ない環境もある
例: OSの種類、CPUの性能
 その場合、出来るだけ環境をそろえる
 同じ環境を再現できなくても、相対的な
比較はできることがある
例: CPUの性能は異なっていても、
速度は換算できる 等
18
追実験
 追実験は、元実験が正しいかどうか
を検証するために行う
元実験を批判的に見る
実験結果は、数値だけではなく、推
論についても検証すること
追実験の結果、「元実験は正しくな
い」 という結論も有り得る
19
追実験
 追実験は、同じ数値を出す事が目的
ではない
速度の実験では、同じ速度を出して
も仕方がない
換算が可能 ⇒ オーダーが重要
20
実験1、2
 先週の実験1、2を追実験せよ
追実験対象レポートは、Webサイト
よりダウンロードする
サンプル1~サンプル3の中から選
択すること
21
実験1、2
元実験の
実験環境を明記した上で、実験方
法、実験結果を記せ
自分の実験環境、実験方法も明記
する
追実験を行い、結果を確認せよ
自分の結果と比較し、考察せよ
22
課題
 正確な追実験を行うために必要なこと
を調べ、科学的方法における追実験
の意義について論ぜよ
23
実験レポート
 レポートR4として提出せよ
レポートの構成(章立て)に注意
R1、R3と同じ章立て
表題は 「比較実験の追実験」
24
追実験の注意事項
 実験環境は、元の環境と追実験の環
境の、両方を書かなければ意味がない
 測定方法について、記述すること
 「どのレポートの追実験か」も明記する
 数字の検証だけではなく、推論も検証
すること
25
課題についての注意事項
 正確な追実験を行うために必要なこと
テキスト以外の文献を二つ以上調査
すること
注:時間がかかる
 科学的方法における追実験の意義
自分の言葉で書くこと
テキストの切り貼りは不可
26
演習2
 追実験を行ってみた経験から、自分の
レポートR3を見直し、次の各項目を
チェックせよ
理論、特に仮説
実験環境、実験方法、実験結果
考察
結論
27
演習2
 改めて、レポートR3R
として、提出せ
よ
28
お疲れ様でした