iSCSI ブート方式 Windows7 シンクライアント演習室環境の運用と起動

研究発表
iSCSI ブート方式 Windows7 シンクライアント演習室環境の運用と
起動所用時間の改善
Performance improvements for iSCSI-based thin client PCs system
本田修啓
Naohiro Honda
[email protected]
福島大学総合情報処理センター
Fukushima University Information Network Center
概要
福島大学総合情報処理センターでは 2011 年 3 月より iSCSI ネットブート方式 Windows7 クライアントの運
用を行っている.2012 年 4 月より,クライアント起動所要時間をデータベースに記録し可視化表示するシステ
ムを運用しているが,蓄積データ分析及び起動実験を実施し,起動所要時間に悪影響を与える要素の洗い出し
を実施した. 得られた知見をもとに最適化を実施することで一定の起動所要時間短縮効果が得られたので報
告する.
キーワード
ネットブート, シンクライアント, iSCSI,性能評価,起動性能改善
1. はじめに
延の改善が課題であった.
本センターで開発した「iSCSI 型ネットブートシ
福島大学総合情報処理センターでは,パーソナル
ステム起動性能評価システム」及び iSCSI ストレー
コンピュータ端末約 300 台の Windows7 ネットブー
ジ管理システムによって,混雑時遅延の原因は,iSCSI
トシンクライアント端末（以下ネットブート端末）
ストレージ装置の IOPS 性能がボトルネックである
を平成 23 年 2 月に導入し運用している.ソフトウェ
ことが確認できている.本報告では iSCSI ストレージ
アへの迅速なセキュリティ更新及び管理負担軽減が
の IOPS 資源の有効活用, 起動所要時間短縮のため
得られる一方,講義開始時等起動が集中時の起動遅
に有効であった調整手法を紹介する.
－11－
第17回学術情報処理研究集会講演論文集
2. 2012 年度実利用情報の分析
クライアント起動時刻,起動所要時間については,
「iSCSI 型ネットブートシステム起動性能評価シス
テム」によってデータベースに実運用情報としてデ
ータベースに記録されている. IPC1 演習室の月毎起
図 2
起動所要時間の推移
動数について注目し分析を行った.この演習室は 98
台の Windows7 ネットブート端末が設置されてお
り,2 台は教卓用端末で,残りは学生用である.教卓用
と学生用は異なる起動イメージを割り当てているが,
内容はほぼ同一で,セキュリティ設定が若干異なる
図 3
のみである. 講義利用の他自習用としても空き時間
3 分以上起動に要した端末割合(%)
及び夜間開放され利用が最も多い演習室である.
2.2. 教卓端末の起動所要時間
2.1. 月毎起動回数と起動性能
教卓端末と学生用端末の起動所要時間中央値の比
月毎の起動回数を図 1 に示す. 8～9 月は夏季休業,
較を図 4 に示す. 教卓端末はより起動所要時間が長
2～3 月は春季休業となるため利用が少なくなって
い傾向がある. 両者は同一ハードウェアスペックで
いる. 起動所要時間の平均値,中央値の変化を図 2
あるが, 割り当てられている起動イメージファイル
に, 起動に 3 分以上要した端末割合を図 3 に示す.
が異なっている.
前期期間(4 月～7 月)と比して,後期期間は起動性能
が若干悪化している.
なお, 起動所要時間については, ネットブートサ
ーバデータベースに記録される boottime(DHCP 開始
時刻)と roottime(Active Directory への端末ログオン
開始時刻)の差を使用した. 実際は boottime の前に 30
秒程度, roottime からログオン画面表示まで 20 秒程
度要している.
図 4
教卓端末と学生用端末の起動時間比較
2.3. iSCSI ストレージ負荷の影響
IPC1 演習室の端末は, 同一起動イメージを保持す
図 1 月毎起動回数の推移(IPC1 演習室)
る 3 台の iSCSI ストレージに分散して割り付けられ
ることで負荷分散されている. 1 台の iSCSI ストレー
起動回数と中央値,平均値の相関係数は各
ジ毎に起動する端末数は 33 台程度となるが, 他演習
0.97,0.82 であり,強い正の相関が認められ,起動回数
室端末も同じ 3 台のストレージに負荷分散して割り
が多いほど起動所要時間が多くかかる傾向が確認で
付けられており, 他演習室の端末起動数もあわせた
きる.
総数が iSCSI ストレージ負荷となる.
1 台の iSCSI ストレージに注目し, 負荷指標として,
－12－
研究発表
端末起動時刻(boottime)の前後 3 分,合計 6 分間の起動
利用データ分析結果である図 6 より起動所要時間
端末数を計算し, それと起動所要時間の関係を図 5
は短い傾向である. 実利用ではユーザログオンとア
にまとめた. また,起動所要時間の分布を図 6 に示し
プリケーション起動が行われ iSCSI 負荷が増加する
た.
が, この実験ではログオンは行わないことが要因の
一つとして考えられる.
図 5 iSCSI ストレージ負荷と起動所要時間
図 7
順次起動実験(1 秒間隔)
3.2. 端末一斉起動実験
演習室端末は Wake-On-LAN に対応しており, マ
図 6
iSCSI 負荷毎の起動所要時間分布
ジックパケットを複数端末に送信することで一斉起
動させることが可能である. 32 台～96 台の端末の一
iSCSI ストレージ負荷が起動数 40 台までは強い正
斉起動を行なって起動所要時間を計測した. この実
験でもユーザログオンは行っていない. 結果を図 8
の相関が認められる.
に示すが 96 台同時起動時でも平均起動所要時間は 3
3. 起動性能評価実験
分未満に収まっている.
実運用データ分析結果を確認する目的で, 起動性
能を評価する実験を実施した. 演習室設置端末全体
を 1 つの iSCSI ストレージから起動するよう設定し,
順次起動及び一斉起動を, 起動台数を変えて実験し,
起動所要時間の変化を確認した.
3.1. 端末順次起動実験
図 8
一斉起動実験
約 1 秒間隔で端末の順次起動する実験を起動台数
1 台～68 台の範囲で行った.起動は人手で電源ボタン
3.3. 複数ブートイメージ実験
を順次押していく方法であり, 起動間隔は一定では
ない. 結果を図 7 に示す.
実運用では, 最大 6 個のブートイメージが同一
1 台単独起動時より 4 台あるいは 8 台順次起動時
iSCSI ストレージからクライアント端末により同時
が起動所要時間は短くなっている. iSCSI ストレージ
利用される. 複数のイメージ利用時はストレージの
は 2GB のキャッシュを有するが, キャッシュヒット
キャッシュヒット率が低下すると予想される. 72 台
率が関係している可能性が高い. また, 2012 年度実
の端末を異なるイメージに割り当て, 起動所要時間
－13－
第17回学術情報処理研究集会講演論文集
の変化を計測する実験を行った. 使用イメージ数が
多くなると起動所要時間が増加する傾向が確認でき
た.
教卓端末は,学生用端末が多数同時起動する時間
に別イメージとして起動することが原因である可能
性が高い.
図 9
起動所要時間へのイメージ数の影響
図 10
流量計測システムの構成
4. 起動時流量計測実験
4.2. 端末起動流量(ユーザログオンなし)
端末起動時に端末に流れるデータ通信量について
は, 収容スイッチから SNMP 情報を読み出すことで
起動時に iSCSI ストレージから端末に流れる流量
計測できる. しかし, この情報は iSCSI ストレージ
を図 11 にパケット数を図 12 に示す. 端末に電源投
と端末間以外の通信量を含んでいる. また SNMP 情
入後キーボード等に触れておらず, ユーザログオン
報更新が 10 秒単位であり, 秒単位の変化を確認する
は行っていない.
ことができない.
ユーザログオンの有無, あるいはソフトウェア追
加が起動所要時間に与える影響の指標として, iSCSI
ストレージから端末に流れるデータ量(IOPS 量)が利
図 11
用できる可能性を考え, 通信量を正確に秒単位で計
端末起動時の iSCSI 通信量推移
測するシステムを新たに構築し実験を行った.
4.1. 流量計測システム構成
図 12
端末起動時の iSCSI パケット数推移
実験システムの構成を図 10 に示す.専用 Linux
BOX(PC)を用意し, 端末収容スイッチでクライアン
ネットブートでは, Coreboot ローダが OS コアを読
ト端末収容ポートとポートミラーリング設定を行っ
み込み起動する. OS 起動後 Windows7 自身の iSCSI
たポートに接続する.端末起動時に tcpdump でクラ
ドライバが必要なモジュールを読み込む. Coreboot
イアント端末通信をキャプチャし, 結果をバイナリ
ローダは MSS 1088 Octet で通信を行ない,Windows7
形式で SSD ストレージに保存する. 得られた情報を
ドライバは MSS 8960 Octet のジャンボフレームで通
スクリプト処理することで, 秒単位のプロトコル別
信を行う. したがって Coreboot ローダ部分は通信量
流量及び iSCSI パケット数を算出する.
こそ少ないが, パケット数は多く, iSCSI ストレージ
正確な計測には,
tcpdump でキャプチャミス(パ
ケット落ち)することは許されない. 本システムで
への IOPS 負荷はより大きい. 高負荷時の遅延はこ
の部分がより大きい.
は, キャプチャデータを確認した結果, パケット落
ちは確認できなかった.
また, ログオン可能状態後の流量は遅延開始プロ
セス開始に伴うものであると考えられる.
起動データ量は約 800MByte,パケット数は 193,276
－14－
研究発表
したところ AV ソフトの再起動が行われており, 結
であった.(10 回計測平均)
果として起動時に 2 回 Sophos AV の起動が行われ,
4.3. 端末起動流量(ユーザログオンあり)
これが 200Mbyte の流量増加となっている.
Sophos AV の実行プログラム SavMain.exe の大き
ユーザログオンを伴う起動時のデータ流量を図
さは高々1.5Mbyte であり, マルウェア DB をロード
13 に示す. ユーザログオン時には, 必要なプロセス
量を考慮しても 200Mbyte のデータ量となることは
がロード実行されるため, iSCSI ストレージから端末
考えにくく,起動時の OS の一部領域のスキャンが転
に流れる流量が約 400MByte 増加し約 1200MByte と
送量となっている可能性が高い.
なる. 50％の増加であり,実運用時の起動所要時間が
5. 起動性能改善調整
一斉起動実験時の起動所要時間より大きくなる原因
と考えられる.
また, 1200MByte という値は, 文献[５]で報告した
実運用データ分析及び実験で得られた知見を元に,
1GB という数値と比較し, 200MByte 増加している.
端末起動所要時間を短縮するための調整を 2013 年 4
何らかのソフト導入等で増加したと考え, 確認を行
月に実施した.
った. 2012 年 7 月下旬に端末で利用しているセキュ
リティソフト Sophos AV の管理サーバ対応のための
5.1. 起動イメージ数の統合
調整作業が実施されており, その影響が可能性とし
導入ソフトウェア構成の異なる 3 つの演習室に対
て考えられる.
し, 学生用及び教卓用の 2 種,合計 6 個のブートイメ
ージを運用していたが, 学生用と教卓用を統合した.
教卓用端末の遅延は学生用端末と同程度に減少した.
統合にあたってはセキュリティ低下とならないよう
に配慮した.
図 13
端末起動時 iSCSI 流量変化(ユーザログオンあり)
5.2. Active Directory サーバ調整
4.4. セキュリティソフト削除実験
roottime とログオン可能状態となる時刻は約 30 秒
Sophos AV の影響を確認するため, Sophos AV を完
～数分の差があり, 高負荷時により大きくなる.
こ
全削除したブートイメージを作成し, 起動所要時間
れは Active Directory に端末がログオンし,
及びデータ流量計測実験を実施した. 結果を図 14
プポリシー適用等に要する時間と考えられる.
に示す. Sophos AV 削除イメージでは転送データ量,
Active Directory サーバの Sophos AV オンデマンドス
起動所要時間ともに大きく減少することが確認でき
キャン対象領域を調整し単独起動時で 10 秒程度短
た.
縮することができた.
グルー
5.3. Sophos AV 起動方法調整
HTTPS(SSL) 通信経由マルウェア侵入は ,HTTP
図 14
AV ソフト削除時の起動流量変化
Proxy サーバのセキュリティソフトでは検出できず,
2012 年 7 月下旬の調整では, 管理サーバ接続用起
端末のセキュリティソフトでのみ検出が可能である.
動スクリプトが導入された. スクリプト内容を確認
したがって,セキュリティソフトを停止させること
－15－
第17回学術情報処理研究集会講演論文集
Sophos AV はシステムプロファイルで
IOPS 性能が上限に達し,それがボトルネックとなっ
起動設定が行われ, 加えて管理サーバ接続スクリプ
ている. このような状況では, 流量削減, ジャンボ
トで再起動される. システムプロファイル設定を
フレーム採用, ストレージキャッシュ有効活用等ス
「手動」に変更した起動イメージを作成し, 起動実
トレージ IOPS 性能を引き出すための調整の効果が
験を行ったところ, AV 起動は 1 回となり, データ量
大きい. とりわけセキュリティソフト選定において
が約 200MByte 減少した. また AV 起動タイミング遅
は起動性能に与える影響を考慮すべきである.
はできない.
今般, 大きなキャッシュを有し, 大きな IOPS 性能
延効果により, 起動所要時間(平均値,中央値,最小値)
が AV 削除状態と同時程度に減少した.
を有する iSCSI ストレージ及びキャッシュシステム
が製品化されている. これらの製品を活用すれば,十
5.4. 調整の効果
分な起動性能が得られる可能性が高い. 利用者にと
っても管理担当者にとっても幸せなシステムが実現
「iSCSI 型ネットブートシステム起動性能評価シ
できるはずである.
ステム」に記録された 2012 年及び 2013 年の 4 月～7
月の起動所要時間比較を図 15 に示す.ここに見られ
謝辞
るように中央値比較で 20 秒程度改善されている.し
教育用システム運用に日々努力頂いている本学総
かしながら iSCSI 高負荷時に発生する 3 分を超える
合情報処理センタースタッフに感謝いたします .
起動所要時間を要した端末数削減効果は確認できな
また実験においては鈴木秀平氏に大きな協力を頂き
かった. 起動時の全体転送量が変わらないためと考
ました. 深く感謝いたします.
えられる.
参考文献
[1] 市川俊一,岡純一,鷺坂光一：iSCSI を利用したシ
ンクライアント PC システム STRAGEX,情報処理学
会論文誌：コンピュータシステム ,Vol47
No.SIG12(ACS 15)
[2] 城所弘泰,村上登志男,磯上貞夫,坂本幸治郎：シン
クライアントの性能評価と大規模システムへの導入
可能性の研究,学習院大学計算機センター紀
図 15
要,Vol.29 2009
調整後の起動所要時間
[3] 株式会社 NTT データ Coreboot パンフレット
6. 考察とまとめ
http://www.coreboot.jp/wp-content/themes/coreboot/img
/common/pamphlet.pdf
iSCSI 方式ネットブートクライアントの起動所要
[4] 本田修啓：仮想サーバとクラウドサービスを活
時間は, iSCSI ストレージの IOPS 性能に余裕がある
用した演習室クライアントシステム構築の一例,学
状況では, 単独端末起動より複数端末起動の方が起
術情報処理研究,No15 2011
動所要時間は少ない. このことはネットブートシス
[5]本田修啓：iSCSI 型ネットブートシステム起動性
テム設計時 IOPS 性能に多数の端末が起動する高負
能評価システム,学術情報処理研究,No16 2012
荷時においても十分余裕のあるストレージを用意す
[6] Eric Siebert:仮想デスクトップのストレージ管
れば, 短い時間で起動するシステムが構築可能であ
理,Storage Magazine 2011 年 3 号
ることを示している. 本学システムは, ストレージ
http://www.jdsf.gr.jp/backup/stm/201104_2.html
－16－
翻訳記事

Download Report