広島市立大学の DCプライベートクラウド構築事例

広島市立大学の
DCプライベートクラウド構築事例
前田香織
広島市立大学大学院情報科学研究科
Mar. 20, 2015
発表の流れ
!  背景
!  クラウド利用の方針
!  新システムの構成と特徴
!  運用状況
!  クラウド移行による変化を中心に
!  まとめと今後の課題
背景（１）
!  大学情報ネットワークシステムの利用範囲の拡大
!  時期によってサーバの負荷が変動
!  リース期間中に提供するサービスが変化
クラウド利用とサーバ等仮想化
!  ハードウェア所有から開放
!  サービスを利用
!  可用性向上
!  連続運転、BCP
システム更新方針
!  教育環境の柔軟性と安定性強化
!  仮想デスクトップ環境の導入
!  柔軟なサービス構成変更
!  仮想サーバによるサービス構築
!  メールセキュリティと学生メール環境をパブリッククラ
ウドへ
!  学内情報システムの安定稼働
!  システムのデータセンター（DC）移行
!  L3以上を提供する機器や各種サービスの機能をDCへ
!  DCと大学の回線増強
!  別の場所へのバックアップ
キャンパス情報ネットワーク HUNET
SuperCSI
SINET
F/W VPN
/
SINET
SuperCSI
ISP
L3機能の移行
!  ルーティング、ファイアウォール、ロードバランサ等
のL3以上の機能をDCで処理
!  大学にはL2スイッチと無線LAN AP
!  大学 DC : 10Gbpsへ増速
運用状況
!  大学とDC間の遅延の影響はほとんどないようである
!  大学<->DC: 約2ms
!  機器が遠隔にあることの影響
!  DoS攻撃への即応性
!  管理用の別回線用意
サーバの仮想化
!  各種サービスを提供するシステムは仮想化サー
バで構築
!  教育、事務業務用ファイルサーバもDC内
!  リソース配分を時期やニーズによって変更
Ex.
!  講義期間中と休暇中の配分
!  講義時間中と夜間の配分
!  入試合格発表対応
!  芸術学部CG系の処理
仮想デスクトップ環境（VDI)
!  事務用VDI：2012年夏から
!  ファイル共有
!  端末は従来PCにクライアントソフトウェアを入れて使用
!  教育用VDI：2014年10月
!  時期、時間によって利用プールの割当変更
!  自習用プールを増やす
!  端末
!  ゼロクラ、シンクラ端末
!  語学センター、情報科学部演習室からは従来PCにクライア
ントソフトを入れて
!  自宅等学外からもクライアントソフトを入れて利用も可
教育用システム構成図
(
CISCO UCS240 7
CPU 168 (2016
1792GB
GPU
CISCO UCS240 2
CPU 48 (576
512GB
CISCO UCS220
2
FAS2240-2
NetAPP FAS3200HA
FAS2240-2
NetAPP FAS3200HA
LDAP AD DNS
Hitachi HA8000/RS220
CPU 10 (80
3840GB
10
G
5
端末教室の様子
教育用VDI（２）
ハイパバイザ管理用サーバ
(vCenter Server)
仮想デスクトップ
（一般系）
基盤用サーバ
VM
VM
ハイパバイザ
(ESXi)
VM
VM
VM
ハイパバイザ
(ESXi)
VM
VM
VM
VM
ハイパバイザ
(ESXi)
基盤管理サーバ
X 2台
Cisco UCS220 M3
VM
仮想デスクトップ
（芸術系）
VM
VM
VM
ハイパバイザ
(ESXi)
VM
VM
ハイパバイザ
(ESXi)
仮想デスクトップ
基盤実行サーバ（一般系）
X 7台
CG
GPU
VM
VM
NDVIA
ハイパバイザGRID K1)
2
(ESXi)
仮想デスクトップ
基盤実行サーバ（芸術系）
X 2台
Cisco UCS240 M3
Cisco UCS240 M3
物理コア数24コア（CPU: 12コア／1台 x 2基）
物理メモリサイズ：256GB/１台
550
VDT 1
50
VDT 1
2
教育用VDI（2）
!  教育用システムは用途別に７つのプールに分類して運用
!  時期（講義期間、休暇）や平日、休日、時間による台数変更
!  自習プールを増やす
VDTプール
実習室用＋
貸出し端末(30台)用
自習用
一般系語学センター用
サテライトキャンパス用
図書館情報検索用
芸術系
サイジング
CPU
総
1コアメモリ/ OS, ソフトウェア
VDT数
あたり 1台(GB)
VDT数
412
15
130
3
Windows,
Linux(Ubuntu)*1
2
Windows
3
Windows,画像編集
3D CG処理 *2
4台
25
8
50
*1 Ubuntu Windows
*2 Photoshop, Illustartor, Shade3D
２台
教育用VDI(4) 端末
!  情報処理センター端末：ゼロクラ 81台ｘ２フロア
!  図書館：シンクラ（デスクトップ型） 10台
!  貸し出し端末：シンクラ（ノートPC型）30台
!  語学センター：PC（クライアントソフト利用）130台
評価項目
VDT台数
GPU搭載
!  情報科学部演習室：PC（クライアントソフト利用）約160台
!  サテライトキャンパス：シンクラ（デスクトップ型）25台
情報処理センター端末↓
貸出端末↓
図書館→
* Photoshop, Illustartor, Shade3D
VDTの操作性（１）：遅延
!  データセンターまでの転送遅延の影響
!  大学 DC：2ms
!  ファイルサーバとVDIサーバは同じDC内で支障なし
起動，ログオン，シャットダウン等にかかる時間
起動
ログオン
シャットダウン
端末ファイル
サーバ
Windows
Linux
Windows
更新前
67∼87s
55∼59s
38∼45s
Linux
11∼14s
Windows
Linux
Windows
Linux
16∼25s
7∼8s
１ms未満
0.25ms
更新後
25∼30s＋
プール選択2∼4s
20∼25s ・・・(a)
(a)に加え
Linux起動: 30∼50s
Linuxログオン: 20∼25s
7∼10s
10∼15s
１ms未満
0.79ms
VDTの操作性（２）：リソース配分
!  講義時のリソース不足はないか？
!  GPUへのオフロードは有効か？
→ 来年の同時５５０台利用に支障はないか？
実習室用＋
貸出し端末(30台)用
自習用
一般系語学センター用
台数
412
15
芸術系
OS, ソフトウェア
3
Windows,
Linux(Ubuntu)*1
130
サテライトキャンパス用 25
図書館情報検索用
メモリ/1台
（GB)
2
Windows
3
Windows,画像編集
3D CG処理 *2
8
50
合計：
1627GB
＞
VDTプール
利用可能メモリ
1764GB
＝246GB x 7台
（物理メモリ：
256GB/1台)
一般系実行サーバ負荷状況
VDT
100
VDT
30
VDT
50
芸術系実行サーバ負荷状況
VDT
0
VDT
50
仮想サーバの運用：
Webサーバのリソース変更
!  特定時期のリソース変更可能
!  入試合格発表 → クリア
!  準備
!  ２台のWebサーバそれぞれ
!  CPU: 32core ← 8core
!  MEM: 16GB ← 8GB
!  DB
!  CPU: 8core ← 2core
!  MEM: 24GB ← 8GB
!  前日からトップページを静的ページに（通常はPHPで動的）
!  Webサーバはロードバランサで分散
!  合格発表手順は変更なし
60
10:00:00
10:00:10
10:00:20
10:00:30
10:00:40
10:00:50
10:01:00
10:01:10
10:01:20
10:01:30
10:01:40
10:01:50
10:02:00
10:02:10
10:02:20
10:02:30
10:02:40
10:02:50
10:03:00
10:03:10
10:03:20
10:03:30
10:03:40
10:03:50
10:04:00
10:04:10
10:04:20
10:04:30
10:04:40
10:04:50
10:05:00
10:05:10
10:05:20
10:05:30
10:05:40
10:05:50
10:06:00
10:06:10
10:06:20
10:06:30
10:06:40
10:06:50
10:07:00
10:07:10
10:07:20
10:07:30
10:07:40
10:07:50
10:08:00
10:08:10
10:08:20
10:08:30
10:08:40
10:08:50
10:09:00
10:09:10
10:09:20
10:09:30
10:09:40
10:09:50
入試関連ページ同時アクセス数推移
(10:00∼10:10)
70
Web
Web
ア 50
ク
セ
ス 40
数
800
700
600
500
400
300
200
100
0
30
20
10
0
時間
2015/3/7 10:30
2015/3/7 10:29
2015/3/7 10:28
2015/3/7 10:27
2015/3/7 10:26
2015/3/7 10:25
2015/3/7 10:24
2015/3/7 10:23
2015/3/7 10:22
2015/3/7 10:21
2015/3/7 10:20
2015/3/7 10:19
2015/3/7 10:18
2015/3/7 10:17
2015/3/7 10:16
2015/3/7 10:15
2015/3/7 10:14
2015/3/7 10:13
2015/3/7 10:12
2015/3/7 10:11
2015/3/7 10:10
2015/3/7 10:09
2015/3/7 10:08
2015/3/7 10:07
2015/3/7 10:06
2015/3/7 10:05
2015/3/7 10:04
2015/3/7 10:03
2015/3/7 10:02
2015/3/7 10:01
2015/3/7 10:00
2015/3/7 9:59
2015/3/7 9:58
2015/3/7 9:57
2015/3/7 9:56
2015/3/7 9:55
2015/3/7 9:54
2015/3/7 9:53
2015/3/7 9:52
2015/3/7 9:51
2015/3/7 9:50
公開WEBサーバ宛て通信状況
2015年3月7日 9時50分∼10時30分
6000
5000
4000
3000
2000
1000
0
メモリ使用率
Webサーバ1
CPU使用率
Webサーバ２
CPU: 32core
8core
MEM: 16GB
8GB
Webサーバ用DB
CPU使用率
CPU: 8core
メモリ使用率
2core, MEM: 24GB
8GB
その他の運用状況
!  メールセキュリティ、メールのパブリッククラウド利用
!  使用電力量
!  バックアップ
!  保守管理
パブリッククラウド利用
（メールセキュリティ、学生メール）
!  メールセキュリティ：Symantec .cloudサービス
!  標的型メールも検知対象に
!  大学独自のカスタマイズへの対応困難
!  ウィルスやスパムメールの検知警告方法
!  隔離されたウィルス付メールの通知や受取り方法
!  学生メール、ファイル共有：Oﬃce365
!  別ドメインの用意
!  当分の間２ドメインを使用し、一方へ転送
!  メールスプール移行も実施
!  クラウド側の都合で環境が変わる
!  周知時期の選択肢がない
電力使用量の変化
更新（kW）
68.8*1
サーバ室
実習室
更新後（kW）
37.0
サーバ室
8.1*2
データセンタ
28.9
端末
21.9
4.7
プリンタ
5.6
6
大学での電力使用量計
96.3
77.5
18.8
電力使用量合計
96.3
48.6
47.7
*1 : ４ヶ月（4∼7月）平均値
*2：10回測定の平均値
それ以外は機器のカタログの最大値から換算
※ データセンター使用料金＝機種更新前後の電気代の差の約＿＿倍
バックアップ
データセンター１
■基盤用仮想サーバ
■仮想クライアント用サーバ
■仮想管理用サーバ
広島市立大学
FAS2240-2
■ファイルサーバ
NetAPP FAS3200HA
10G接続
SnapMirror
データセンター２
FAS2240-2
■ファイルサーババックアップ
NetAPP FAS3200HA
データセンター１
配置ディスク種別
SAS 600GB
コント
ローラ
SAS 600GB
A
コント SAS 600GB
ローラ
SAS 600GB
B
ディスク本数
備考
3
システム領域
データ領域
仮想サーバ基盤用
仮想デスクトップ基盤
42
仮想デスクトップマスターVM用
学生用ファイルサーバ用
事務用ファイルサーバ用
3
システム領域
データ領域
42
同上
■自宅等学外に仮想クライアント
環境を提供
データセンター２
配置
コント
ローラ
Snap
A
Mirror コント
ローラ
B
ディスク
種別
ディス
ク
本数
SATA 2TB
3
SAAT 2TB
14
SATA 2TB
3
SATA 2TB
14
遠隔バックアップ
DC1 -> DC2
2015/1/27 差分バックアップ容量＝約200GB、領域ごとに転送
保守時間の変化
更新前（時間）
更新後（時間）
Linuxの保守*
0.5
1
Windowsの保守*
0.5
1
4
0.5
7.5
-
7
6
0.5
-
最終動作確認*
3
0.5
ウィルススキャン処理

3.5
23
12.5
更新前：マスタイメージ準備
更新後:スナップショット作成
イメージ配布サーバ準備
イメージ配布
予備機で動作確認*
計
まとめと今後の課題
!  クラウド環境での実現
!  L3以上の機能とネットワークサービス、教務、図書館サービス
等をデータセンターにて構築
!  メールセキュリティ、学生メールはパブリッククラウド
!  サーバの仮想化
!  VDIによる教育用、業務用システムの構築
!  今後
!  2015年10月から学部演習室160台の端末追加

Download Report