マルチパスイーサネットにおける省電力 On/Off リンクアクティベーション法 鯉渕 道紘(国情研） 大塚 智宏(慶大） 松谷 宏紀（慶大） 天野 英晴（慶大/国情研） イーサネットを用いたＰＣクラスタ • PC – マルチコア化などで省電力 対策が進んでいる – コア単位でスリープ可 PC イーサネットスイッチ • イーサネットスイッチ – 通信の基幹部なので, スリープさせると通信に 影響が生じる GbE TOP500で見るHPCにおける インタコネクトのシェア （2008/11） 56% ギガビットイーサネット 本発表では、イーサネットスイッチの省電力手法を提案、評価する 概要 • HPCにおけるイーサネット – マルチパス ＋ リンク集約化 • On/Off リンクアクティベーション法の提案 • 評価 – On/Off 操作オーバヘッド – PCクラスタにおける消費電力と性能 HPCにおけるイーサネットの使い方 多数のポートを持つGbEスイッチの普及 - GbEポート単価は２４～４８ポートスイッチが最安 ノードの計算能力の向上（ > 10GFlops) リンク集約化 [IEEE 802.3ad] ＋ マルチパストポロジ [工藤ら,2004][Viking2004] - リンク数の劇的な増加 TREE 1 TREE 2 TREE 3 TREE 4 ３本の集約 リンク ４経路 スイッチ 0 1 2 3 4 5 6 7 8 9 10 11 12 13 1415 ノード 既存のGbEスイッチの電力の内訳 スイッチの ポート それ 型番 １個 以外 PC5324 1.2 14.9 合計（ポート の割合） 42.9(65%) PC6224 2.0 42.5 91.1(53%) PC6248 2.1 56.8 155.2(63%) SF-420 1.0 32.6 55.4(41%) C-3750 1.8 84.5 127.7(34%) 単位：Ｗ • トラフィック負荷によらず、消費電力はほぼ一定 • ポートの消費電力が支配的(4-6割） – ポートの消費電力＝port-shutdown opで削減される 消費電力 On/Off リンクアクティベーション法の提案概要 GbEスイッチの消費電力の4-６割がリンク TREE 1 TREE 2 TREE 3 TREE 4 ノードのCPU負荷は高い でも、NWは必ずしも… (ex. パラメータサーベイ) スイッチ 0 1 2 3 4 5 6 7 8 9 10 11 12 13 1415 ノード トラフィック負荷が減少 （一部のリンクをオフ) TREE 1 TREE 2 TREE 3 0 1 2 3 4 5 6 7 8 9 10 11 TREE 4 HPCの局所性 多くのリンクは一時オフ 12 13 1415 概要 • HPCにおけるイーサネット – マルチパス ＋ リンク集約化 • On/Off リンクアクティベーション法の提案 • 評価 – On/Off 操作オーバヘッド – PCクラスタにおける消費電力と性能 On/Off リンクアクティベーション法の枠組み 例：スイッチのツール, IPTrafツール, pilot executionなど トラフィックモニタリング 低負荷 or 過負荷 リンクが発生 No Yes On/Off リンクの選択と経路計算 On/Off リンク操作と経路更新 ここがキーポイント On/Off リンク選択 アルゴリズム、ルーティング イーサネットにどう実装する か？ 本研究で解決すべき課題と制約 実用的な On/Off リンクアクティベーション法を実現するために システムソフトウェア、デバイスドライバの更新はなし 商用スイッチの既存の機能を用いて実現 リンクの On/Off オーバヘッドの隠蔽 トポロジの変化にともなうMACアドレステーブルの安定的な更新 ー通信断、ブロードキャストストームが発生しないこと TREE 1 TREE 2 TREE 3 TREE 4 更新前の経路 スイッチ 更新後の経路 0 1 2 3 4 5 6 7 8 9 10 11 12 13 1415 ノード On/Off リンクによるトポロジ・経路の更新 • スイッチタグ・VLANルーティング法[大塚,Hokke06]を応用 – 出発地のスイッチにおいて、フレームにVLANを付加する（Port VLAN ID:PVID) ことで経路を指定 – ホストは通常の(タグなし)フレームを送受信 • ホストからのフレーム入力時: PVIDでタグ付け • ホストへのフレーム出力時: タグを除去 PVID#v0の経路 PVID#v1の経路 VLAN v0 VLAN v1 VLANタグ＃ v0を付加 PVID v0 1 に更新 0 1 コンピュータ 0 1 コンピュータ コンピュータ 2 3 コンピュータ コンピュータ 4 5 コンピュータ コンピュータ 6 7 コンピュータ コンピュータ コンピュータ 2 3 コンピュータ コンピュータ 4 5 コンピュータ コンピュータ 6 7 コンピュータ コンピュータ リンクを Off から On にする場合 • (1) リンクをアクティベイトする – スイッチのno shutdown コマンドを使用 – 未使用のPVIDを用いることでトラフィックの流入を阻止 • (2) 新しい経路用のVLAN v0を作成、MACアドレステーブルを学習 – 各ホストがVLAN v0を作成し、一度ブロードキャストする • (3) 更新する経路の出発地ポートのPVIDをv0にする 0 1 コンピュータ 0 1 コンピュータ コンピュータ 4 5 2 3 コンピュータ コンピュータ コンピュータ コンピュータ 6 7 コンピュータ コンピュータ 更新前 2 3 コンピュータ コンピュータ 4 5 コンピュータ Step 1,2 PVID v0 に更 新(通信断無） Step 3 コンピュータ コンピュータ 6 7 コンピュータ On,VLAN v0 PVID v0の経路 0 1 コンピュータ コンピュータ 2 3 コンピュータ コンピュータ 4 5 コンピュータ コンピュータ 6 7 コンピュータ コンピュータ コンピュータ リンクを On から Off にする場合 • (1) 新しい経路用のVLAN v1を作成、MACアドレステーブルを学習 – 各ホストがVLAN v1を作成し、一度 broadcast する • (2) 更新する経路の出発地ポートのPVIDをv1にする • (3) リンクを Off にする – 新たな経路が確立されているため、通信断なし PVID v0の経路 0 1 コンピュータ コンピュータ 4 5 2 3 コンピュータ コンピュータ コンピュータ コンピュータ PVID v1の経路 6 7 コンピュータ 0 1 コンピュータ コンピュータ コンピュータ 2 3 コンピュータ 更新前 4 5 コンピュータ Step 1,2 PVID #v0 v1 に更新 リンクOff Step 3 コンピュータ 0 1 コンピュータ コンピュータ 2 3 コンピュータ コンピュータ 4 5 コンピュータ コンピュータ 6 7 コンピュータ コンピュータ コンピュータ 6 7 コンピュータ コンピュータ 概要 • HPCにおけるイーサネット – マルチパス ＋ リンク集約化 • On/Off リンクアクティベーション法の提案 • 評価 – 基礎評価：On/Off 操作オーバヘッド – PCクラスタにおける消費電力と性能 基礎評価：On/Off オーバヘッド PC5324 On/Off Link 操作 4.0秒 PC6224 3.4 PC6248 2.2 SF-420 12.0 １本のリンクを on off on した時の 通信遮断時間 コンピュータ コンピュータ • 参考：スパニングツリープロトコルをOnにすると数十秒 • On/Off アクティベーションはアプリケーション単位、あるい は分単位以上の粒度が妥当 基礎評価(2)：経路更新オーバヘッド PC5324 VLAN更新 0秒 PC6224 0 PC6248 0 SF-420 コンピュータ 更新前 更新後 0 PVID を更新 コンピュータ • VLANによる経路の更新をした場合の通信遮断時間を測定 • On/Off アクティベーション・オーバヘッドに比べて極めて小さい On/Off リンクアクティベーション法の 性能と電力を評価 • 同志社大学 SuperNova PC クラスタ – 128 node 256 CPUs • GbE スイッチ – Dell Power Connect6248 • 48ポート x 8台 • アプリケーション – NPB 3.2 評価に用いたトポロジ • Peak: 4×2トーラス、スイッチ間リンク６本 – リンク集約化(IEEE 803.ad)を併用 • トレース解析により事前に並列アプリのトラフィック量を 把握 – On/Off リンクをアプリ実行前に設定 • リンク選択アルゴリズム – Conservative: リンクあたりの最大トラフィック負荷を抑制 – Aggressive: リンク削減重視（詳細は予稿集） トーラス NPB実行結果(64プロセス,PC6248） 性能低下なしに、最大26%のNW消費電力を削減 Relative Mop/s 1.2 1 53 35offlink conservative 14 aggressive 10 40 11 40 24 0.8 0.6 0.4 0.2 0 EP IS LU 図1：実行性能 SP peak(all links) Relative Power Cons(W) peak(all links) 1.1 conservative aggressive 消費電力26%減 1 0.9 0.8 0.7 0.6 EP IS LU SP 図2：消費電力, PC6248s Conservative(リンクあたりの最大トラフィック負荷を抑制）ポ リシで On/Offリンクを選択した場合、性能低下は生じない NPB実行結果(64プロセス,他の SW） conservative aggressive peak(all links) Relative Power Cons(W) Relative Power Cons(W) peak(all links) 1.1 1 0.9 0.8 0.7 1.1 conservative aggressive 消費電力37%減 1 0.9 0.8 0.7 0.6 0.6 EP IS LU 図3：消費電力, SF-420s SP EP IS LU SP 図4：消費電力, PC5324 L2スイッチ（PC5324)の方がL3スイッチ（PC6248)に比べて常時 動作するサービスが少ない ポートの消費電力の割合増により、電力削減効果が大きくなった まとめ • イーサネットにおけるOn/Off リンクアクティベーション 法を提案 – スイッチのport shutdownコマンドにより消費電力を削減 • スイッチの消費電力の４－６割はポート – 商用スイッチの既存の機能を用いて実現 – MACアドレステーブルの安定的な更新 • VLANルーティング法を応用することで通信断を防ぐ • 既存のGbE スイッチ、PCクラスタにおける評価 – On/Offリンク操作オーバヘッドは数秒 • 経路の更新を工夫することで操作オーバヘッドを隠蔽 – NPBにおいて性能低下なしにネットワークの消費電力を最大37%削減 • 今後は、様々なクラスタにおけるスイッチタグ・VLANルーティ ング法+ 本手法の評価、普及（協力してくれる方、超絶募集 中） – リンク集約化 ＋ マルチパストポロジ + 低消費電力
© Copyright 2025 ExpyDoc
